一個相片「隱身衣」，讓微軟曠視人臉辨認系統100%失靈｜開源

左圖，右圖，你能看出區別嗎？

其實，算法現已悄悄給右邊的相片加上了細小的修正。

但便是這樣肉眼底子看不出來的擾動，就能100%騙過來自微軟、亞馬遜、曠視——全球最先進的人臉辨認模型！

所以含義安在？

這代表著你再也不用憂慮po在網上的相片被某些軟件扒得干干凈凈，打包、分類，幾毛錢一整份賣掉喂AI了。

這便是來自芝加哥大學的最新研討：給相片加上一點肉眼看不出來的修正，就能讓你的臉成功「隱形」。

如此一來，即便你在網絡上的相片被非法抓取，用這些數據練習出來的人臉模型，也無法真正成功辨認你的臉。

給相片穿上「隱身衣」

這項研討的目的，是協助網友們在共享自己的相片的一起，還能有效維護自己的隱私。

因此，「隱身衣」自身也得「隱形」，防止對相片的視覺作用產生影響。

也便是說，這件「隱身衣」，其實是對相片進行像素等級的細小修正，以遮蓋AI的審視。

其實，關于深度神經網絡而言，一些帶有特定標簽的細小擾動，就可以改動模型的「認知」。

比如，在圖畫里加上一點噪聲，熊貓就變成了長臂猿：

Fawkes便是使用了這樣的特性。

用 x 指代原始圖片，xT為另一種類型/其他人臉相片，φ 則為人臉辨認模型的特征提取器。

具體而言，Fawkes是這樣規劃的：

第一步：挑選方針類型 T

指定用戶 U，Fawkes的輸入為用戶 U 的相片調集，記為 XU。

從一個包括有許多特定分類標簽的揭露人臉數據集中，隨機選取 K 個候選方針類型機器圖畫。

使用特征提取器 φ 計算每個類 k=1…K 的特征空間的中心點，記為 Ck。

然后，Fawkes會在 K 個候選調集中，選取特征表明中心點與 XU 中所有圖畫的特征表明差異最大的類，作為方針類型 T。

第二步：計算每張圖畫的「隱身衣」

隨機選取一幅 T 中的圖畫，為 x 計算出「隱身衣」δ(x, xT) ，并按照公式進行優化。

其間 |δ(x, xT)| < ρ。

研討人員選用DDSIM（Structural Dis-Similarity Index）方法。在此基礎上進行隱身衣的生成，能保證隱死后的圖畫與原圖在視覺作用上高度一致。

實驗結果表明，無論人臉辨認模型被練習得多么刁鉆，Fawkes都能提供95％以上有效防護率，保證用戶的臉不被辨認。

即便有一些不小心走漏的未遮擋相片被參加人臉辨認模型的練習集，通過進一步的擴展規劃，Fawkes也可以提供80%以上的防辨認成功率。

在Microsoft Azure Face API、Amazon Rekognition和曠視Face Search API這幾個最先進的人臉辨認服務面前，Fawkes的「隱身」作用則達到了100%。

現在，Fawkes已開源，Mac、Windows和Linux都可以使用。

裝置簡易便利

這兒以Mac系統為例，簡單介紹一下軟件的使用方法。使用的筆記本是MacBook Air，1.1GHz雙核Intel Core i3的處理器。

首先，咱們從GitHub上下載壓縮裝置包，并進行解壓。

接下來，把想要修正的所有相片放入一個文件夾里，并記住途徑。

以桌面上的一個名為test_person的圖片文件夾為例，里邊咱們放了三張相片，其間一張圖片包括兩個人。

這兒的圖片途徑是~/Desktop/test_person，根據你的圖片保存位置來確認。

接下來，打開啟動臺中的終端，進入壓縮包地點的文件夾。

注意，假如MacOS是Catalina的話，需要先修正一下權限，以管理員身份運轉，sudo spctl —master-disable就可以了。

這兒咱們的壓縮包直接放在下載的文件夾里，直接cd downloads就行。

進入下載文件夾后，輸入./protection -d 文件途徑（文件途徑是圖片文件夾地點的位置，這兒輸入~/Desktop/test_person），運轉生成圖片的「隱身衣」。

嗯？不錯，看起來竟然能辨認一張圖中的2個人臉。

緩慢地運轉……

據作者介紹說，生成一張「隱身衣」的速度平均在40秒左右，速度仍是比較快的。

假如電腦裝備夠好，應該還能再快點。

不過，雙核的就不奢求了…咱們耐心地等一下。

從時間看來，處理速度還算可以接受。

Done！

圖中來看，生成3張圖片的「隱身衣」，電腦用了大約7分鐘（一定是我的電腦太慢了）。

來看看生成的結果。

可以看見，文件夾中的3張圖片，都生成了帶有_low_cloaked的后綴名的圖片。

雖然介紹里說，生成的后綴是_mid_cloaked的圖片，不過軟件提供的形式有「low」、「mid」、「high」、「ultra」、「custom」幾種，所以不同的形式會有不同的后綴名。

以川普為例，來看看實際作用。

兩張圖片幾乎沒有不同，并沒有變丑，川普臉上的皺褶看起來還光滑了一點。

這樣，咱們就能放心地將通過處理后的人臉相片放到網上了。

即便被某些不懷好意的有心之人拿去使用，被盜用的數據也并不是咱們的人臉數據，不用再憂慮隱私被走漏的問題。

不僅如此，這個軟件還能「補救」一下你在交際網站上曬出的各種人臉數據。

例如，你曾經是一名沖浪達人，之前會將很多的生活照po到交際網站上——

相片可能現已被軟件扒得干干凈凈了……

不用憂慮。

假如放上這些通過處理后的圖片，這些主動扒圖的人臉辨認模型會想要增加更多的練習數據，以進步準確性。

這時候，穿上「隱身衣」圖片在AI看來甚至「作用更好」，就會將原始圖畫作為異常值放棄。

華人一作

論文的一作是華人學生單思雄，高中畢業于北京十一校園，現在剛拿到了芝加哥大學的學士學位，將于9月份入學攻讀博士學位，師從趙燕斌教授和Heather Zheng教授。

作為芝加哥大學SAND Lab實驗室的一員，他的研討主要側重于機器學習和安全的交互，像如何使用不被察覺的細微數據擾動，去維護用戶的隱私。

從單同學的推特來看，他一直致力于在這個「透明」的世界中，為咱們爭奪一點僅存的隱私。

論文的一起一作Emily Wenger同樣來自芝加哥大學SAND Lab實驗室，正在攻讀CS博士，研討方向是機器學習與隱私的交互，現在正在研討神經網絡的缺點、局限性和可能對隱私造成的影響。