武大阿裏團隊提出FakeTagger,重新識別率達95%

人工智能博士 2021-08-15 13:12:05 阅读数:108

本文一共[544]字,预计阅读时长:1分钟~
武大 提出 faketagger 重新

點上方人工智能算法與Python大數據獲取更多幹貨

在右上方 ··· 設為星標 *,第一時間獲取資源

僅做學術分享,如有侵權,聯系删除

轉載於 :新智元

DeepFake千千萬,究竟怎麼辦?GAN的濫用已經讓現在的世界不再「眼見為實」。於是,研究人員提出了FakeTagger系統,將視覺上無法辨別的ID信息嵌入到圖像中,准確率高達95%。

拍照、修圖、發朋友圈、等大家點贊評論。

 

是不是已經一氣呵成了?

 

大家都喜歡在社交平臺上發自己照片,還希望大家能給自己精修的圖點個贊。

 

 

然而,隨著GAN及其變體在圖像合成中的快速發展。

 

上傳到各大平臺的照片和視頻都有可能會被DeepFake拿去進行編輯。

 

越來越多的軟件可以讓毫無專業知識的用戶生成DeepFake圖像,例如FaceApp等。

 

現在,甚至連直播都可能是「Fake」的

 

 

我們已經生活在一個「眼見未必為實」的世界裏了。

 

過去兩年來,研究人員積極提出各種DeepFake檢測技術。這些研究主要是在真實圖像和合成圖像之間,捕捉細微差异作為檢測線索。

在Facebook主辦的最新DeepFake檢測競賽 (DFDC) 中,最佳檢測結果准確率不到70%。

 

為了更好檢測出DeepFake,來自武漢大學的汪潤等人合作開發了一個系統:「FakeTagger」。

 

值得注意的是,FakeTagger是首個通過圖像標記為DeepFake出處和跟踪進行的工作。

 

論文地址:https://arxiv.org/abs/2009.09869

 

文中,作者采用了一個基於DNN的編碼器和解碼器,並對信息嵌入和恢複進行聯合訓練。

同時,受到香農容量定理的啟發,作者加入了冗餘信息進而提高了信號通信的魯棒性。

 

結果錶明,對於常見的Deepfake方法,FakeTagger的重新識別率高達近95%。

 

FakeTagger

現有的研究大多都集中在已知GAN或簡單的數據集上,如FaceForensics++、DeepFake-TIMIT。

 

通常用於區分真假的偽影由於現實世界中的各種退化問題,很可能會被移除或損壞。包括簡單的圖像轉換和具有擾動的對抗性噪聲攻擊。

 

這就成為開發强大的DeepFake檢測器的最大障礙。簡單點說,現有的DeepFake檢測方法面臨兩個重大挑戰:

 

  1. 對未知合成技術的泛化能力差;

  2. 圖像質量下降後的魯棒性差。

 

 

FakeTagger,顧名思義,它的工作原理就是標記面部照片,其主要解决了三個問題:

 

1. 對不同GAN的泛化性;

2. 對圖像變換的魯棒性;

3. 嵌入式標簽的隱蔽性。

 

FakeTagger利用編碼器和解碼器將視覺難以分辨的ID信息,以足够低的級別嵌入到圖像中,使其成為基本的面部特征數據。

 

然後再通過嵌入的信息對圖像進行恢複,從而確定是否為經過GAN處理的DeepFake圖像。

 

圖像標簽

FakeTagger的圖像標簽具有以下特性:

  1. 用於DeepFake的圖像標簽應該對基於GAN的轉換具有魯棒性;

  2. 被標記的信息肉眼無法察覺,不會引入明顯的圖像質量下降。

 

FakeTagger的整體架構

 

方法包括五個關鍵部分,一個信息發生器????????????????,一個基於DNN的編碼器????????????????,一個GAN模擬器????????????????,一個基於DNN的信息解碼器????????????????,和一個通道解碼器????????????????。

 

  • 信息發生器????????????????從通道編碼中生成二進制信息。生成的信息作為一種資產,用於身份驗證。

  • 編碼器????????????????將信息(通常是UID)嵌入到面部圖像中,並確保肉眼無法看到標記的信息。換句話說,編碼後的圖像需要在感知上與輸入圖像相似。

  • GAN模擬器????????????????用於執行各種基於GAN的轉換。

 

  • 信息解碼器????????????????在基於GAN的劇烈變換後,從編碼的面部圖像中恢複嵌入的信息。恢複的UID被進一步用於身份驗證目的。

  • 通道解碼器????????????????接受來自????????????的解碼信息,產生最終信息????。

圖像標簽的編碼器-解碼器訓練

 

基於DNN的編碼器和解碼器經過聯合訓練,將信息嵌入給定的輸入面部圖像。

 

編碼器允許任意信息不被察覺地嵌入給定的任意面部圖像中。

 

解碼器經過訓練,即使經曆了基於GAN的處理後,也能檢索到嵌入的信息。

 

編碼器????????????????接收面部圖像????和信息????作為輸入,然後信息發生器????????????????產生一個冗餘信息????′。

 

編碼器????????????????輸出帶有映射????????????????(????,????′)↦????。

 

輸入的面部圖像????需要在感知上與編碼的面部圖像????,其中????≈????。編碼後的面部圖像可由GAN處理,其中????????????????(????)↦????。

 

解碼器試圖恢複嵌入式信息????????????????(????)↦????或????????????????(????)↦????,其中????≈????′。

 

最後,信道解碼器????????????????產生最終信息????。

 

信道編碼

 

在信號轉換中,信道編碼能够糾正錯誤,解决數據在噪聲信道中傳輸的限制。

 

作者用信道編碼來注入冗餘信息,使這些嵌入式信息能够在基於GAN的變換中留存下來。

 

基於GAN的轉換可以簡單地被視為一種噪聲通道。

 

 

信息發生器????????????????產生一個長度比????大的冗餘信息????′。

 

信道失真是由基於GAN的轉換引入的錯誤,並應用二進制對稱信道(BSC)來進行錶述。

 

其中,BSC是一個標准的信道失真模型,它假設每個比特在信息中都是獨立的,並以一個概率????隨機翻轉。

 

損失函數

 

為了保證解碼信息的最小誤差,作者在模型訓練中引入了兩個主要損失。

 

信息損失????????為計算解碼後的信息和生成的信息之間的損失,其中????????????????使用????2損失,錶示為 :

 

 

圖像損失????????衡量編碼圖像和輸入圖像之間的相似度。

 

准確性的評估

白盒效果

 

 R錶示該信息注入了通道編碼的冗餘信息,N錶示該信息沒有注入任何冗餘信息

 

結果錶明,FakeTagger在部分合成方面錶現良好,如身份互換和臉部再現。

 

准確率最佳為97.3%,最差為95.7%。

 

不過,在整體合成中的最佳結果只有95.2%。

 

經過STGAN處理後的性能,如去掉頭發、加上胡子、戴上眼鏡、改變膚色

 

在面部特征方面,FakeTagger對容易受到膚色改變的影響。

 

因為與其他三種屬性編輯相比,改變膚色的操作區域更大,强度也更劇烈。

 

總體而言,FakeTagger在對四種類型的DeepFake進行信息恢複時達到了平均95%以上的准確率,但是對操作區域和輸入圖像的大小很敏感。

 

此外,注入的冗餘信息在提高FakeTagger的性能方面有著關鍵的作用。

 

黑盒效果

 

DeepFake操作是未知的

 

結果顯示,FakeTagger的平均准確率超過了88.95%,證明了在黑盒環境中的有效性。

與其他三個DeepFake相比,FakeTagger在整體合成中錶現良好。

 

而基線在黑盒中的信息檢索准確率只有不到60%。

 

魯棒性的評估

作者采用了四種在制作DeepFake視頻中廣泛出現的擾動,即壓縮、調整大小、模糊和高斯噪聲。

 

輸入圖像大小為256×256,被操縱的面部屬性為「胡子」。

魯棒性評估結果,壓縮質量衡量壓縮的强度範圍從100到0

 

當擾動的强度增加時,FakeTagger保持了一個小的波動範圍,比如壓縮率、調整大小的部分。

 

在四種類型的DeepFake中,整體合成對四種擾動攻擊更為敏感,特別是在壓縮和添加高斯噪聲方面。

 

因此,考慮到對擾動的魯棒性,FakeTagger可以很好地應用在實際當中。

作者簡介

研究團隊成員分別來自武漢大學、中國教育部空天信息安全與可信計算教育部重點實驗室、阿裏巴巴集團、波士頓東北大學和新加坡南洋理工大學。

 

 

一作為通訊作者汪潤,武漢大學國家網絡安全學院特聘副研究員,碩士生導師。

 

2018年12月畢業於武漢大學國家網絡安全學院,獲得信息安全專業博士學比特。

 

2019年-2021年在新加坡南洋理工大學從事博士後研究工作(合作導師 LIU Yang 教授)。

 

2021年2月加入武漢大學國家網絡安全學院。

 

研究方向包括人工智能安全、對抗樣本的攻擊與防禦、DeepFake、邊緣AI、數據驅動安全、軟件與系統安全等。

 

主要研究成果已先後發錶在國際頂級學術期刊和會議上,其中以第一作者或通訊作者身份在CCF推薦的A類頂級期刊和會議論文6篇,包括IEEE TMC, ACM Multimedia, IJCAI等。

 

應邀擔任IEEE Transactions on Reliability, IEEE TNNLS, IEEE TCSVT等國際重要學術期刊審稿人。

 

 

二作為徐覺飛,卡耐基梅隆大學CyLab研究員,專門研究模式識別、機器學習、計算機視覺和圖像處理。

 

2009年畢業於上海交通大學,後就讀於卡內基梅隆大學,獲得電子與計算機工程和機器學習碩士學比特。

2018年獲得卡內基梅隆大學電子與計算機工程博士學比特。多次獲得頂會最佳論文獎。

 

參考資料:

https://arxiv.org/abs/2009.09869

------------------

聲明:本內容來源網絡,版權屬於原作者

圖片來源網絡,不代錶本公眾號立場。如有侵權,聯系删除

AI博士私人微信,還有少量空比特

如何畫出漂亮的深度學習模型圖?

如何畫出漂亮的神經網絡圖?

一文讀懂深度學習中的各種卷積

點個在看支持一下吧

版权声明:本文为[人工智能博士]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/08/20210815131135170G.html