想要大幅降低人臉(lian)識別系統泄露隱私的風險?
先做個“影子(zi)模(mo)型(xing)”攻擊一(yi)遍就好了。
這不是說著玩，而是浙江大學和阿里巴(ba)巴(ba)合(he)作提出(chu)的最(zui)新方法，已被(bei)CVPR 2023接收(shou)。
一般來說(shuo)，人臉(lian)識別系統都采(cai)用客戶端(duan)-服務器(qi)模式(shi)，通(tong)過客戶端(duan)的特征提(ti)取器(qi)從面部圖像中提(ti)取特征，并將(jiang)面部特征而非照片存儲在(zai)服務器(qi)端(duan)進行(xing)人臉(lian)識別。
盡管這樣能避免被拍下的人臉照片直接泄露，但現在也有一些方法能夠基于人臉特征信息來重構圖像，還是威脅了大家的隱私安全。
因此，浙江大學網絡空間安全學院王志波團隊聯合橙盾科技、深象智能，提出了全新方法，通過建立影子模型來模擬攻擊者的行為，捕捉從面部特征到圖像的映射函數，利用重構映射相似性，來產生對抗噪聲，破壞從特征到人臉的映射，完成對未知重構攻擊的抵御。
舉(ju)個不太恰當(dang)的(de)比(bi)喻，這(zhe)就(jiu)好(hao)像是給(gei)人臉識別(bie)系統注射疫苗，讓它先(xian)產生“抗體”，這(zhe)樣當(dang)病毒真正攻擊時，就(jiu)能很(hen)好(hao)抵御了(le)。
而且(qie)這一方(fang)法(fa)支(zhi)持即插即用，無(wu)需(xu)修改網(wang)絡(luo)結構或者(zhe)重新訓練網(wang)絡(luo)，測試(shi)結果(guo)表(biao)明，該方(fang)法(fa)表(biao)現(xian)達到SOTA。
增強隱私保護但不降低準確性
一般來說，人臉識別系統采用的客戶端/服務器架構的工作方式。
人臉識別網絡由服務器預先訓練，并在特定點將網絡分成特征提取器和分類決定器。
我們在系統(tong)內存入人臉(lian)密(mi)碼的(de)過程，就是使用(yong)了提取器來(lai)獲取面部特征，然(ran)后系統(tong)會將特征發送到服務器。
在服務(wu)端，上傳的面(mian)部特(te)征(zheng)與數(shu)據庫中特(te)征(zheng)通過分類決定器驗證(zheng)后，完成識(shi)別(bie)。
這樣的好處(chu)是用戶(hu)的人臉照(zhao)片留(liu)在本(ben)地，真正上傳到云端只是特征信息。
但這也并不意味著系統會是絕對安全的。
因為攻擊(ji)者通(tong)過訪問人(ren)臉識(shi)(shi)別(bie)客戶端，獲取人(ren)臉識(shi)(shi)別(bie)系統中的(de)特(te)征提(ti)取器(qi)，進而通(tong)過任意圖像與其(qi)特(te)征一(yi)對(dui)一(yi)的(de)關系，訓練重構器(qi)。
再拿到(dao)數(shu)據庫中泄露的人臉特(te)征，利用重構器就能恢復人臉圖像，竊取隱(yin)私。
這種重構攻擊模式可大致分為兩種：
基于優化
基于學習
前者通過逐步調整輸入(ru)圖像(xiang)的像(xiang)素，使特征(zheng)提取器的輸出(chu)盡可能接近某(mou)一特征(zheng)值(zhi)，直到重構出(chu)與該特征(zheng)對應的人臉圖像(xiang)(即最初輸入(ru)圖像(xiang))。
后(hou)者是構(gou)建新的神經網絡訓練特(te)征(zheng)圖像解碼器(qi)，直(zhi)接從面部特(te)征(zheng)中重建圖像。
目(mu)前(qian)已經(jing)出現了一些人臉(lian)數據保護方法，但都還存在一定劣勢。
由此，本項研究提出了一種基于重構映射相似性的隱私保護對抗性人臉特征，來保護人臉識別系統的安全。
具體(ti)步驟就是在服務器端(duan)構(gou)建基于任(ren)意結構(gou)的影子模型(xing)(xing)S(·) 來模擬攻擊者(zhe)的行為，并保證影子模型(xing)(xing)有能力重(zhong)構(gou)人臉特征(zheng)，利用重(zhong)構(gou)映射相(xiang)似性，捕捉從面部特征(zheng)到圖像的映射函數。
然后，利用影子模型的梯度信(xin)息來生成針對重(zhong)構(gou)映射的對抗(kang)性(xing)噪(zao)聲來破壞(huai)從特征到(dao)人(ren)臉(lian)的映射，完成對未知重(zhong)構(gou)攻擊(ji)的抵御，保(bao)護人(ren)臉(lian)隱私安全。
同時(shi)，作者(zhe)對擾(rao)動強(qiang)度(du)(du)進(jin)行了(le)約束，分析了(le)擾(rao)動強(qiang)度(du)(du)對人(ren)(ren)臉識別(bie)精度(du)(du)與(yu)人(ren)(ren)臉隱(yin)私(si)安全兩者(zhe)關系(xi)的(de)影(ying)響，實現保證人(ren)(ren)臉識別(bie)精度(du)(du)的(de)同時(shi)，滿足隱(yin)私(si)安全需(xu)求。
方法總覽如下，作者將其命名為AdvFace。
應用方面(mian)，該方法有兩種模式(shi)：
Online模式
Offline模式
Online模式下(xia)，AdvFace可以作為即插即用的(de)(de)隱私增強模塊集成到已(yi)部署的(de)(de)人(ren)臉(lian)識別(bie)系統(tong)，有(you)效提升人(ren)臉(lian)數(shu)據對(dui)重(zhong)構攻擊的(de)(de)防(fang)御能力。
Offline模(mo)式下(xia)(xia)，服(fu)務器可以使用對抗(kang)性特征和標簽重新訓練服(fu)務器端的下(xia)(xia)游人(ren)臉(lian)識別網絡，在保證(zheng)安(an)全(quan)性能(neng)不(bu)改變(bian)的情況下(xia)(xia)，提(ti)高人(ren)臉(lian)識別準確率。
實驗結果
AdvFace提供了可選的人(ren)臉(lian)隱私保護(hu)強(qiang)度，如下是該方(fang)法在不同保護(hu)強(qiang)度下，人(ren)臉(lian)隱私保護(hu)的情況。
可以看到保護(hu)強(qiang)度大(da)于0.15后(hou)，隱私可以得到很好的保護(hu)。
如下是不同噪聲強度下，重構圖片的PSNR指標和人臉識別精度。
在保護強度為0.2時，精(jing)度略有(you)下降(jiang)，但在防御重構攻(gong)擊和精(jing)度上取得了更好(hao)的(de)平衡(圖表中越(yue)接近左下角越(yue)優，意味精(jing)度高的(de)同時，對重構攻(gong)擊防御效果好(hao))。
而在對重構攻(gong)擊(ji)的(de)(de)防御(yu)上，AdvFace的(de)(de)效果也明顯(xian)優于其(qi)他方法。
對于(yu)攻(gong)擊(ji)(ji)者(zhe)使用(yong)重構圖片進行人臉認證的測試中，使用(yong)AdvFace后，攻(gong)擊(ji)(ji)成功率(lv)明顯低于(yu)其他方法(fa)。
如上(shang)所有結果表明(ming)，AdvFace在保持(chi)人(ren)臉(lian)識(shi)別(bie)(bie)準確度的(de)同時，有效提升了人(ren)臉(lian)識(shi)別(bie)(bie)系統對重構攻擊(ji)的(de)防御能力。
與(yu)此(ci)同時，它提出的重構攻(gong)擊映射的相(xiang)似性(xing)，還(huan)為防御未知黑盒攻(gong)擊提供了(le)理(li)論支撐。
該成果發表于Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023，是CCF推薦的人工智能領域A類會議。
CVPR 2023 Accepted papers：//cvpr2023.thecvf.com/Conferences/2023/AcceptedPapers
論文地址：//arxiv.org/abs/2305.05391
