想(xiang)要大幅降低人(ren)臉(lian)識別系統泄露隱私的風險?
先做個“影子模(mo)型(xing)”攻(gong)擊一遍就好(hao)了。
這不(bu)是說(shuo)著玩，而是浙江大學(xue)和阿里(li)巴(ba)巴(ba)合作提出的最新方(fang)法(fa)，已被CVPR 2023接收。
一般來說(shuo)，人臉(lian)識別系(xi)統(tong)都采用客(ke)戶端-服務器模式，通(tong)過客(ke)戶端的特征(zheng)提(ti)取(qu)器從面部圖像中提(ti)取(qu)特征(zheng)，并將面部特征(zheng)而非照片(pian)存儲(chu)在服務器端進(jin)行(xing)人臉(lian)識別。
盡管這樣能避免被拍下的人臉照片直接泄露，但現在也有一些方法能夠基于人臉特征信息來重構圖像，還是威脅了大家的隱私安全。
因此，浙江大學網絡空間安全學院王志波團隊聯合橙盾科技、深象智能，提出了全新方法，通過建立影子模型來模擬攻擊者的行為，捕捉從面部特征到圖像的映射函數，利用重構映射相似性，來產生對抗噪聲，破壞從特征到人臉的映射，完成對未知重構攻擊的抵御。
舉(ju)個不太恰當的(de)比喻，這就好像是給人(ren)臉識別(bie)系(xi)統注(zhu)射疫苗，讓(rang)它先產生“抗體”，這樣(yang)當病毒真正攻擊時(shi)，就能很好抵御了(le)。
而且這一方法支持(chi)即(ji)插即(ji)用，無需修改網(wang)絡結構或者重新訓練網(wang)絡，測試結果表(biao)(biao)明，該方法表(biao)(biao)現達到SOTA。
增強隱私保護但不降低準確性
一般來說，人臉識別系統采用的客戶端/服務器架構的工作方式。
人臉識別網絡由服務器預先訓練，并在特定點將網絡分成特征提取器和分類決定器。
我們在系統內(nei)存入人(ren)臉密碼的過程，就是使用了提取器來獲取面(mian)部特(te)征，然后(hou)系統會將特(te)征發送到服務器。
在服務端，上(shang)傳的面部特征與數據庫中特征通過分類(lei)決定(ding)器驗證后(hou)，完成(cheng)識別(bie)。
這(zhe)樣(yang)的好處是用戶(hu)的人臉照片(pian)留在本地，真正上傳到云端(duan)只是特征信息。
但這也并不意味著系統會是絕對安全的。
因為攻擊(ji)者通過訪問人臉識別客戶端(duan)，獲取(qu)人臉識別系統中的特征提取(qu)器，進而通過任意(yi)圖像與其特征一對一的關系，訓練重構器。
再拿到(dao)數(shu)據庫中(zhong)泄露(lu)的(de)人臉特征，利用重構器就(jiu)能恢(hui)復人臉圖像，竊取隱(yin)私。
這種重構攻擊模式可大致分為兩種：
基于優化
基于學習
前者通過(guo)逐步調(diao)整輸(shu)入圖(tu)像(xiang)的(de)像(xiang)素，使特(te)征提取(qu)器的(de)輸(shu)出盡可能接近(jin)某(mou)一特(te)征值，直到(dao)重構(gou)出與該(gai)特(te)征對應(ying)的(de)人(ren)臉圖(tu)像(xiang)(即(ji)最初輸(shu)入圖(tu)像(xiang))。
后者是構建新的(de)神經網絡訓練特征(zheng)圖像解碼器，直接從面部特征(zheng)中重建圖像。
目前已經出(chu)現了一些人臉(lian)數據保護方(fang)法，但都還存在(zai)一定劣(lie)勢。
由此，本項研究提出了一種基于重構映射相似性的隱私保護對抗性人臉特征，來保護人臉識別系統的安全。
具(ju)體(ti)步(bu)驟就是在服務器端構建基于任(ren)意結構的影子模(mo)(mo)型S(·) 來模(mo)(mo)擬攻擊者的行為，并保(bao)證影子模(mo)(mo)型有能力重(zhong)構人臉特征，利(li)用重(zhong)構映射(she)相似性，捕捉從面部特征到圖像(xiang)的映射(she)函數。
然后，利(li)用(yong)影子模型的(de)梯度信息來生(sheng)成(cheng)針對重(zhong)構(gou)映射的(de)對抗性噪聲(sheng)來破壞(huai)從特征到人臉的(de)映射，完(wan)成(cheng)對未(wei)知重(zhong)構(gou)攻(gong)擊(ji)的(de)抵御，保護人臉隱私安全。
同時，作者對擾動強度(du)(du)進行了約(yue)束，分(fen)析(xi)了擾動強度(du)(du)對人(ren)(ren)臉識別精(jing)(jing)度(du)(du)與人(ren)(ren)臉隱(yin)私安全(quan)兩者關系的影響，實現保證(zheng)人(ren)(ren)臉識別精(jing)(jing)度(du)(du)的同時，滿(man)足隱(yin)私安全(quan)需求。
方法總覽如下，作者將其命名為AdvFace。
應用方面，該方法有(you)兩種(zhong)模式(shi)：
Online模式
Offline模式
Online模式(shi)下，AdvFace可以(yi)作為即插即用的(de)(de)隱私增強(qiang)模塊集成(cheng)到已部署的(de)(de)人(ren)臉識別系統，有效提升人(ren)臉數據對重構(gou)攻擊的(de)(de)防御能(neng)力。
Offline模式下(xia)，服務(wu)器可以使用對抗性特征和標簽(qian)重新訓練服務(wu)器端的(de)下(xia)游(you)人(ren)臉(lian)識(shi)別(bie)網絡，在(zai)保證(zheng)安全性能不改變(bian)的(de)情況下(xia)，提高人(ren)臉(lian)識(shi)別(bie)準確(que)率。
實驗結果
AdvFace提供了可(ke)選的人臉(lian)隱私保護(hu)強(qiang)(qiang)度，如下(xia)是該方(fang)法在(zai)不同保護(hu)強(qiang)(qiang)度下(xia)，人臉(lian)隱私保護(hu)的情(qing)況。
可(ke)以(yi)看到保(bao)(bao)護強度(du)大(da)于0.15后，隱私可(ke)以(yi)得(de)到很好的(de)保(bao)(bao)護。
如下是不同噪聲強度下，重構圖片的PSNR指標和人臉識別精度。
在(zai)保護強度為0.2時，精(jing)(jing)度略(lve)有下降，但在(zai)防(fang)御重構(gou)攻(gong)擊(ji)和(he)精(jing)(jing)度上取得(de)了更好的平衡(圖表中越(yue)接近(jin)左(zuo)下角越(yue)優，意味精(jing)(jing)度高的同時，對重構(gou)攻(gong)擊(ji)防(fang)御效果好)。
而(er)在對重構攻擊的(de)(de)防御上，AdvFace的(de)(de)效果(guo)也明顯優(you)于(yu)其他方法。
對于攻(gong)擊者使用(yong)重構圖片進行人臉認證的測(ce)試中(zhong)，使用(yong)AdvFace后，攻(gong)擊成功率明顯低于其(qi)他方法。
如(ru)上(shang)所有(you)結果(guo)表明，AdvFace在保持人臉識別準確度的同時，有(you)效提升了人臉識別系(xi)統對重(zhong)構(gou)攻擊(ji)的防御能力。
與此同時，它提出的(de)重構(gou)攻(gong)擊映射的(de)相似(si)性，還為防御未知黑盒攻(gong)擊提供了理(li)論(lun)支(zhi)撐。
該成果發表于Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023，是CCF推薦的人工智能領域A類會議。
CVPR 2023 Accepted papers：//cvpr2023.thecvf.com/Conferences/2023/AcceptedPapers
論文(wen)地址(zhi)：//arxiv.org/abs/2305.05391
