本文由「Light科普坊」出品
撰稿：焦述銘
審稿：左超
眾所周知，如今人工智能（AI）功能非常強大，高算力軟硬件再配合上無處不在的攝像頭作為自己的眼睛，分辨一張圖片中動物是貓還是狗，在茫茫人群找到某個目標，都早已不是難事。在圖像分類識別和圖像目標檢測等任務中，準確率幾乎達到“百發百中”的程度，甚至很多時候超過了真人。通過人臉識別和大數據，AI視覺系統不僅可以知道“你是誰？”，還很可能猜測出來“你從哪裡來？”，“你要到哪去？”。對於這些直擊靈魂的“哲學終極三問”，你不必說一句話，AI已經“心中有數”。
如果一個人不希望被鋪天蓋地的AI視覺系統所察覺，有沒有什麼好辦法呢？
用頭套和面罩把自己的臉遮擋地嚴嚴實實的，把攝像頭砸壞了，或者把計算機電源線拔了？這些莽撞愚蠢的做法，隻會起到欲蓋彌彰的效果，反而主動暴露了自己，真正的高招是瞞天過海，暗度陳倉，不動聲色把AI給騙了。可現在的AI越來越聰明，“猴精猴精的”，還能輕而易舉被人給騙了？其實欺騙AI不僅可行，還有很多種黑客攻擊辦法。
目前以深度神經網絡模型為代表的AI系統雖然可以出色地完成很多任務，但內部結構像個黑箱，研究者也沒有完全搞清楚其中的機理。這樣復雜的系統難免有各種漏洞（bug），隻要抓住其中某一個，直擊要害，就可以把AI捉弄得團團轉。就如同人的雙眼會產生各種視錯覺一樣，AI視覺系統也經常有“看走眼”的時候。
即使一個AI系統平時表現甚佳，也會因為被“整蠱”，變得徹底發揮失常，丟人現眼，出盡洋相。AI系統好比一個發揮不穩定的學霸，考試中可以輕松應對壓軸難題，卻也會莫名其妙地出現低級失誤，回答不出“送分題”。如果隻對一張圖片做出微不足道，甚至難以察覺的更改，誘導AI視覺系統做出錯誤判斷，稱為對抗樣本攻擊。
對於手機電腦上的電子圖片，使用者可以任意更改其中每個像素的數值，給圖片內容改頭換面非常容易。難點在於，一方面做出的更改要盡可能無蹤無影，不容易被看出，另一方面所做出的更改要足以觸發AI系統的漏洞，誤導生成錯誤的輸出。不過目前已有很多不懼艱險的優化算法，可以生成這種被稱為對抗樣本的圖片。下圖展示的就是AI視覺系統遇到電子“圖騙”攻擊之後的種種奇葩表現。
圖1：遇到電子“圖騙”（對抗樣本）攻擊之後，AI視覺系統的奇葩表現：原本的熊貓圖片加上優化設計的彩色雪花點之後，人眼看起來基本沒什麼變化，可是AI系統告訴你這不是熊貓，是長臂猿；阿爾卑斯山被看成了狗，河豚魚被看成了螃蟹，這也太離譜了吧；甚至連最基本的手寫數字也不會認了，非說4是9，3是7，8是1……這沒少喝吧[1、2、3]
不得不說，在遭受對抗樣本攻擊之後，AI的眼力實在不敢恭維，“睜著眼睛說瞎話”，圖像的識別結果都是些胡言亂語，表現大失水準。AI系統除了可以給出結果外，還會給出對應的置信度，表示自己對於結果正確程度抱有多高百分比的信心，可偏偏這些誤判結果的置信度數值都相當高，不是99%就是100%，看來此時的AI視覺系統還很“普信”，明明表現很普通，卻還那麼自信。
如果說對於電子圖片，實施的是魔法攻擊，那麼對於現實中的物體，就需要實施物理攻擊了[4]。簡單一點的物理攻擊方式就是在人臉、交通標志或者別的什麼物體上，貼上一個小標簽，畫上幾筆線條，當然所做的更改同樣是精心設計過的，就可以讓AI視覺系統失靈。
圖2：通過貼小標簽的簡單方式迷惑AI視覺系統[4]
千萬不要小看了這種惡作劇，圖中的“停車”交通標志牌會被AI誤認作“限速45”，如果自動駕駛汽車真的被這樣的標志所欺騙，發生交通事故，車毀人亡都是可能的，AI視覺系統的這種漏洞值得認真對待。
圖3：一個女孩戴上特殊鏡框後，就會被AI識別為另一個不同女孩[5]
一般來說，某個人的長相要是可以被AI視覺系統認出來，那他戴上眼鏡，很大概率還是可以照樣被認出來。不過戴上以上這副特殊“眼鏡”就不一定了，這種假眼鏡沒有鏡片，隻有鏡框，鏡框的彩色裝飾圖案也很另類，外表看似一件當代藝術作品，實際是根據AI模型的缺陷“獨傢定制”的，可以讓AI視覺系統感覺“判若兩人”[5]。
對於實物的對抗樣本攻擊當然也離不開光學手段，利用投影儀在物體表面投影幹擾光圖案就是一個簡單有效的方法[6]，而使用隨處可見的影子作為攻擊方式[7]，看起來則更自然，隱蔽性更強，隻是需要把遮擋物體擺放到恰當位置，讓影子成為所需的樣子。
圖4：利用投影儀（左）和物體自然影子（右）的光學對抗樣本攻擊[6,7]
如今智能手機的照相功能越來越先進，拍攝出照片和視頻越來越清晰，哪怕一款低配置的手機拍照質量也基本可以讓人滿意，但數碼照相設備和人眼各自所忠實記錄的真實世界，其實是有差別的。不僅AI軟件系統本身是有漏洞的，作為AI視覺輸入的相機和攝像頭同樣有漏洞，通過在拍攝環節“做手腳”，人眼看起來再正常不過的物體，在圖像傳感器上卻會被轉換為一張張奇奇怪怪的照片，進而誤導AI的判斷。
要想欺騙相機，第一招是利用人眼與相機傳感器頻譜的差異。紅橙黃綠青藍紫各種不同顏色的光都被稱為可見光，是因為它們在人眼的視覺范圍內，可以被看到，而比紅色光波長更長的紅外線，比紫色光波長更短的紫外線，在人眼中都是隱形不可見的。普通手機和相機的傳感器可以接收光信號的頻譜范圍大致和人眼類似，可又不完全一樣，往往可以探測到一定波長的人眼看不到的紅外線。
圖5：詭異的紅外光讓AI總是認錯人：相機拍到的圖片（第一行）和識別結果（第二行）[8]
有研究者通過一個紅外線LED燈，把經過設計的不同光分佈圖案找到人臉上，無論怎麼照，在真人觀看者眼中沒有任何異常，可是在拍出的照片中，臉上總是有紫色的一塊區域，這樣就會誘導AI人臉識別系統產生“臉盲癥”表現，把同一個人誤看成多個不同的人[8]。而用於網上支付的正常紙質二維碼，經過百米之外紅外激光的照射，在手機攝像頭眼中，可以變為完全不同的另一個二維碼，在不被留意的情況下，成為惡意網站鏈接的入口[9]。
圖6：在一組快速交替的投影圖案照射下，人眼中還是那張臉，可相機眼中是完全另外一幅“濃妝淡抹”的模樣[10]
第二招是利用人眼獨特的顏色融合機制。當紅色光和綠色光快速交替展示時，比如每秒60張，由於閃爍過快，人眼將難以分辨，看到的隻會是紅色光和綠色光融合後形成的黃色光，而相比之下，圖像傳感器則更加明察秋毫，每個時刻記錄的或者是紅色光，或者是綠色光，並不會是融合後的黃色光。投影儀將包含了偽裝目標（比如希拉裡）人臉畫面的兩個圖案快速交替投影到現實中的人臉上，真人觀看者看到的是兩個投影圖案中和後的均勻光圖案，看上去並沒有怎麼影響人臉本身的樣子，而在手機或相機拍到的照片裡，出現的卻是一個被投影圖案高度扭曲的人臉，會被識別為投影圖案中的人。這相當於用投影儀給人臉“濃妝淡抹”一番，不過妝容是若隱若現的，隻要不通過相機觀看，化的妝就被自動卸掉了[10]。
第三招是利用圖像傳感器卷簾快門的缺陷。人眼中的視網膜相當於相機中的傳感器，都是用於記錄圖像光信號。不過區別在於，視網膜記錄整張二維圖像的時候，是同步進行的，比如看一張人臉的時候，耳朵眼睛鼻子嘴都是同時看到的。但很多相機傳感器不是這樣，采取一種稱為卷簾快門的逐行掃描方法，單張圖像的光信號也是一行一行分開記錄的，耳朵眼睛鼻子嘴因為位置不同，並不是同步記錄下的，而是有微小的時間差。這樣通過明暗快速交替變化的燈光，恰好遇上相機傳感器正好記錄圖像中某一行光信號的時候，光是暗的，拍到的照片中就會出現一條黑線[11]，最後整個畫面就成了斑馬的模樣。而對於人眼來說，由於燈閃爍得實在太快了，完全感覺不到燈在閃爍，看到的圖中更不會有黑線。
圖7：卷簾快門效應使得相機在快速閃爍燈光下拍到的照片中有一條條黑線或者彩色條紋[11、12]
而如果我們使用紅綠藍三種不同顏色的燈光[12]，並且更加精細地計算每種燈光各個短暫時刻的開啟和關閉狀態，照片上出現的不再是簡單的黑線，而是彩虹一樣的彩色條紋。無論黑線和彩色條紋，都可以迷惑AI系統，使它無法正常工作。
除了利用現成相機傳感器的缺陷，研究者也嘗試了更主動的攻擊方式，就像在特洛伊木馬中隱藏士兵一樣，在正常相機的成像系統光路中額外添加一個處理模塊，這個模塊能夠以光學方式對拍攝的圖像光信號進行微小的修改[13]。具體來說，通常情況下物體圖像的光信號通過相機透鏡之後，會直接投射到圖像傳感器上。但這個不普通的系統中，相機透鏡和傳感器之間還添加了一個額外的模塊，模塊裡面包括兩個透鏡和一個空間光調制器，第一個透鏡相當於以光場傳播模擬了對圖像進行傅裡葉變換，然後用空間光調制器調整變換結果的相位，再通過另一個透鏡，進行傅裡葉逆變換。經過這個特殊模塊處理後的圖像會和正常相機的拍攝結果稍微不同，“魔鬼就存在於細節之中”，輸入中巧妙設計的微小改變足以擾亂一個AI系統的正常運行。
圖8：一個嵌入了用於生成對抗樣本圖像的光學處理器的相機系統[13]
當然，面對各種對抗樣本攻擊，AI視覺系統的設計者也不是束手無策，兩者是矛與盾的關系，矛越鋒利，盾也會更堅固。近年來，研究者經常舉辦全球范圍內的人工智能對抗樣本攻防競賽，參賽者可以在模擬的場景中相互切磋，聚集在一起華山論劍[14]。“魔高一尺，道高一丈”，AI視覺系統抵禦對抗樣本攻擊的能力也在日益提升，隨著各種漏洞的填補而變得愈加完善。
參考文獻
[1] I. J. Goodfellow, J. Shlens, and C. Szegedy, Explaining and Harnessing Adversarial Examples, arXiv:1412.6572 (2014)
[2] Y. Dong, F. Liao, T. Pang, H. Su, J. Zhu, X. Hu, and J. Li, Boosting Adversarial Attacks with Momentum, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2018), 9185-9193 (2018)
[3] H. Ye, X. Liu, and C. Li, DSCAE: a denoising sparse convolutional autoencoder defense against adversarial examples, J. Ambient. Intell. Human Comput. 13, 1419–1429 (2022)
[4] J. Fang, Y. Jiang, C. Jiang, Z. L. Jiang, S.-M. Yiu, and C. Liu, State-of-the-art optical-based physical adversarial attacks for deep learning computer vision systems, arXiv: 2303.12249 (2023)
[5] M. Sharif, S. Bhagavatula, L. Bauer, and M. K. Reiter, Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition, In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (CCS '16), 1528–1540 (2016)
[6] A. Gnanasambandam, A. M. Sherman, and S. H. Chan, Optical Adversarial Attack, arXiv:2108.06247 (2021)
[7] Y. Zhong, X. Liu, D. Zhai, J. Jiang, and X. Ji, Shadows can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Natural Phenomenon, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15324-15333 (2022)
[8] Z. Zhou, D. Tang, X. Wang, W. Han, X. Liu, and K. Zhang, Invisible mask: practical attacks on face recognition with infrared, arXiv:1803.04683 (2018)
[9] 《紙質二維碼也能隔空篡改：百米之外無痕攻擊，秒變惡意網站入口》，量子位微信公眾號，https://mp.weixin.qq.com/s/mNB-4mAfFCtcNtvSUW3x5Q
[10] M. Shen, Z. Liao, L. Zhu, K. Xu, and X. Du, VLA: a Practical Visible Light-based Attack on Face Recognition Systems in Physical World, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 3(3), 103 (2019)
[11] Z. Chen, P. Lin, Z. L. Jiang, Z. Wei, S. Yuan, and J. Fang, An Illumination Modulation-Based Adversarial Attack Against Automated Face Recognition System, In Information Security and Cryptology: 16th International Conference (Inscrypt 2020), 53–69 (2020)
[12] A. Sayles, A. Hooda, M. K. Gupta, R. Chatterjee, and E. Fernandes, Invisible Perturbations: Physical Adversarial Examples Exploiting the Rolling Shutter Effect, 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 14661-14670 (2020)
[13] K. Kim, J. Kim, S. Song, J.-H. Choi, C. Joo, and J.-S. Lee, Engineering pupil function for optical adversarial attacks, Optics Express 30(5), 6500-6518 (2022)
[14] 張子豪，《神經網絡太好騙？清華團隊如何做到打NIPS攻防賽得3冠軍的》，程序員好物館微信公眾號，https://mp.weixin.qq.com/s/k0dCmIhwMsqvsR_Fhhy93A
監制：趙陽
編輯：趙唯
來源：中國光學
編輯：Sdk