DynamicPAE團隊 投稿
量子位 | 公眾號 QbitAI

近日，部分L3級自動駕駛車型已經(jīng)通過工信部批準(zhǔn)正式上路，這標(biāo)志著這我國自動駕駛產(chǎn)業(yè)的新階段。

然而，假設(shè)你正乘坐自動駕駛汽車在高速上行駛，前方道路上出現(xiàn)了一個具有看似正常但實則為惡意生成紋理外觀的障礙物，而你的自動駕駛車輛感知系統(tǒng)可能并未準(zhǔn)確識別，可能因錯判、漏判引發(fā)嚴(yán)重事故。

這類對智能系統(tǒng)具有誘導(dǎo)性且可以在真實世界中復(fù)現(xiàn)的紋理，正是物理對抗樣本（PAE， Physical Adversarial Examples）。

無論是為發(fā)動PAE攻擊還是防范PAE攻擊，生成足夠的PAE樣本都至關(guān)重要。

目前已有不少方法研究如何生成PAE，但它們往往以靜態(tài)場景為前提，無法有效應(yīng)對動態(tài)變化（環(huán)境、如光、物體運動等）的現(xiàn)實環(huán)境。因此，如何實時生成適應(yīng)不同場景的物理對抗樣本，成為智能安全領(lǐng)域亟待解決的問題。

北京航空航天大學(xué)等機構(gòu)提出了DynamicPAE框架，開創(chuàng)性地實現(xiàn)了實時場景感知的動態(tài)PAE生成方法。

該方法通過對抗訓(xùn)練中的反饋問題，結(jié)合殘差引導(dǎo)的對抗模式探索和場景對齊技術(shù)，實現(xiàn)了PAE在動態(tài)場景中的毫秒級生成。該工作被IEEE Transactions on Pattern Analysis and Machine Intelligence 2025錄用

DynamicPAE框架聚焦于解決實時生成物理對抗樣本面臨的多維度挑戰(zhàn)。該方法通過對抗訓(xùn)練中的反饋問題，結(jié)合殘差引導(dǎo)的對抗模式探索和場景對齊技術(shù)，實現(xiàn)了PAE在動態(tài)場景中的高效生成和優(yōu)化。

研究面臨兩大核心挑戰(zhàn)：

1.對抗樣本訓(xùn)練中噪聲阻礙了對場景相關(guān)PAE的有效探索，進一步導(dǎo)致訓(xùn)練退化問題，現(xiàn)有生成器難以穩(wěn)定生成高質(zhì)量的對抗樣本；

2.數(shù)字域的對抗樣本生成與現(xiàn)實場景對接較為困難，生成器訓(xùn)練環(huán)境與現(xiàn)實攻擊者的觀察信息，導(dǎo)致生成的PAE在實際應(yīng)用中的適用性與隱蔽性不一致，進而影響了其在復(fù)雜環(huán)境中的有效性和穩(wěn)定性。

DynamicPAE框架通過殘差引導(dǎo)對抗模式探索、分布匹配攻擊場景對齊和目標(biāo)加權(quán)模塊的設(shè)計，有效應(yīng)對上述挑戰(zhàn)，使得PAE生成過程更加穩(wěn)定，且能夠?qū)崟r適應(yīng)不同場景。

該框架在多個物理攻擊場景中表現(xiàn)出顯著的性能提升，在真實環(huán)境中的自動駕駛安全測試、物理對抗攻擊等領(lǐng)域展現(xiàn)了廣泛的應(yīng)用潛力。

DynamicPAE框架

△圖1 環(huán)境感知的物理世界對抗樣本實時生成框架

DynamicPAE框架如圖1所示，主要包括殘差驅(qū)動的對抗模式探索方法與分布匹配的對抗場景對齊方法，解決了端到端訓(xùn)練動態(tài)對抗樣本生成器時的模式易坍縮、環(huán)境難適配問題。論文首先將動態(tài)物理對抗樣本生成問題定義為：

即尋找能夠有效建模觀察到的物理上下文PX∈p，與物理對抗樣本δ間映射的生成器G。

其中Yadv是通過目標(biāo)模型F定義的成功攻擊的范圍，⊕為攻擊注入操作，它利用物理對抗樣本δ=G(PX)作為輸入，更新世界狀態(tài)X∈x。

1. 對抗模式的探索引導(dǎo)：

研究發(fā)現(xiàn)物理對抗樣本動態(tài)生成器的優(yōu)化過程存在訓(xùn)練退化問題。為刻畫該問題，據(jù)生成模型的信息處理過程，提出有限信息反饋模型，建模物理對抗樣本δ與場景X關(guān)聯(lián)的混沌性質(zhì)，定義反饋信息比為：

其中，δ表示對抗樣本，?δL對抗樣本空間上對抗損失的梯度，刻畫單次優(yōu)化所能得到的目標(biāo)模型的反饋，Z表示在信息瓶頸理論下生成模型的對場景的關(guān)鍵編碼。

生成模型的信息處理過程為X→Z→δ，I與H分別表示互信息與香農(nóng)熵。

在引入物理環(huán)境不確定性的條件下，對抗損失梯度反饋信噪比低，即Information Ratio較低，阻礙了優(yōu)化算法對動態(tài)對抗樣本空間的探索，使得優(yōu)化得到的生成器將不同的X映射到高度相近的δ，導(dǎo)致動態(tài)性失效。

為解決該問題，研究通過重新定義訓(xùn)練任務(wù)來繞過反饋信息匱乏的困難。

具體而言，建立輔助任務(wù)協(xié)同優(yōu)化的范式，以λ∈[0,1]為集成比例，引入新的高信噪比“殘差”任務(wù)，定義集成損失lλ殘差任務(wù)損失LR條和件生成目標(biāo)δλ和殘差比例任務(wù)編碼Zλ，并通過以λ為條件生成的方式修改損失函數(shù)以提高任務(wù)的解耦性和生成效果。

具體地，定義損失函數(shù)為：

使得在該任務(wù)的反饋信息比顯著高于原有動態(tài)對抗樣本訓(xùn)練任務(wù)，即：

從對抗樣本的生成空間的角度來看，殘差任務(wù)的目標(biāo)是鼓勵探索全局空間。

受擴散模型中為學(xué)習(xí)整個梯度場而構(gòu)建去噪任務(wù)的啟發(fā)，論文將輔助殘差任務(wù)R(LR:=LInv)定義為局部重建任務(wù)，因為它與模型輸入PX直接相關(guān)，并同時可讓模型學(xué)習(xí)到如何生成不同強度的攻擊，使樣本具有更靈活的隱蔽性。

具體來說，采用均方誤差MSE作為客觀質(zhì)量指標(biāo)，LPIPS作為主觀質(zhì)量指標(biāo)，并將它們整合為：

2. 分布匹配的攻擊場景對齊

如何確保生成的PAE在現(xiàn)實場景中有效？

為了讓生成的PAE能夠在復(fù)雜多變的現(xiàn)實場景中發(fā)揮作用，DynamicPAE提出了分布匹配的攻擊場景對齊方法。該方法包含兩個關(guān)鍵模塊：

1. 條件不確定性對齊數(shù)據(jù)模塊：通過創(chuàng)建條件概率模型，生成攻擊注入過程的參數(shù)和攻擊者的觀察，使訓(xùn)練環(huán)境與攻擊者在現(xiàn)實世界中的不完整觀察對齊，從而平衡了攻擊的普遍性和性能。

2. 偏度對齊目標(biāo)重加權(quán)模塊：則利用偏度統(tǒng)計量自動重新加權(quán)損失，實現(xiàn)對不同攻擊目標(biāo)的一致隱身控制，同時進一步實現(xiàn)殘差任務(wù)訓(xùn)練過程中“探索”與“利用”的平衡。

以對抗補丁生成為例。根據(jù)條件不確定性對齊原則，基于采集到的數(shù)據(jù)X建立訓(xùn)練數(shù)據(jù)概率圖模型：

△訓(xùn)練數(shù)據(jù)概率圖模型

其中，S和s’表示生成過程中注入的隨機因素，θ表示對抗補丁的模擬放置參數(shù)，PX表示動態(tài)生成模型對于場景的觀測，從而保障訓(xùn)練環(huán)境與真實環(huán)境一致。

對于殘差任務(wù)引導(dǎo)的訓(xùn)練過程，重建損失“LInv”的采樣強度配比代表了對生成器多樣化紋理生成“探索”增強的能力，而攻擊損失“LAtk”的采樣強度代表了對于對抗補丁針對性生成的局部模式“利用”的能力。

進一步地，盡管模型以λ為輸入，測試時相同λ下模型攻擊性-隱蔽性權(quán)衡的具體行為也受損失項整體強度影響。

為建立攻擊目標(biāo)權(quán)重配比自適應(yīng)調(diào)控機制，并針對原殘差任務(wù)中的LInv進行調(diào)節(jié)，設(shè)定重構(gòu)任務(wù)的損失強度α和新?lián)p失L’Inv，根據(jù)損失的偏度統(tǒng)計量作為指示器，定義新?lián)p失項L’Inv及其調(diào)節(jié)方程為：

可證明調(diào)控過程在合理條件下收斂，從而保障在對抗度量測試場景下，動態(tài)對抗生成模型在不同目標(biāo)模型、不同任務(wù)場景下的一致攻擊行為，保障度量的一致性。α控制器的示意圖如下圖所示。

△圖2 損失分布的閉環(huán)控制示意圖

實驗結(jié)果

在多種數(shù)字和物理環(huán)境中，DynamicPAE相較于傳統(tǒng)PAE生成方法展現(xiàn)了優(yōu)異的攻擊性能。

在使用COCO和Inria數(shù)據(jù)集進行目標(biāo)檢測實驗時，DynamicPAE實現(xiàn)了顯著的性能提升，尤其在面對DETR等強大模型時，平均AP（平均精度）下降幅度為58.8%，達到了2.07倍的攻擊成功率提升。

DynamicPAE在推斷速度上表現(xiàn)優(yōu)異。

實驗數(shù)據(jù)顯示，在NVIDIA A40 GPU上，DynamicPAE生成單張對抗樣本的平均耗時僅為12毫秒，相比于傳統(tǒng)的PGD迭代攻擊方法，速度提升了2000倍以上，且攻擊性更優(yōu)。

這一特性使得DynamicPAE能夠輕松滿足自動駕駛等場景對物理世界攻擊實時性的嚴(yán)苛要求，真正實現(xiàn)了動態(tài)、自適應(yīng)的物理對抗。

△圖3 DynamicPAE與其他方法對比

△圖 4 DynamicPAE與基線方法對比

上圖可視化了一些目標(biāo)模型的補丁生成結(jié)果。左側(cè)是沒有殘差引導(dǎo)訓(xùn)練時，可以觀察到所有四個目標(biāo)模型生成的補丁都是相同的。

殘差引導(dǎo)訓(xùn)練在攻擊每個模型時成功找到了多樣化的解決方案。盡管探索到的對抗樣本模式本身的多樣性有限，但其擺脫退化和單一解的行為是一致的。

△圖5 DynamicPAE的機制分析

為表明DynamicPAE框架中樣本不同是基于攻擊者的觀察生成的，而不是隨機生成的，研究進一步分析了訓(xùn)練好的生成器的潛在表征Z。

首先根據(jù)物理對抗樣本的風(fēng)格對潛在表征進行標(biāo)注，然后應(yīng)用LDA進行降維。圖5中，子圖a表明模型成功學(xué)習(xí)到了樣本的線性降維表征。研究進一步在降維空間中進行K近鄰搜索，并在子圖b中可視化了相應(yīng)的物理上下文。

結(jié)果表明，KNN搜索結(jié)果在某些特征上（包括人類行為、服裝的色彩、暴露的身體部位等）與查詢具有顯著相似性，這表明DynamicPAE通過端到端的訓(xùn)練，確實捕捉到了攻擊目標(biāo)（如行人檢測器）的脆弱性特征與物理場景上下文之間的深層關(guān)聯(lián)，從而實現(xiàn)了場景感知的生成能力

△圖6 動態(tài)物理環(huán)境下的適應(yīng)能力

為了驗證模型在真實物理世界中的有效性，研究構(gòu)建了包含光照變化、不同視角及屏幕反射等干擾的物理測試環(huán)境。

實驗結(jié)果表明，DynamicPAE生成的對抗樣本并非靜態(tài)不變，而是能夠根據(jù)環(huán)境光照和場景內(nèi)容的改變進行動態(tài)調(diào)整

在視頻分析實驗中，面對不斷變化的背景和移動的人物，DynamicPAE能夠實時輸出與當(dāng)前幀最匹配的對抗紋理，保持攻擊的持續(xù)有效性。相比于傳統(tǒng)靜態(tài)貼片在光照劇烈變化下攻擊性能大幅下降的情況，DynamicPAE展現(xiàn)出了卓越的環(huán)境適應(yīng)能力和魯棒性

論文同時驗證了DynamicPAE在黑盒遷移攻擊、3D仿真環(huán)境泛化攻擊、人臉識別分類攻擊的有效性，驗證了技術(shù)框架對無人駕駛對抗擾動測試生成場景的適配能力，同時消融實驗進一步分析了各模塊的影響，驗證了所提方法的實際有效性。

在未來，相關(guān)工作可結(jié)合3D仿真模型生成和強化學(xué)習(xí)等技術(shù)，進一步完善動態(tài)對抗的生成能力。

論文鏈接：https://ieeexplore.ieee.org/document/11219170