模型反演攻擊（Model Inversion Attack, MIA）是一類通過(guò)訪問(wèn)訓(xùn)練好的模型，重建具有代表性類別樣本的隱私攻擊方法。近期的生成式 MIA 借助生成對(duì)抗網(wǎng)絡(luò)（GAN）學(xué)習(xí)圖像先驗(yàn)，從而在反演過(guò)程中生成高保真且語(yǔ)義一致的圖像。然而，這類方法的成功機(jī)制仍缺乏理論解釋。本文從流形假設(shè)（manifold hypothesis）出發(fā)，首次從幾何視角系統(tǒng)分析生成式 MIA 的本質(zhì)。研究發(fā)現(xiàn)，生成式反演過(guò)程在反向傳播中隱式地對(duì)梯度進(jìn)行了“幾何去噪”：通過(guò)將損失梯度投影到生成器流形的切空間，去除了偏離流形的噪聲分量，并保留了與流形一致的語(yǔ)義方向。進(jìn)一步實(shí)驗(yàn)證明，當(dāng)模型的損失梯度與生成器流形更加對(duì)齊時(shí)，模型對(duì) MIA 的脆弱性會(huì)相應(yīng)增強(qiáng)?；谶@一發(fā)現(xiàn)，本文提出AlignMI，一種通過(guò)增強(qiáng)梯度-流形對(duì)齊來(lái)提升反演性能的高效方法。

論文題目： Generative Model Inversion Through the Lens of the Manifold Hypothesis 論文鏈接： https://arxiv.org/abs/2509.20177 代碼鏈接： https://github.com/tmlr-group/AlignMI

早期的 MIA 方法由 Fredrikson 等人提出，其核心思想是直接在輸入空間中進(jìn)行優(yōu)化，通過(guò)梯度下降尋找最大化目標(biāo)類別預(yù)測(cè)分?jǐn)?shù)的輸入。然而，當(dāng)目標(biāo)模型為深度神經(jīng)網(wǎng)絡(luò)（DNN），且訓(xùn)練數(shù)據(jù)為高維自然圖像時(shí)，這種直接優(yōu)化往往難以產(chǎn)生語(yǔ)義合理的樣本。根本原因在于：自然圖像并非均勻分布于高維輸入空間，而是集中分布在一個(gè)低維流形上（即“流形假設(shè)”）。因此，簡(jiǎn)單的梯度優(yōu)化常導(dǎo)致生成的樣本偏離圖像流形，出現(xiàn)噪聲和偽特征，無(wú)法反映真實(shí)的類別語(yǔ)義。為了解決這一問(wèn)題，Zhang等人提出了一種基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的生成式模型反演方法，通過(guò)學(xué)習(xí)分布先驗(yàn)來(lái)約束攻擊優(yōu)化空間，使其集中在有意義的流形上，該思路顯著改善了重建樣本的視覺(jué)質(zhì)量與語(yǔ)義一致性，為高維數(shù)據(jù)條件下的模型反演夯實(shí)了重要基礎(chǔ)。

圖1： 生成式MIA框架和損失梯度可視化

盡管生成式 MIA 在實(shí)踐中表現(xiàn)出色，其背后為何能夠有效提取模型中潛藏的私有信息，卻仍缺乏系統(tǒng)的解釋。如圖 1(a) 所示，生成式反演通過(guò)反演階段的分類損失梯度從目標(biāo)模型中提取隱私信息；圖 1(b) 展示了在高分辨率設(shè)置下對(duì) PPA 方法的損失梯度可視化，比較了交叉熵?fù)p失與龐加萊損失。在這兩種情況下，梯度均呈現(xiàn)出顯著的噪聲特征。

二、問(wèn)題分析與方法提出

生成式MIA通過(guò)利用反演時(shí)損失梯度對(duì)目標(biāo)模型中編碼的隱私信息進(jìn)行挖掘，以達(dá)到重建訓(xùn)練數(shù)據(jù)的目的?；谔荻人尸F(xiàn)出的顯著噪聲特征，我們嘗試從幾何的角度進(jìn)行分析，發(fā)現(xiàn)生成式MIA能夠奏效的原因在于其隱式地對(duì)損失梯度進(jìn)行了去噪處理。具體而言，如圖2所示，在模型反演過(guò)程中，生成式 MIA 將損失梯度投影到生成器流形的切空間上。這一過(guò)程保留了與流形對(duì)齊的方向，同時(shí)過(guò)濾掉了偏離流形的噪聲成分。

圖2： 損失梯度投影到生成流形的幾何解釋

我們又通過(guò)測(cè)量損失梯度與生成器流形之間的對(duì)齊程度，發(fā)現(xiàn)模型的損失梯度中包含的有效信息有限。如圖 3 所示，在高分辨和低分辨兩種實(shí)驗(yàn)場(chǎng)景下，損失梯度往往都與生成器流形的切空間存在較大偏差，這表明損失梯度中與流形對(duì)齊的、富有語(yǔ)義的成分較少，而噪聲成分占比較大。這種有限的有效信息限制了生成式 MIA 在反演過(guò)程中從目標(biāo)模型中提取私有信息的能力，從而影響了其反演性能。

左：低分辨率（DCGAN）中：高分辨率（StyleGAN）右：反演過(guò)程動(dòng)態(tài) 圖3： 反演過(guò)程中的梯度流形對(duì)齊

根據(jù)以上的幾何分析和實(shí)驗(yàn)觀察，我們提出了一個(gè)假設(shè)：當(dāng)模型的損失梯度與生成流形的切空間更加一致時(shí)，模型往往更容易受到生成式 MIA 的影響。為了驗(yàn)證這個(gè)假設(shè)，我們?cè)O(shè)計(jì)了一個(gè)新穎的訓(xùn)練目標(biāo)，通過(guò)在標(biāo)準(zhǔn)分類損失的基礎(chǔ)上添加一個(gè)幾何對(duì)齊項(xiàng)，顯示地促進(jìn)損失梯度與生成器流形之間的對(duì)齊程度。具體而言，我們利用預(yù)訓(xùn)練的變分自編碼器（VAE）來(lái)估計(jì)數(shù)據(jù)流形的切空間，并在訓(xùn)練過(guò)程中鼓勵(lì)模型的輸入梯度與估計(jì)的流形切空間對(duì)齊。

圖4：梯度-流形對(duì)齊的實(shí)證評(píng)估圖5：MIA 在具有不同對(duì)齊分?jǐn)?shù)的vanilla模型和對(duì)齊感知模型上取得的反演性能

表1：原始模型和三種對(duì)齊感知模型的對(duì)齊分?jǐn)?shù)、測(cè)試準(zhǔn)確率和反演性能

假設(shè)驗(yàn)證的實(shí)驗(yàn)結(jié)果如圖4、圖5和表1所示。圖 4（a）表明隨著訓(xùn)練時(shí)對(duì)齊分?jǐn)?shù)的增加，模型的測(cè)試準(zhǔn)確率呈現(xiàn)下降趨勢(shì)，說(shuō)明模型的梯度-流形對(duì)齊程度和泛化性能之間存在權(quán)衡。圖 4（b）表明訓(xùn)練時(shí)梯度-流形對(duì)齊程度的增加會(huì)導(dǎo)致反演時(shí)梯度-流形對(duì)齊程度的增加。圖 4（c）則表明使用標(biāo)準(zhǔn)損失函數(shù)訓(xùn)練得到的模型，在測(cè)試準(zhǔn)確率有差異的情況下，梯度-流形對(duì)齊程度也幾乎一致。這些結(jié)果驗(yàn)證了我們提出的流形對(duì)齊訓(xùn)練目標(biāo)函數(shù)的有效性。圖 5 則比較了具有不同對(duì)齊分?jǐn)?shù)的模型在 GMI (LOM) 攻擊方法下的脆弱性，結(jié)合表 1 的數(shù)據(jù)，揭示了模型脆弱性與梯度-流形對(duì)齊之間的”倒置 V 形”關(guān)系，即模型的 MIA 脆弱性隨著對(duì)齊分?jǐn)?shù)的增加先增加后減少，說(shuō)明梯度-流形對(duì)齊創(chuàng)造了一個(gè)新的攻擊面，從而驗(yàn)證了我們提出的假設(shè)。

那么進(jìn)一步的，我們提出了一個(gè)自然的問(wèn)題：能否在反演階段，通過(guò)增強(qiáng)梯度與流形的對(duì)齊程度，來(lái)提升生成式 MIA 的性能？為此，我們提出了一種全新的免訓(xùn)練（training-free）方法AlignMI，在不修改模型參數(shù)的前提下，通過(guò)在反演過(guò)程中主動(dòng)增強(qiáng)梯度與生成器流形的對(duì)齊程度提升生成式 MIA 的性能，核心思想是在合成輸入的局部鄰域內(nèi)采樣多個(gè)變體，并平均相應(yīng)的損失梯度，從而削弱噪聲的、偏離流形的分量，同時(shí)增強(qiáng)與生成器流形對(duì)齊的一致方向，產(chǎn)生更具語(yǔ)義信息量的梯度信號(hào)。其中，擾動(dòng)平均對(duì)齊（PAA）通過(guò)在合成輸入的局部鄰域內(nèi)添加隨機(jī)擾動(dòng)來(lái)生成多個(gè)樣本變體，變換平均對(duì)齊（TAA）則采用語(yǔ)義不變的圖像變換（如隨機(jī)裁剪、翻轉(zhuǎn)等）來(lái)生成樣本變體。具體步驟如下：

1. 局部鄰域采樣 ：

   在合成輸入的局部鄰域內(nèi)添加隨機(jī)擾動(dòng)或應(yīng)用語(yǔ)義不變的圖像變換生成多個(gè)樣本變體。

2. 損失梯度計(jì)算 ：

   對(duì)每個(gè)采樣的樣本變體，計(jì)算其損失梯度。

3. 梯度平均處理 ：

   將采樣得到的多個(gè)樣本變體的損失梯度進(jìn)行平均，得到一個(gè)平滑且更具語(yǔ)義信息的梯度估計(jì)。

4. 優(yōu)化更新 ：

   利用平均后的梯度估計(jì)來(lái)更新生成器的輸入隱變量，從而優(yōu)化合成輸入，指導(dǎo)合成輸入向更符合目標(biāo)類別特征的方向變化。

如表 2 所示，將 PPA 方法與 PAA 和 TAA 策略結(jié)合后，所有關(guān)鍵指標(biāo)均呈現(xiàn)改進(jìn)趨勢(shì)。在 ResNet-18 、DenseNet-121 和 ResNeSt-50三個(gè)模型上，PAA 策略和TAA 策略都使 Acc@1 得到提升，并讓KNN Dist 有所下降。這些結(jié)果表明， AlignMI 方法能有效增強(qiáng)模型反演攻擊的性能，驗(yàn)證了其在提升梯度-流形對(duì)齊方面的有效性。

四、總結(jié)與展望

本文從幾何角度深入分析了生成式模型反演攻擊的有效性，揭示了其隱含的梯度去噪機(jī)制?；诖耍芯刻岢隽嗽鰪?qiáng)模型反演性能的新方法 AlignMI，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其有效性。這一成果不僅增進(jìn)了對(duì)生成式 MIA 的理解，還為開(kāi)發(fā)更強(qiáng)大的防御策略提供了新視角。未來(lái)研究將進(jìn)一步探索如何在高分辨率設(shè)置下降低計(jì)算成本，以及如何緩解梯度-流形對(duì)齊與模型泛化性能之間的權(quán)衡問(wèn)題。

來(lái)源：公眾號(hào)【HKBU計(jì)算機(jī)系】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈