來(lái)源：市場(chǎng)資訊

（來(lái)源：機(jī)器之心）

編輯｜Panda

近日，有個(gè)大新聞：執(zhí)掌蘋(píng)果超過(guò) 14 年的蒂姆?庫(kù)克宣布將于 9 月正式卸任 CEO 職位，將接力棒交接給現(xiàn)任硬件工程高級(jí)副總裁約翰?特努斯。回顧庫(kù)克時(shí)代，人們津津樂(lè)道于他極致的供應(yīng)鏈管理藝術(shù)以及帶領(lǐng)蘋(píng)果市值一路飆升至 4 萬(wàn)億美元的旅程。

然而，在這個(gè)由生成式 AI 主導(dǎo)的全新十年里，特努斯接手的將是一個(gè)亟需在 AI 領(lǐng)域證明自己的蘋(píng)果。

蘋(píng)果近年來(lái)在 AI 底層技術(shù)層面的投入正在不斷加碼。恰在此時(shí)，蘋(píng)果 AI 研究團(tuán)隊(duì)提交了一篇極具探討價(jià)值的論文《你的 logits 知道些什么？（答案可能會(huì)讓你驚訝！）》

• 論文標(biāo)題：What do your logits know? (The answer may surprise you!)

• 論文地址：https://arxiv.org/abs/2604.09885

這項(xiàng)研究觸及了大模型運(yùn)作的最底層邏輯，也直接關(guān)乎蘋(píng)果最為看重的核心價(jià)值：用戶(hù)隱私與數(shù)據(jù)安全。

接下來(lái)，我們就基于這篇論文，看看大模型在回答簡(jiǎn)單問(wèn)題時(shí)，究竟在底層「偷偷」記住了多少你的秘密。

核心概念：信息瓶頸原則

要理解這篇論文，我們首先需要了解一個(gè)關(guān)鍵概念：信息瓶頸原則 (Information Bottleneck Principle)。

打個(gè)比方，假設(shè)你是一家大型跨國(guó)公司的 CEO，你需要決定是否收購(gòu)一家初創(chuàng)企業(yè)。你的基層調(diào)研團(tuán)隊(duì)會(huì)收集海量的信息，包括該公司的財(cái)務(wù)報(bào)表、員工的午餐喜好、辦公室的裝修風(fēng)格等。

但是，當(dāng)這份報(bào)告層層遞交，最終放到你的辦公桌上時(shí)，它應(yīng)該被大幅壓縮，只保留那些對(duì)「收購(gòu)」決策至關(guān)重要的財(cái)務(wù)和技術(shù)指標(biāo)。保留多余的無(wú)效信息不僅會(huì)干擾你的判斷，還可能導(dǎo)致決策失誤。

對(duì)于視覺(jué)-語(yǔ)言-模型 (VLM) 也是同理。

舉個(gè)例子，你有一張信息量很大的照片，并將其上傳給模型，并詢(xún)問(wèn)「圖片里有一只灰色的貓嗎？請(qǐng)用一個(gè)詞回答」。根據(jù)信息瓶頸原則，一個(gè)理想的模型在最終輸出「Yes」或「No」時(shí)，應(yīng)該早就把背景里的沙發(fā)顏色、窗外的天氣等無(wú)關(guān)信息全部過(guò)濾掉了。

但蘋(píng)果這篇論文提出一個(gè)疑問(wèn)：模型真的做到了徹底遺忘嗎？

為了找出答案，研究人員截取了模型處理信息的不同階段進(jìn)行測(cè)試。具體來(lái)說(shuō)，他們主要考察了以下兩個(gè)代表性的層級(jí)：

• 殘差流 (Residual Stream)：這相當(dāng)于公司底層收集數(shù)據(jù)的龐大數(shù)據(jù)庫(kù)。它包含了模型在處理過(guò)程中的所有隱藏狀態(tài)。

• 最終的 Logits：Logits 是模型在輸出最后一個(gè)詞之前，針對(duì)詞典里每一個(gè)詞匯打出的原始概率得分。取排名前列的候選詞得分，就是 top-k logits。這就好比呈遞給 CEO 的最終選項(xiàng)清單。

實(shí)驗(yàn)設(shè)計(jì)

研究人員引入了一個(gè)名為「探針」(Probes) 的輕量級(jí)神經(jīng)網(wǎng)絡(luò)工具。探針的作用，就是專(zhuān)門(mén)盯著模型特定層級(jí)的數(shù)據(jù)，試圖從中強(qiáng)行推測(cè)出圖片的原始屬性。

實(shí)驗(yàn)使用了兩個(gè)主要數(shù)據(jù)集。一個(gè)是完全由人造幾何圖形組成的 CLEVR 數(shù)據(jù)集，里面包含各種大小、顏色和材質(zhì)的立方體或球體。另一個(gè)是包含復(fù)雜真實(shí)生活場(chǎng)景的 MSCOCO 數(shù)據(jù)集。

研究人員對(duì)圖片進(jìn)行了各種干擾，比如加入高斯噪聲、玻璃模糊或運(yùn)動(dòng)模糊。

隨后，他們向模型提問(wèn)。在獲得模型的內(nèi)部數(shù)據(jù)后，他們訓(xùn)練探針，看看能不能從殘差流或最終的 logits 中，反向推斷出圖片加入的噪聲級(jí)別、目標(biāo)物體的顏色，甚至是沒(méi)有被提問(wèn)到的背景物體的特征。

在干擾測(cè)試中，研究人員還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象。當(dāng)施加最嚴(yán)重的高斯噪聲時(shí)，Qwen3-VL 模型的準(zhǔn)確率受到了極大的影響，傾向于將答案由「Yes」翻轉(zhuǎn)為「No」，而 LLAMA 模型在面對(duì)高斯噪聲時(shí)則展現(xiàn)出了相對(duì)更強(qiáng)的穩(wěn)定性。這些不同的表現(xiàn)反映了各模型在提取決策相關(guān)信息時(shí)的內(nèi)部差異。

七大發(fā)現(xiàn)

通過(guò)測(cè)試，蘋(píng)果團(tuán)隊(duì)得出了一系列揭示模型底層機(jī)制的結(jié)論，完整展現(xiàn)了信息在模型內(nèi)部的留存狀態(tài)。

發(fā)現(xiàn)一：殘差流是全知全能的 Oracle

在處理視覺(jué)輸入時(shí)，殘差流幾乎原封不動(dòng)地保留了圖片的一切細(xì)節(jié)。

研究表明，無(wú)論是與最終決策直接相關(guān)的圖像噪聲類(lèi)型，還是目標(biāo)物體的形狀和顏色，亦或是完全無(wú)關(guān)的背景物體數(shù)量與屬性，探針都能從表現(xiàn)最好的隱藏層狀態(tài)中以接近完美的準(zhǔn)確率提取出來(lái)。在這一層，模型就像一個(gè)過(guò)目不忘的偷窺者，尚未執(zhí)行任何有效的信息壓縮。

發(fā)現(xiàn)二：殘差流的低維投影同樣「藏不住秘密」

為了觀察信息如何向最終輸出過(guò)渡，研究人員使用了 Tuned Lens 技術(shù)來(lái)提取殘差流向 Logit 空間映射的演變軌跡。

測(cè)試表明，即使僅僅觀察排名前 2 的預(yù)測(cè)軌跡 (trajectory-2) ，探針不僅能提取出大量目標(biāo)和決策相關(guān)的核心信息，依然會(huì)輕易讀取出諸多背景物體的特征。這印證了此前業(yè)內(nèi)關(guān)于語(yǔ)言模型隱藏狀態(tài)易遭秘密提取的研究，證明這些深層軌跡并沒(méi)有遵循理想的信息瓶頸原則進(jìn)行有效的過(guò)濾。

發(fā)現(xiàn)三：最終層 Logits 可靠地編碼了決策與目標(biāo)信息

在模型即將生成回答的最后一層，信息壓縮確實(shí)發(fā)生了，但遠(yuǎn)不夠徹底。

僅觀察排名前 2 的最終 Logits （即對(duì)應(yīng)「Yes」和「No」的得分），探針就能以極高的準(zhǔn)確率預(yù)測(cè)出影響模型決策的圖像噪聲級(jí)別和類(lèi)型。

而當(dāng)觀察的候選詞匯數(shù)量增加到包含所有大小寫(xiě)的 yes/no 變體（ k 約等于 10 至 13 ）時(shí)，目標(biāo)物體的各類(lèi)屬性信息就開(kāi)始變得清晰可解碼，并在提取數(shù)量等同于模型層數(shù)（ 1L ，約 30 至 40 個(gè)候選詞）時(shí)達(dá)到預(yù)測(cè)的準(zhǔn)確率巔峰。

發(fā)現(xiàn)四：最終 Logits 悄悄記住了提示詞「未提及」的目標(biāo)屬性

這是引發(fā)嚴(yán)重安全擔(dān)憂的核心發(fā)現(xiàn)。

假設(shè)我們向模型提問(wèn)「圖片里有一個(gè)藍(lán)色的圓柱體嗎？」，雖然提示詞明確給出了顏色和形狀，但完全沒(méi)有提及該物體的材質(zhì)和大小。然而，探針依然能從模型最終輸出的前 0.5L 數(shù)量的候選項(xiàng)中，極其可靠地預(yù)測(cè)出這個(gè)圓柱體究竟是橡膠還是金屬材質(zhì)的，以及它的具體尺寸。

這意味著模型為了得出最終結(jié)論，不僅調(diào)用了相關(guān)特征，還將冗余的目標(biāo)特征作為伴生數(shù)據(jù)一并帶到了極易暴露的表層。

發(fā)現(xiàn)五：最終 Logits 甚至充當(dāng)了環(huán)境的「錄像機(jī)」

除了緊盯目標(biāo)物體，最終層的 Logits 還在暗中記錄著周?chē)沫h(huán)境。

雖然排名前 2 的 Logits 幾乎不包含背景信息，但只要觀察的候選詞數(shù)量稍微增加，這些看似只有單個(gè)單詞的表層輸出分布，就能顯著且高于隨機(jī)水平地預(yù)測(cè)出場(chǎng)景中非目標(biāo)物體（如背景中的其他幾何體）的數(shù)量、顏色等屬性。只需獲取適量的輸出分布數(shù)據(jù)，不相干的背景隱私便無(wú)處遁形。

發(fā)現(xiàn)六：泄密往往只需要前 60 個(gè)左右的 Logits （呈 U 型曲線）

研究團(tuán)隊(duì)觀察到了一個(gè)有趣的預(yù)測(cè)能力 U 型曲線。

僅看排名前 2 的候選詞時(shí)，模型幾乎只暴露噪聲信息；增加觀察數(shù)量后，探針的預(yù)測(cè)準(zhǔn)確率會(huì)迅速攀升，并在截取 30 至 80 個(gè) Logits （視具體模型深度 1L 或 2L 而定）時(shí)達(dá)到頂峰。如果繼續(xù)擴(kuò)大 Logits 集合到 4L 或 5L 以上，預(yù)測(cè)能力反而會(huì)因?yàn)楦呔S噪聲干擾而跌落回隨機(jī)水平。

這表明，惡意提取者根本不需要獲取龐大的完整輸出詞表，極少量的頭部候選詞匯就是泄密的重災(zāi)區(qū)。

發(fā)現(xiàn)七：在同等維度下，最終 Logits 的風(fēng)險(xiǎn)與深層破解無(wú)異

過(guò)去的黑客或研究者想提取大模型底層的機(jī)密知識(shí)，往往需要采用白盒手段獲取模型內(nèi)部的參數(shù)軌跡，門(mén)檻極高。

但這項(xiàng)研究揭示了一個(gè)殘酷的現(xiàn)實(shí)：如果保持相同的觀察維度，提取模型最表層且經(jīng)常通過(guò) API 對(duì)外開(kāi)放的最終層 top-k Logits （通常只需要截取 2L 數(shù)量），其泄露無(wú)關(guān)信息的能力與需要極高權(quán)限的深層日志軌跡幾乎完全相當(dāng)。這打破了業(yè)內(nèi)對(duì)于灰盒 API 訪問(wèn)具有天然安全屏障的傳統(tǒng)幻想。

技術(shù)背后的深遠(yuǎn)隱憂：隱私與大模型安全

在大概理解了實(shí)驗(yàn)過(guò)程之后，我們不禁要問(wèn)，這到底意味著什么？

蘋(píng)果團(tuán)隊(duì)敏銳地指出了這一現(xiàn)象背后的巨大安全隱患。

在實(shí)際的商業(yè)應(yīng)用中，許多 API 接口或服務(wù)提供商為了讓開(kāi)發(fā)者調(diào)整參數(shù)，會(huì)公開(kāi)模型最終的 top-k 對(duì)數(shù)概率，這就是所謂的灰盒場(chǎng)景。

這意味著，當(dāng)用戶(hù)上傳一張包含隱私信息的照片，僅僅是讓模型執(zhí)行一個(gè)無(wú)關(guān)痛癢的視覺(jué)問(wèn)答任務(wù)時(shí)，模型看似只輸出了一個(gè)「Yes」或者一段簡(jiǎn)短的文字，但其背后附帶的那幾十個(gè)最高概率詞匯的得分分布，已經(jīng)悄悄把你照片里的背景信息、潛在的敏感屬性泄露給了能夠獲取這些數(shù)據(jù)的服務(wù)端或惡意截獲者。

惡意攻擊者完全可以通過(guò)反復(fù)抽樣和探測(cè)，從這些看似無(wú)害的輸出概率中還原出用戶(hù)的隱私數(shù)據(jù)。

此外，從模型自身的性能優(yōu)化角度來(lái)看，這種信息壓縮的失敗也解釋了為什么大模型經(jīng)常會(huì)產(chǎn)生幻覺(jué)。那些徘徊在頂層 logits 中的無(wú)關(guān)信息，在非貪婪解碼的生成過(guò)程中，隨時(shí)可能對(duì)最終生成的文本產(chǎn)生干擾，導(dǎo)致模型輸出帶有偏見(jiàn)或虛假的內(nèi)容。

結(jié)語(yǔ)

「What do your logits know?」這個(gè)論文標(biāo)題中問(wèn)題堪稱(chēng)懸在生成式 AI 頭頂?shù)囊话堰_(dá)摩克利斯之劍。

蒂姆?庫(kù)克帶領(lǐng)蘋(píng)果建立起了世界上最高效的科技商業(yè)帝國(guó)，而當(dāng)接力棒傳到約翰 特努斯手中時(shí)，如何打造既高度智能又絕對(duì)保護(hù)隱私的下一代計(jì)算平臺(tái)，將是蘋(píng)果無(wú)法回避的新命題。

這篇論文告訴我們，在大模型的黑盒子里，即使是看似無(wú)害的一組概率數(shù)字，也可能隱藏著你的秘密。