共同一作：洪翔宇，清華大學電子系大四本科生，曾獲清華大學蔣南翔獎學金等，曾在NeurIPS，EMNLP，NAACL等頂級會議上發(fā)表論文。姜澈，清華大學電子系博士三年級在讀，主要研究方向為LLM Interpretebility，LLM Agent，曾在NeurIPS，ICML，EMNLP，NAACL等頂級會議上發(fā)表論文。

隨著大型語言模型在各類任務中展現(xiàn)出卓越的生成與推理能力，如何將模型輸出精確地追溯到其內(nèi)部計算過程，已成為 AI 可解釋性研究的重要方向。然而，現(xiàn)有方法往往計算代價高昂、難以揭示中間層的信息流動；同時，不同層面的歸因（如 token、模型組件或表示子空間）通常依賴各自獨立的特定方法，缺乏統(tǒng)一且高效的分析框架。

針對這一問題，來自清華、上海 AI Lab 的研究團隊提出了全新的統(tǒng)一特征歸因框架——DePass（Decomposed Forward Pass）。

該方法通過將前向傳播中的每個隱藏狀態(tài)分解為多個可加子狀態(tài)，并在固定注意力權重與 MLP 激活的情況下對其逐層傳播，實現(xiàn)了對 Transformer 內(nèi)部信息流的無損分解與精確歸因。借助 DePass，研究者能夠在輸入 token、注意力頭、神經(jīng)元乃至殘差流子空間等多個層面上進行歸因分析，為機制可解釋性研究提供了統(tǒng)一而細粒度的新視角。

• 論文標題：DePass: Unified Feature Attributing by Simple Decomposed Forward Pass
• 論文鏈接： https://arxiv.org/pdf/2510.18462
• 代碼鏈接： https://github.com/TsinghuaC3I/Decomposed-Forward-Pass

問題分析：

現(xiàn)有歸因方法的局限性

現(xiàn)有的歸因方法大致可以分為以下幾類：

• 基于噪聲消融和激活修補的方法：這些方法通過直接對模型的所有模塊施加噪聲或修補激活值來分析模型行為，但計算成本高昂，且難以洞察中間信息流。
• 基于梯度的歸因方法：這類方法在理論上面臨挑戰(zhàn)，難以提供細粒度的解釋。
• 基于模型近似或抽象的方法：雖然部分方法能夠與人類認知對齊，但通常無法達到細粒度的組件級別（如神經(jīng)元或注意力頭），且非保守的近似可能會損害歸因的可信度。

DePass：

一種全新的歸因框架

實驗驗證：

DePass 的有效性

DePass 提供了一個統(tǒng)一的歸因框架，支持在輸入 token、注意力頭、神經(jīng)元以及殘差流子空間等多個層面進行一致歸因，無需修改模型結(jié)構(gòu)或依賴任務特定近似，并可自然銜接人類推理及稀疏字典學習（如 SAE）等方法。研究團隊在 token 級、模型組件級和子空間級歸因任務上驗證了 DePass 的有效性：

Token-Level DePass——輸出歸因到輸入：精準識別驅(qū)動預測的核心證據(jù)

我們首先在輸出到輸入 token 的歸因任務上驗證了 DePass 的表現(xiàn)，目標是評估每個輸入 token 對模型最終輸出的實際貢獻。

在「Disrupt-top」實驗中，移除 DePass 判定最關鍵的 tokens 會導致模型輸出概率急劇下降，表明其捕捉到了真正驅(qū)動預測的核心證據(jù)；而在「Recover-top」實驗中，DePass 保留的極少量 tokens 依然能高度恢復模型判斷。這表明 DePass 能夠更忠實地刻畫模型內(nèi)部的信息流動與輸入貢獻關系，實現(xiàn)高可信度的 token 級歸因分析。

Token-Level DePass——子空間歸因到輸入：追蹤子空間信號的 token 來源

DePass 不僅能在 token 層面追蹤預測依據(jù)，還能精準定位哪些輸入 token 激活了模型中「特定方向/特定語義子空間」的信號（例如「truthfulness」方向），從而識別出影響模型判斷的關鍵來源（如誤導性信息），并顯著提升模型的可控性與可解釋性。

在事實性任務中，團隊利用 DePass 將「虛假信息子空間」拆解后，進一步將其激活分配到每個輸入 token。歸因結(jié)果清晰揭示了哪些詞觸發(fā)了模型的錯誤方向?；谶@些 token 進行定向遮罩后，模型在 CounterFact 上的事實性準確率從約10% → 40%+大幅提升，顯著優(yōu)于現(xiàn)有 probe-based masking 方法。

Model-Component-Level DePass——模型組件級歸因：觀察注意力頭與 MLP 神經(jīng)元的實際功能

DePass 能直接量化每個注意力頭與 MLP 神經(jīng)元對預測的真實貢獻，在遮罩實驗中顯著優(yōu)于梯度、激活等傳統(tǒng)重要性指標。

當遮罩 DePass 判定的「重要組件」（Top-k Masking）時，模型準確率下降更快；當僅保留「最不重要組件」（Bottom-k Masking）時，模型性能保持得更好。這說明 DePass 識別的組件重要性具備更高的敏感性、完備性、因果性，在 IOI 與 CounterFact 等任務上均顯著超越 AtP、Norm 等主流歸因指標。

Subspace-Level DePass——子空間級歸因

DePass 還可以用于研究隱狀態(tài)中不同子空間之間的相互作用，以及這些子空間對最終輸出的影響。我們以語言子空間（language subspace）為例進行分析。

我們訓練了一個語言分類器，并將其權重方向作為語言子空間的基向量。隨后，將中間層的隱狀態(tài)分別投影到語言子空間與其正交語義子空間中；兩部分隱狀態(tài)在網(wǎng)絡中分別獨立傳播至最終層，并通過 LM Head 解碼，以觀察其對應輸出。

• 語言子空間：經(jīng) t-SNE 顯示形成清晰的語言聚類（如英文/法文/德文），體現(xiàn)語言特征集中分布。
• 語義子空間：獨立解碼結(jié)果跨語言一致，例如無論輸入語言為何，都會生成相同的事實答案（如「Dutch」）。

這一結(jié)果說明 DePass 能忠實保留并傳播子空間的功能屬性，為跨語言解釋和語義分解提供了全新視角。

（左）對 token 在語言子空間上的投影進行 t-SNE 可視化。（右）針對不同多語言提示語，從語言子空間與語義子空間中解碼得到的前五個 token

總結(jié)

DePass 作為一種基于分解前向傳播的 Transformer 解釋框架，兼具簡潔性與高效性。通過凍結(jié)并分配注意力得分和 MLP 激活，DePass 實現(xiàn)了無損的加性分解，可無縫適配各種 Transformer 架構(gòu)。

實驗結(jié)果表明，DePass 在多層次粒度的歸因分析中具有更高的忠實性。我們期望 DePass 能成為機制可解釋性研究中的通用工具，推動社區(qū)在更廣泛的任務與模型上探索其潛力與應用。