來(lái)源：市場(chǎng)資訊

幾乎所有 Transformer 都在做一件反常的事：把大量注意力集中到少數(shù)幾個(gè)特定 Token 上。這不是 bug，而是 Transformer 固有的「注意力匯聚」（Attention Sink）。首篇系統(tǒng)性綜述，帶你從利用、理解到消除，全面掌握這一核心現(xiàn)象。

過(guò)去幾年，研究者在 Transformer 的「黑盒」里發(fā)現(xiàn)了一個(gè)普遍卻反常的現(xiàn)象：無(wú)論輸入什么內(nèi)容，模型總是把大量注意力集中到第一個(gè) Token、[SEP] 或圖像背景補(bǔ)丁這類毫無(wú)信息量的位置上。傳統(tǒng)語(yǔ)言模型有，大語(yǔ)言模型有，ViT 有，多模態(tài)大模型也有。

這一注意力匯聚（Attention Sink）模式，深刻影響了模型的訓(xùn)練、推理動(dòng)態(tài)，給注意力機(jī)制的理解帶來(lái)了挑戰(zhàn)，并且還會(huì)引發(fā)幻覺(jué)等問(wèn)題。盡管 Attention Sink 引發(fā)了眾多討論和前沿的研究，但這一領(lǐng)域始終缺乏系統(tǒng)的全面梳理。

來(lái)自清華大學(xué)、香港大學(xué)、美團(tuán) LongCat 團(tuán)隊(duì)等機(jī)構(gòu)的研究者聯(lián)合發(fā)布了首篇 Attention Sink 系統(tǒng)綜述，系統(tǒng)梳理了超過(guò) 180 篇相關(guān)研究。通過(guò)統(tǒng)計(jì)這些研究的發(fā)表時(shí)間和主題，綜述勾勒出這一領(lǐng)域的清晰演進(jìn)軌跡：

• 初期（2023 年起）—— 基本利用：早期研究的重點(diǎn)是對(duì) Attention Sink 的實(shí)證利用，關(guān)注如何利用其固有特性或應(yīng)對(duì)其直接影響。這一階段將 Attention Sink 視為可被利用的實(shí)際現(xiàn)象。

• 中期（2024 年起）—— 機(jī)制理解：隨著實(shí)證應(yīng)用成熟，研究重點(diǎn)開(kāi)始深入探究 Attention Sink 背后的成因。這一階段聚焦于可解釋性，旨在精細(xì)理解驅(qū)動(dòng)這一現(xiàn)象的內(nèi)部機(jī)制。

• 近期（2025 年起）—— 策略性消除：基于機(jī)理洞察，最新的研究重點(diǎn)轉(zhuǎn)向直接的結(jié)構(gòu)性消除。開(kāi)發(fā)系統(tǒng)的消除框架已成為當(dāng)前研究的前沿。

這一從「基本利用」到「機(jī)制理解」再到「策略性消除」的演進(jìn)，正是綜述核心框架的由來(lái)。文章通過(guò)三段式框架，系統(tǒng)梳理了這一現(xiàn)象的成因、價(jià)值與完整解法。

• 論文標(biāo)題：Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation

• 論文鏈接：https://arxiv.org/abs/2604.10098

• GitHub 項(xiàng)目：https://github.com/ZunhaiSu/Awesome-Attention-Sink

基本利用：初步駕馭 Attention Sink

在利用 Attention Sink 的多種策略中，最直接的方式是 Sink Token 保留（Sink Token Preservation）：將 Sink 作為永久性的注意力錨點(diǎn)加以保留，在壓縮中穩(wěn)定注意力分布。注意力重分配（Attention Redistribution）則更進(jìn)一步，主動(dòng)識(shí)別 Sink 并將其占用的權(quán)重轉(zhuǎn)移到真正承載語(yǔ)義的 Token 上�？蓪W(xué)習(xí)前綴 token（Learnable Prefix Tokens）不再依賴自然形成的 Sink，而是在輸入序列前端插入可訓(xùn)練的前綴，成為顯式、可控的替代性 Sink。至于 Sink Token 重利用（Sink Token Repurposing），則另辟蹊徑，利用 Sink 穩(wěn)定、高注意力的固有屬性，完成原始注意力管理之外的專門任務(wù)，如攻擊植入、防御檢測(cè)等。

從策略邏輯看：Sink Token 保留采取被動(dòng)方式；注意力重分配實(shí)施主動(dòng)干預(yù)；可學(xué)習(xí)前綴 Token 采用更主動(dòng)的構(gòu)造策略；Sink Token 重利用則借助 Sink 的固有屬性完成基礎(chǔ)注意力管理之外的專門任務(wù)。

機(jī)制理解：洞悉 Attention Sink 根源

Attention Sink 為何必然出現(xiàn)？現(xiàn)有解釋從不同層面給出了答案。Softmax 限制與空操作理論（Softmax Limitations & No-Op Theory）：Softmax 求和為 1 的剛性約束，使得當(dāng)查詢與所有鍵都不相關(guān)時(shí)，模型沒(méi)有「什么都不選」的選項(xiàng)。于是被迫將注意力集中到語(yǔ)義無(wú)關(guān)的 Token 上，同時(shí)將這些 Token 的值向量學(xué)得極小，從而使注意力輸出趨近于零，實(shí)現(xiàn)空操作。異常值電路（Outlier Circuits）則揭示了模型內(nèi)部存在系統(tǒng)性的離群值，它們相互關(guān)聯(lián)，共同導(dǎo)致了 Sink 的產(chǎn)生。隱式注意力偏置（Implicit Attention Bias）發(fā)現(xiàn)，SinkToken 對(duì)每個(gè)查詢的貢獻(xiàn)幾乎恒定，本質(zhì)上充當(dāng)了固定偏置項(xiàng)。幾何錨點(diǎn)（Geometric Anchoring）進(jìn)一步表明，Sink 在高維表示空間中充當(dāng)穩(wěn)定參考點(diǎn)，起到錨定和穩(wěn)定表示空間的作用。此外，還包括 Anti-Overmixing、Active-Dormant Attention、Mix-Compress-Refine 等其他理論。

從分析層面看：Softmax 限制與空操作理論闡明的是數(shù)學(xué)根源，異常值電路揭示的是數(shù)值機(jī)制，隱式注意力偏置刻畫(huà)的是功能角色，幾何錨點(diǎn)描述的是表示空間中的功能特點(diǎn)。多個(gè)層面彼此互補(bǔ)，共同勾勒出 Sink 的全貌。

策略性消除：系統(tǒng)消除 Attention Sink

基于對(duì)成因的深刻理解，研究者開(kāi)始從架構(gòu)上系統(tǒng)消除 Attention Sink。門控注意力（Gated Attention）在注意力輸出后添加可學(xué)習(xí)的門控單元，模型需要空操作時(shí)直接關(guān)門，無(wú)需制造極端 Logits 和 SinkToken。改良 Softmax（Modified Softmax Functions）則直接修改 Softmax 函數(shù)，從根本上消除求和為 1 的約束。可學(xué)習(xí)注意力偏置（Learnable Attention Bias）顯式引入偏置參數(shù)，讓模型用干凈的顯式偏置替代隱式 Sink。預(yù)訓(xùn)練干預(yù)（Pre-training Interventions）不修改架構(gòu)，而是在訓(xùn)練過(guò)程中施加干預(yù)，從訓(xùn)練抑制 Sink 的形成。此外，其他消除技術(shù)還包括離群值驅(qū)動(dòng)重縮放（Outlier-Driven Rescaling）、架構(gòu)隔離（Architectural Isolation）等。

從策略類型看，這些消除方法可以歸為兩類。第一類是提供顯式替代品，使 Attention Sink 不再必要，包括門控注意力和可學(xué)習(xí)注意力偏置。第二類是切斷因果鏈，從根源消除 Attention Sink，包括改良 Softmax 和預(yù)訓(xùn)練干預(yù)。

未來(lái)方向

基于對(duì) 180 多篇論文的系統(tǒng)梳理，綜述指出了多個(gè)值得投入的未來(lái)方向。在高效輕量級(jí)處理（Efficient Lightweight Processing）方面，需要開(kāi)發(fā)低延遲的注意力重分配、與高效內(nèi)核兼容的改良 Softmax，避免 Sink 處理本身成為推理瓶頸。預(yù)訓(xùn)練模型輕量適配（Lightweight Adaptation for Pretrained Models）則利用參數(shù)高效遷移技術(shù)，將 Sink 抑制能力注入已訓(xùn)練好的模型中，從而避免從頭訓(xùn)練的高昂成本。此外，新興架構(gòu)探索（Emerging Architectures Exploration）也值得關(guān)注，研究混合線性注意力、3D Transformer 等新架構(gòu)中 Sink 的表現(xiàn)與應(yīng)用。其他方向還包括：訓(xùn)練動(dòng)態(tài)研究、統(tǒng)一理論框架、標(biāo)準(zhǔn)化評(píng)測(cè)基準(zhǔn)、跨架構(gòu)遷移、多技術(shù)協(xié)同集成等。

Paper List 指南

綜述團(tuán)隊(duì)已將 180 多篇論文按三大板塊和應(yīng)用場(chǎng)景分類整理，每篇標(biāo)注了類別，方便快速定位。

完整 Paper List 請(qǐng)?jiān)L問(wèn)原文或 GitHub 項(xiàng)目：

• 論文鏈接：https://arxiv.org/abs/2604.10098

• GitHub 項(xiàng)目：https://github.com/ZunhaiSu/Awesome-Attention-Sink

結(jié)語(yǔ)

本綜述通過(guò)基本利用 → 機(jī)制理解 → 策略性消除的框架，首次系統(tǒng)梳理了 Attention Sink 從現(xiàn)象到解決方案的完整路線圖。這一領(lǐng)域既有理論深度，也具備明確的工程價(jià)值。

綜述與配套的 Paper List 旨在為社區(qū)提供一份實(shí)用的參考，幫助讀者快速把握領(lǐng)域全貌與演進(jìn)邏輯，推動(dòng) Transformer 從被動(dòng)接受 Sink 走向主動(dòng)駕馭 Sink 的新階段。