COMI團隊 投稿
量子位 | 公眾號 QbitAI

為什么現(xiàn)有上下文壓縮方法在高壓縮率下集體“翻車”？當(dāng)模型把32K長文本壓到1K，為何性能斷崖式下跌？

長文本壓縮中容易保留大量“高度相似卻重復(fù)”的內(nèi)容，陷入“信息內(nèi)卷”：看似保留了相關(guān)片段，實則堆砌了語義雷同的冗余token，反而誤導(dǎo)模型生成錯誤答案。

來自阿里巴巴未來生活實驗室的研究團隊發(fā)現(xiàn)，這背后是壓縮目標的根本錯位：現(xiàn)有方法只關(guān)注“相關(guān)性”，卻忽略了“多樣性”。當(dāng)多個高度相似的token同時被保留，它們非但不能疊加信息量，反而會相互干擾（相關(guān)不等于正確），讓模型在高度相似的冗余信息中迷失方向。

為破解這一困局，研究團隊提出一個顛覆性觀點：高質(zhì)量的壓縮，需要同時優(yōu)化“與查詢的相關(guān)性”和“信息單元間的多樣性”。基于此，他們推出創(chuàng)新框架COMI（COarse-to-fine context compression via Marginal Information Gain），通過“邊際信息增益”指標與粗到細壓縮策略，在32倍高壓縮率下仍能精準保留多樣化的關(guān)鍵證據(jù)鏈，論文已中稿ICLR 2026。

壓縮的“智能標尺”：邊際信息增益（MIG）

研究團隊發(fā)現(xiàn)，現(xiàn)有壓縮方法存在盲區(qū)：過度依賴相關(guān)性導(dǎo)致冗余堆積，而忽略了token間語義相似性引發(fā)“信息內(nèi)卷”。為此，他們使用邊際信息增益（MIG）指標，將壓縮決策從“單維度相關(guān)性”升級為“相關(guān)性-冗余性”雙維度權(quán)衡：

MIG = 本單元與查詢的相關(guān)性 - 與其他單元的最大相似度

這一指標如同為每個token配備“信息價值計分卡”：既獎勵與問題高度相關(guān)的片段，又懲罰與已選內(nèi)容高度重復(fù)的片段。

粗到細自適應(yīng)壓縮，讓每比特都“物有所值”

有了智能標尺，如何實現(xiàn)精準壓縮？COMI采用兩階段策略，像經(jīng)驗豐富的編輯一樣“先謀篇布局，再精雕細琢”

第一階段：粗粒度組重分配——動態(tài)調(diào)配“壓縮預(yù)算”

將長文本劃分為等長片段后，COMI不再“一刀切”地均勻壓縮，而是基于組間MIG動態(tài)調(diào)整各段壓縮率：信息密度高、冗余度低的片段（如包含關(guān)鍵證據(jù)的段落）獲得更寬松的壓縮率；而信息稀疏或高度重復(fù)的區(qū)域則被大幅壓縮。這種自適應(yīng)分配確保有限的壓縮預(yù)算精準投向“高價值信息區(qū)”

第二階段：細粒度token融合——加權(quán)融合避免“信息稀釋”

在每個片段內(nèi)部，COMI根據(jù)token級MIG進行加權(quán)融合：高MIG token（相關(guān)且獨特）在融合中占主導(dǎo)權(quán)重，低MIG token（冗余重復(fù)）被自然稀釋。這一機制有效避免了傳統(tǒng)平均池化導(dǎo)致的“關(guān)鍵細節(jié)被平滑掉”的問題，使壓縮后的表示既緊湊又富含多樣化信息

整個框架在NaturalQuestions、HotpotQA等5個數(shù)據(jù)集上僅需單次訓(xùn)練，即可執(zhí)行問答、摘要等多種長上下文任務(wù)。

實踐出真知：高壓縮率下的優(yōu)越性能與深刻洞察

下游任務(wù)表現(xiàn)卓越

在32倍壓縮約束下，COMI以Qwen2-7B為基座，在NaturalQuestions上實現(xiàn)49.15的Exact Match（EM）分數(shù)，比次優(yōu)基線高出近25個點。即使面對32K超長文本（NarrativeQA），COMI仍能穩(wěn)定保留推理鏈關(guān)鍵節(jié)點，證明其在極端壓縮場景下的魯棒性。

壓縮不是“刪減”，而是“提純”

COMI甚至能提升原生支持256K上下文的Qwen3-4B性能。在NaturalQuestions上，32倍壓縮后的COMI達到28.89的F1分數(shù)，遠超直接輸入完整上下文的16.90。這證明高質(zhì)量壓縮不僅是“減負”，更是通過消除冗余干擾實現(xiàn)“信息提純”，讓模型更聚焦于核心證據(jù)。

效率與效果兼得

在32倍壓縮下，COMI實現(xiàn)端到端推理速度2倍以上提升，且壓縮階段僅引入輕量級開銷（NarrativeQA任務(wù)中壓縮耗時2.76秒，生成僅0.50秒），為工業(yè)級部署鋪平道路。

總結(jié)

COMI工作為長上下文高效推理提供了新范式：

它通過邊際信息增益這一簡潔而深刻的指標，將壓縮目標從“保留相關(guān)片段”升級為“保留相關(guān)且多樣化的信息”，從根本上破解了高壓縮率下的性能瓶頸。粗到細的自適應(yīng)策略則確保了壓縮過程既符合全局信息分布，又保留局部語義細節(jié)。

這項研究證明，真正的高質(zhì)量壓縮不是簡單的“刪減”——讓每一比特都承載多樣化的信息價值，為大模型走向輕量化、實用化邁出關(guān)鍵一步。

論文標題：
COMI: Coarse-to-fine Context Compression via Marginal Information Gain
論文鏈接：
https://arxiv.org/abs/2602.01719
代碼鏈接：
https://github.com/Twilightaaa/COMI