作者介紹：中科大團(tuán)隊(duì)包括共一作者馮源（博二）、郭浩宇（碩一）以及通訊作者謝?？疲ㄑ芯繂T），致力于以簡潔算法優(yōu)化大模型長文本推理，曾提出 AdaKV、CriticalKV 等主流 KV Cache 壓縮方法，僅需數(shù)行代碼顯著提升壓縮效果。新作 DefensiveKV 延續(xù)這一理念，僅需兩行算法改動，顯著降低 KV Cache 壓縮損失。

隨著大模型長上下文能力快速增長，海量 KV Cache 存儲需求急劇增加，各類 KV Cache 壓縮方法如雨后春筍般涌現(xiàn)。然而，這些方案在真實(shí)場景中的工程落地卻常常陷入困境。

• 論文標(biāo)題：DefensiveKV: Taming the Fragility of KV Cache Eviction in LLM Inference
• 論文鏈接：https://openreview.net/forum?id=nJgS06sX3O
• 代碼鏈接：https://github.com/FFY0/DefensiveKV/tree/main

中科大研究團(tuán)隊(duì)在 ICLR 2026 的論文 DefensiveKV: Taming the Fragility of KV Cache Eviction in LLM Inference 中給出了答案：KV Cache 壓縮領(lǐng)域的底層假設(shè)存在根本性缺陷！當(dāng)前主流方法都基于一個(gè)核心假設(shè)：KV Cache 的重要性在不同時(shí)間段是穩(wěn)定的。因此它們不約而同地選擇觀測一段歷史窗口內(nèi)的平均重要性，并據(jù)此淘汰 "不重要" 的 cache。然而，研究團(tuán)隊(duì)驚訝地發(fā)現(xiàn)，這一看似合理的穩(wěn)定性假設(shè)在真實(shí)場景中十分脆弱！

通過深入分析大模型在真實(shí)長文本任務(wù)上的行為，團(tuán)隊(duì)觀察到一個(gè)令人震驚的現(xiàn)象：盡管平均觀測重要性指標(biāo)在絕大多數(shù)時(shí)候能夠準(zhǔn)確反映 cache 的真實(shí)重要性，但在某些特定區(qū)間卻會顯著失效，甚至完全反轉(zhuǎn)！

圖 1：穩(wěn)定性假設(shè)失效現(xiàn)象

如上圖所示，藍(lán)色曲線代表按照平均重要性保留的一半 "重要" Cache。雖然絕大部分時(shí)刻這一半的 cache 能保持整體 90% 以上的真實(shí)重要性，但在特定時(shí)刻（如第 200-300 時(shí)間步），保留的 cache 甚至無法達(dá)到全部 cache 50% 的真實(shí)重要性！這種” 穩(wěn)定性崩潰 " 絕非偶發(fā)，在單次回復(fù)中竟出現(xiàn)高達(dá) 65 次之多。

圖 2：穩(wěn)定性崩潰統(tǒng)計(jì)

這揭示了一個(gè)深刻的認(rèn)知盲區(qū)：以往工作過分信任 "平均情況"，卻忽視了真實(shí)部署中最致命的最壞風(fēng)險(xiǎn)。正如金融領(lǐng)域的經(jīng)典教訓(xùn) —— 只優(yōu)化平均收益而忽視極端風(fēng)險(xiǎn)的策略注定失敗。當(dāng)穩(wěn)定性假設(shè)在關(guān)鍵時(shí)刻失效時(shí)，使用平均值作為壓縮指示器就像在薄冰上行走，隨時(shí)可能墜入深淵。

針對這一根本性缺陷，團(tuán)隊(duì)提出了革命性的防御性聚合（Defensive Aggregation）策略。這一策略徹底顛覆了傳統(tǒng)的 "平均優(yōu)化" 范式，轉(zhuǎn)而采用 "最壞風(fēng)險(xiǎn)控制" 的防御性思維 —— 不再關(guān)注平均損失，而是將全部注意力投入到 worst-case 的預(yù)防中。

在重塑關(guān)注點(diǎn)之后，團(tuán)隊(duì)提出了一個(gè)極簡的優(yōu)雅設(shè)計(jì) —— 核心算法僅需兩行代碼即可實(shí)現(xiàn)：

圖 3：核心算法僅需兩行代碼

第一步：最壞風(fēng)險(xiǎn)估計(jì)（Worst-case Risk Estimation）

團(tuán)隊(duì)從風(fēng)險(xiǎn)控制角度重新思考驅(qū)逐策略 —— 驅(qū)逐一個(gè) KV cache 的最大風(fēng)險(xiǎn)等價(jià)于它在未來可能達(dá)到的最大重要性。由于未來不可知，團(tuán)隊(duì)巧妙地用歷史觀察中的最大值來估計(jì)這一風(fēng)險(xiǎn)：只要一個(gè) cache 在任一歷史時(shí)刻表現(xiàn)重要，就將其視為高風(fēng)險(xiǎn)而保留。這個(gè)看似簡單的 "取最大" 操作，卻能精準(zhǔn)捕獲那些可能在未來關(guān)鍵時(shí)刻大放異彩的 token。

第二步：自適應(yīng)先驗(yàn)風(fēng)險(xiǎn)修正（Adaptive Prior-Risk Correction）

考慮到最壞風(fēng)險(xiǎn)估計(jì)中的觀測次數(shù)有限（通常僅 32 次），可能遺漏一些關(guān)鍵的風(fēng)險(xiǎn)。團(tuán)隊(duì)受貝葉斯估計(jì)中 Laplace 平滑啟發(fā)，提出了一種基于先驗(yàn)的觀測風(fēng)險(xiǎn)修正機(jī)制：計(jì)算每個(gè)注意力頭中所有 KV cache 的平均觀測風(fēng)險(xiǎn)作為先驗(yàn)風(fēng)險(xiǎn)。當(dāng)某個(gè) cache 的觀測風(fēng)險(xiǎn)低于該注意力頭中所有 cache 的平均風(fēng)險(xiǎn)時(shí)，自動用先驗(yàn)風(fēng)險(xiǎn)進(jìn)行修正，防止因觀測不足而遺漏高風(fēng)險(xiǎn) cache，提供更保守的保護(hù)。

這兩步操作均為線性時(shí)間，計(jì)算復(fù)雜度與傳統(tǒng)平均值聚合相同，卻帶來了質(zhì)的飛躍：圖中防御性聚合（紅色曲線）相較于之前的平均值聚合（藍(lán)色曲線），幾乎完全消除了離群點(diǎn)，將最壞情況下保留的重要性分?jǐn)?shù)從 0.45 提升至 0.65。

圖 4：Defensive Aggregation（紅色曲線）有效對抗脆弱假設(shè)，消除離群點(diǎn)

研究團(tuán)隊(duì)將之前的 SOTA 壓縮方法 CriticalKV 中的平均聚合替換為防御性聚合，實(shí)現(xiàn)了全新的壓縮方法DefensiveKV及其層間調(diào)度增強(qiáng)版Layer-DefensiveKV。實(shí)驗(yàn)結(jié)果令人震撼：僅需兩行代碼的修改，就實(shí)現(xiàn)了顯著的性能飛躍。

圖 5：DefensiveKV 和 Layer-DefensiveKV 展示了領(lǐng)先的性能

文章中的測評橫跨 7 個(gè)任務(wù)領(lǐng)域、18 個(gè)數(shù)據(jù)集、3 個(gè)不同規(guī)模的主流開源模型，一致性地刷新了 KV Cache 壓縮的性能邊界。例如，在 Llama-3.1-8B 模型 20% cache 預(yù)算的嚴(yán)苛壓縮條件下，相比最強(qiáng)基線 CriticalKV（質(zhì)量損失 9.6%），DefensiveKV 將損失降至 4.1%（2.3 倍提升），而 Layer-DefensiveKV 更是僅為 2.1%（4.6 倍提升）。

圖 6：DefensiveKV 和 Layer-DefensiveKV 平均壓縮損失極低

這項(xiàng)工作的重要價(jià)值不僅在于算法性能提升，更在于重新定義了 KV Cache 壓縮的優(yōu)化目標(biāo)。它首次揭示了現(xiàn)有算法底層穩(wěn)定性假設(shè)的本質(zhì)脆弱性，開創(chuàng)性地將最壞風(fēng)險(xiǎn)控制思想引入該領(lǐng)域，為后續(xù)研究指明了全新方向：與其設(shè)計(jì)更精密的重要性指標(biāo)，不如構(gòu)建更具防御性的策略來對抗底層假設(shè)的脆弱性。這種防御性思維 —— 寧可錯(cuò)留、不可錯(cuò)刪 —— 或許是通往真正魯棒長上下文推理的關(guān)鍵鑰匙。

DefensiveKV 的全部代碼已經(jīng)開源，提供了完整的實(shí)驗(yàn)環(huán)境配置、打包數(shù)據(jù)集、評測代碼以及詳細(xì)的使用文檔。團(tuán)隊(duì)額外特別提供了一個(gè)一小時(shí)內(nèi)完成的迷你復(fù)現(xiàn) Demo，感受防御性聚合帶來的強(qiáng)大性能。

• 一小時(shí)極速驗(yàn)證：基于 10% RULER benchmark 的快速評測腳本，在單張 RTX 4090 上即可在 1 小時(shí)內(nèi)完成 DefensiveKV 和 Layer-DefensiveKV 在 20% cache size 下的性能驗(yàn)證。
• 性能真相揭秘：通過糾正先前 benchmark 的評測缺陷，團(tuán)隊(duì)發(fā)現(xiàn) SnapKV 在 20% 壓縮率下的真實(shí)得分僅為 39.0，徹底打破了此前 "無損壓縮" 的幻象。
• 算法持續(xù)提升：感受 KV Cache 壓縮領(lǐng)域近一年來從 AdaKV 到 CriticalKV 再到 DefensiveKV 的迭代提升，性能從 39.0 一路提升至 91.4。
• 可疊加增益：Defensive Aggregation 作為正交化方法，可與現(xiàn)有各類 KV Cache 壓縮技術(shù)無縫結(jié)合，實(shí)現(xiàn)性能的持續(xù)提升。