編輯｜Panda

昨天，美國(guó)內(nèi)存股迎來(lái)一波集體暴跌。據(jù)統(tǒng)計(jì)，閃迪一度跌 6.5%，希捷科技跌超 5%，西部數(shù)據(jù)跌超 4%，美光科技跌 4%。

而這一輪內(nèi)存股暴跌的誘因，卻只是谷歌發(fā)布的一篇新博客。這篇博客介紹了谷歌一年前就已經(jīng)在 arXiv 上公布的一項(xiàng)技術(shù)：TurboQuant

• 論文標(biāo)題：TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate
• 論文地址：https://arxiv.org/abs/2504.19874

簡(jiǎn)單來(lái)說(shuō)，TurboQuant 是一種壓縮算法，可將 LLM KV 緩存內(nèi)存占用減少至少 6 倍，速度提升高達(dá) 8 倍，且精度零損失！

技術(shù)博客：https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/

這一事件也讓不少投資者和網(wǎng)友吐槽金融市場(chǎng)的非理性表現(xiàn)：

那么，TurboQuant 究竟有何等玄妙？為何發(fā)布一年之后還能引發(fā)如此巨大的轟動(dòng)和市場(chǎng)震蕩？

這還得從KV 緩存說(shuō)起。

KV 緩存簡(jiǎn)介

什么是 KV 緩存？簡(jiǎn)單來(lái)說(shuō)，當(dāng)大語(yǔ)言模型 (LLM) 生成文本時(shí)，它需要記住之前生成過(guò)的每一個(gè)詞語(yǔ)的上下文信息。為了做到這一點(diǎn)，模型會(huì)將這些歷史信息的鍵（Key）和值（Value）保存在內(nèi)存中，這就是所謂的 KV 緩存。

這就像是模型在腦子里打的「小抄」。隨著用戶輸入的提示詞越來(lái)越長(zhǎng)，或者模型的層數(shù)與注意力頭數(shù)越來(lái)越多，這張小抄的體積會(huì)呈線性膨脹。

為了讓模型不卡頓，硬件廠商和 AI 公司只能不斷往服務(wù)器里塞昂貴的高帶寬內(nèi)存（HBM）。

Gemini 生成的示意圖

也因此，在此之前，金融市場(chǎng)對(duì)內(nèi)存芯片的需求預(yù)期極度樂(lè)觀。

TurboQuant：把大象裝進(jìn)冰箱

大模型要變聰明，向量維度就得往上飆。但傳統(tǒng)的向量壓縮技術(shù)（也就是量化）有一個(gè)致命弱點(diǎn)：它們往往需要為每一個(gè)小數(shù)據(jù)塊計(jì)算并存儲(chǔ)全精度的量化常數(shù)。

這就像是為了把一件大衣服塞進(jìn)行李箱，你非得在旁邊塞進(jìn)一本厚厚的「折疊說(shuō)明書」，一來(lái)二去，每個(gè)數(shù)字反而會(huì)多出 1 到 2 個(gè) bit 的額外內(nèi)存開銷，部分抵消了向量量化的初衷。

為了甩掉這個(gè)歷史包袱，TurboQuant 搞出了一套極其精妙的兩階段壓縮架構(gòu)。

第一步：給數(shù)據(jù)換個(gè)「看問(wèn)題的角度」

第一階段的核心是搞定均方誤差（MSE）的優(yōu)化。

TurboQuant 會(huì)先給高維輸入向量來(lái)一個(gè)「隨機(jī)旋轉(zhuǎn)」。這一招極其巧妙，它直接簡(jiǎn)化了數(shù)據(jù)的幾何形狀。

在底層的PolarQuant機(jī)制視角下，這就像是把傳統(tǒng)直角坐標(biāo)系下「向東走 3 個(gè)街區(qū)，再向北走 4 個(gè)街區(qū)」的繁瑣路徑，一句話轉(zhuǎn)換成了「以 37 度角，總共走 5 個(gè)街區(qū)」的極坐標(biāo)表達(dá)。

PolarQuant 充當(dāng)了高效的壓縮橋梁，將笛卡爾坐標(biāo)輸入轉(zhuǎn)換為緊湊的極坐標(biāo)「速記符」，以便進(jìn)行存儲(chǔ)和處理。其機(jī)制首先將 d 維向量的坐標(biāo)成對(duì)分組，并將其映射到極坐標(biāo)系中。隨后，系統(tǒng)會(huì)將成對(duì)的半徑收集起來(lái)進(jìn)行遞歸式的極坐標(biāo)變換，該過(guò)程會(huì)持續(xù)重復(fù)，直到整個(gè)數(shù)據(jù)被提煉為單一的最終半徑以及一組描述性的角度。

這樣一來(lái)，信息被清晰地拆分成了代表核心數(shù)據(jù)強(qiáng)度的「半徑」，以及代表數(shù)據(jù)方向或含義的「角度」。經(jīng)過(guò)這種旋轉(zhuǎn)，所有坐標(biāo)在數(shù)學(xué)上會(huì)呈現(xiàn)出一種集中的 Beta 分布。

在高維空間里，不同坐標(biāo)之間變得幾乎完全獨(dú)立。因?yàn)榻嵌鹊姆植家?guī)律已經(jīng)非常明確且高度集中，模型可以直接把數(shù)據(jù)映射到一個(gè)固定的「圓形」網(wǎng)格上，徹底省去了極其耗費(fèi)算力的數(shù)據(jù)歸一化步驟。

在這個(gè)階段，TurboQuant 投入了絕大部分的壓縮算力，對(duì)向量的每個(gè)部分單獨(dú)應(yīng)用標(biāo)準(zhǔn)的高質(zhì)量量化器，死死鎖住原始向量的核心特征，同時(shí)把那些累贅的內(nèi)存開銷削減為零。

第二步： 1 bit 算力帶來(lái)的「神級(jí)校準(zhǔn)」

完成了粗線條的極限壓縮，新的問(wèn)題又來(lái)了：只追求 MSE 最優(yōu)的量化器，在估算大模型最依賴的「內(nèi)積」時(shí)，會(huì)不可避免地產(chǎn)生嚴(yán)重偏差。

這時(shí)候，TurboQuant 亮出了第二件武器：Quantized Johnson-Lindenstrauss 變換（也就是 QJL ）

TurboQuant 拿出僅有的 1 bit 壓縮空間，專門用來(lái)處理第一階段剩下的微小殘差。

QJL 就像一個(gè)高精密的數(shù)學(xué)誤差檢查器。它能夠縮小復(fù)雜的高維數(shù)據(jù)，同時(shí)完美保留數(shù)據(jù)點(diǎn)之間的基本距離和關(guān)系。它把最終生成的向量數(shù)字全部簡(jiǎn)化成了單個(gè)符號(hào)位（即 +1 或 -1 ）。

這就相當(dāng)于給模型提供了一套速度極快且零內(nèi)存開銷的「速記法」。通過(guò)將高精度的查詢請(qǐng)求與這種低精度、簡(jiǎn)化版的數(shù)據(jù)進(jìn)行巧妙平衡，模型最終得以極其精準(zhǔn)地計(jì)算出注意力得分。

正是這關(guān)鍵的 1 bit，成功構(gòu)建出了一個(gè)無(wú)偏的內(nèi)積量化器，徹底抹平了此前積累的計(jì)算偏差。

內(nèi)存價(jià)格能下來(lái)嗎？

為什么說(shuō)這項(xiàng)技術(shù)足以震動(dòng)硬件市場(chǎng)？看看它在極限測(cè)試中的成績(jī)單就一目了然了。

在處理超長(zhǎng)上下文的「大海撈針」任務(wù)中，TurboQuant 在將 KV 緩存壓縮超過(guò) 5 倍的情況下，依然維持了完美的完美召回率。在普通的生成任務(wù)中，即使用 3.5 bit 的極致壓縮比，它也能做到絕對(duì)的質(zhì)量無(wú)損。

基于 Llama-3.1-8B-Instruct 模型，相對(duì)于其它壓縮方法，TurboQuant 在 LongBench 基準(zhǔn)測(cè)試中展現(xiàn)出了強(qiáng)大的 KV 緩存壓縮性能（括號(hào)內(nèi)標(biāo)注了具體位寬）。

也已經(jīng)有工程師成功了為 vLLM 實(shí)現(xiàn)了 TurboQuant 并驗(yàn)證了其效果。他驚喜地分享說(shuō)：「我那 USB 充電器大小的 HP ZGX 現(xiàn)在可以在 GB10 上容納 4,083,072 個(gè) KV 緩存 token。這可能是 2026 年迄今為止最大的開放式推理突破。」

在另一個(gè)實(shí)現(xiàn)案例中，研究者在蘋果 MLX 中實(shí)現(xiàn)了 TurboQuant ，同樣效果卓絕！

除了不掉智，它還跑得飛快。

由于底層采用了高度適配當(dāng)今 AI 加速器的設(shè)計(jì)，在 H100 GPU 上，使用 4 bit 版本的 TurboQuant 計(jì)算注意力邏輯的速度，比傳統(tǒng)的 32 bit 無(wú)量化版本快了整整 8 倍。

相較于高度優(yōu)化的 JAX 基準(zhǔn)， TurboQuant 展示了在不同位寬級(jí)別下，在 KV 緩存內(nèi)計(jì)算注意力 logits 時(shí)的大幅性能提升。

使用4位量化時(shí)，不同方法在各個(gè)維度上的量化時(shí)間（以秒為單位）

在向量數(shù)據(jù)庫(kù)和搜索引擎非常看重的最近鄰（NN）搜索領(lǐng)域，它不僅在召回率上輕松擊敗了現(xiàn)有的乘積量化（PQ）技術(shù)，還將龐大的索引構(gòu)建時(shí)間壓縮到了幾乎為零。

TurboQuant展現(xiàn)出強(qiáng)勁的檢索性能，在GloVe數(shù)據(jù)集（d=200）上相對(duì)于多種最先進(jìn)的量化基線，實(shí)現(xiàn)了最優(yōu)的1@k召回率。

這意味著，原本必須要買 8 張高端顯卡才能跑起來(lái)的超大模型，現(xiàn)在可能只需要兩三張卡就能流暢運(yùn)行。

看起來(lái)，如果這項(xiàng)技術(shù)能夠得到普及應(yīng)用，AI 公司在推理端的硬件成本或?qū)⒚媾R下降。這種純靠底層算法榨干硬件潛力的技術(shù)突破，有望打亂市場(chǎng)對(duì)內(nèi)存芯片爆發(fā)式增長(zhǎng)的預(yù)期。

可以說(shuō)，谷歌僅憑一小撮數(shù)學(xué)公式，就硬生生給高漲的硬件算力焦慮降了溫。

然而，話又說(shuō)回來(lái)，內(nèi)存、GPU、CPU 等等的價(jià)格似乎也依然還在繼續(xù)漲，參閱《繼 GPU、存儲(chǔ)暴漲之后，AI 最終攻陷 CPU 市場(chǎng)》。

https://x.com/IntuitMachine/status/2036899927465308617

https://x.com/jukan05/status/2036800675158573294

https://x.com/Prince_Canuma/status/2036611007523512397

https://x.com/vllm_project/status/2036989821156270501