7 天把 Google TurboQuant 跑進 llama.cpp，一位開發(fā)者與 Claude Code、Codex 協(xié)同開發(fā)的開源項目火了。

Google Research 于 2026 年 3 月 24 日發(fā)布 TurboQuant，定位是一套面向大模型與向量檢索場景的高壓縮量化算法，核心目標是顯著降低內(nèi)存占用。

GitHub 上一個名為 turboquant_plus 的第三方項目迅速引發(fā)關(guān)注。

據(jù)第三方 X 用戶 BuBBliK 總結(jié)，該項目在 7 天內(nèi)完成了從 Python 原型到 llama.cpp/Metal 優(yōu)化的推進；而從作者 GitHub README 來看，項目已完成 C port、Metal kernel 集成，并在 Qwen 3.5 35B-A3B 上驗證了 4.6x KV cache 壓縮等結(jié)果。

倉庫首頁顯示，這一項目自稱是 “TurboQuant (ICLR 2026)” 的實現(xiàn)版本，面向本地大模型推理，README 中寫明其重點是將 KV Cache 壓縮用于本地 LLM 推理，并計劃繼續(xù)擴展到自適應(yīng)比特分配、時間衰減壓縮和 MoE 感知壓縮等方向。 ?

從項目描述來看，turboquant_plus 并不只是論文復(fù)現(xiàn)。

README 明確寫道，該項目可將 Transformer 的 KV Cache 壓縮約 3.8 倍到 6.4 倍，提供 turbo2、turbo3、turbo4 三種格式，并在 Apple Silicon 上給出接近 q8_0 的 prefill 表現(xiàn)和約 0.9 倍的長上下文 decode 吞吐。

作者還額外加入了名為 “Sparse V” 的 attention-gated 解碼優(yōu)化，稱其可在 32K 上下文下帶來最高 22.8% 的 decode 提升，并已在 Qwen 3.5 35B-A3B 上完成端到端驗證。 ?

真正讓這個項目出圈的，不只是性能數(shù)字，而是它背后的開發(fā)方式。

作者 Tom Turney 在 X 上公開發(fā)文稱，自己已將 Google 的 TurboQuant 論文實現(xiàn)進 llama.cpp，并適配了 Apple Silicon 的 Metal kernels；在同一條帖文的說明里，他又特別補充，文中所說的 “I”，實際是“和 claudecode、codex 一起”，自己做的更多是 “steering and babysitting”。

這是一個由獨立開發(fā)者主導(dǎo)、以 Claude Code 和 Codex 作為核心編程助手共同完成的個人開源項目。

turboquant_plus 這類項目的出現(xiàn)，并不是簡單的“AI 幫忙補代碼”，而是 AI 編程工具開始進入真實的底層系統(tǒng)工程流程。 ?

Google 3 月 24 日才發(fā)布算法介紹，幾天內(nèi)就有個人開發(fā)者借助多款 AI 編程工具，把論文快速推進到 llama.cpp、Metal、Apple Silicon、本地 35B 模型驗證這一層級，說明 AI 編程助手正在顯著放大個人開發(fā)者的工程杠桿。

過去外界對 AI 編程的想象，更多停留在前端頁面、腳本生成或原型搭建；而這一次，討論對象已經(jīng)變成 KV Cache 壓縮、解碼路徑、Metal kernel 和長上下文推理性能。 ?

這個項目真正值得關(guān)注的，不只是“TurboQuant 被復(fù)現(xiàn)了”，而是它展示了一種越來越清晰的新范式。

前沿論文發(fā)布后，個人開發(fā)者已經(jīng)可以借助 Claude Code、Codex 這類 agentic 編程工具，在極短時間內(nèi)把學(xué)術(shù)成果推向可運行、可測試、可傳播的工程實現(xiàn)。 ?

參考資料：

1）https://github.com/TheTom/turboquant_plus

2）

3）

云頭條聲明：如以上內(nèi)容有誤或侵犯到你公司、機構(gòu)、單位或個人權(quán)益，請聯(lián)系我們說明理由，我們會配合，無條件刪除處理。