當整個 AI 行業(yè)還在比拼參數(shù)規(guī)模、堆算力時，有家初創(chuàng)在相反的方向發(fā)力：把模型壓縮到只剩 1 比特。

當?shù)貢r間 3 月 31 日，美國 AI 初創(chuàng)公司 PrismML 發(fā)布了一款旗艦模型 1-bit Bonsai 8B。該模式使用 Google TPU v4 進行訓練，在接近同等性能的前提下，可將模型權(quán)重壓縮至單個比特（原生 1 比特架構(gòu)）。

多項智能基準測試結(jié)果顯示，與傳統(tǒng) FP16 8B 模型相比，該模型在高保真推理和語音理解能力相當?shù)那疤嵯?，?nèi)存占用從 16GB 降至 1.15GB，推理速度提升 8 倍，能效提升 4-5 倍。在現(xiàn)有硬件平臺上，該模型還能將能耗降低 75% 到 80%。也就是說，該技術(shù)以更少的資源完成了相同的工作，并有效降低了能耗成本。

值得關(guān)注的是，該公司在三種主流平臺跑通了這款模型。根據(jù)技術(shù)報告，Bonsai 8B 可通過 MLX 或 Metal 接口在 Apple 設(shè)備（Mac、iPhone、iPad），也可基于 llama.cpp CUDA 在 NVIDIA GPU ，還可以通過 MLXSwift 或 OpenCL 路徑在移動端上運行。

該技術(shù)有望催生新的 AI 系統(tǒng)：既能在邊緣高效運行，又能在云端經(jīng)濟高效擴展。讓 AI 直接在手機、筆記本電腦等消費電子設(shè)備本地運行，并有望進一步拓展至數(shù)據(jù)中心。有助于減少對云的依賴，而是基于該模型直接在設(shè)備上執(zhí)行的復雜 AI 應(yīng)用程序，進而解鎖機器人、可穿戴設(shè)備和個人計算應(yīng)用程序等邊緣場景。

“人工智能的未來有望不再取決于誰能建造最大的數(shù)據(jù)中心，而是取決于誰能以單位能源和成本提供最大的智能?！痹摴就顿Y人、Khosla Ventures 創(chuàng)始人 Vinod Khosla 表示。

（來源：資料圖）

PrismML 是在加州理工學院團隊技術(shù)支持下衍生而來。目前，該公司已通過種子輪融資和 SAFE 融資籌集 1,625 萬美元，投資者包括 Khosla Ventures、Cerberus Capital 和加州理工學院。

該公司聯(lián)合創(chuàng)始人兼 CEO、加州理工學院教授 Babak Hassibi 稱，該技術(shù)是一種能夠適應(yīng)各種硬件環(huán)境，并“在單位能耗和成本下釋放更高智能密度”的數(shù)學突破。

圖丨1-bit Bonsai 8B 的技術(shù)報告（來源：PrismML）

隨著 AI 模型規(guī)模和計算量的提升，部署高級智能技術(shù)越來越需要龐大的數(shù)據(jù)中心基礎(chǔ)設(shè)施。但由于延遲、硬件和隱私等方面的限制，實時、本地化的 AI 體驗仍面臨嚴峻的挑戰(zhàn)。

PrismML 指出了一個容易忽略的事實：在端側(cè)推理場景下，真正“卡脖子”的是內(nèi)存帶寬而非算力。該公司的關(guān)鍵優(yōu)勢在于，通過數(shù)年時間研發(fā)了壓縮神經(jīng)網(wǎng)絡(luò)所需的數(shù)學理論來應(yīng)對這一挑戰(zhàn)。

與傳統(tǒng)的 FP16 架構(gòu)不同，PrismML 創(chuàng)建了具有原生 1 比特結(jié)構(gòu)的模型。在不犧牲推理、編碼和通用知識能力的前提下，同時壓縮計算復雜度與內(nèi)存占用。

（來源：PrismML）

根據(jù) PrismML 發(fā)布的技術(shù)報告，他們將智能密度定義為模型智能與規(guī)模的比值（以比特為單位測量，或等效地以 GB 為單位）。按此標準衡量，1-bit Bonsai 8B 的智能密度得分達 1.06/GB。在參數(shù)數(shù)量相近的模型中，最接近的 Qwen3 8B 得分僅 0.10/GB。

（來源：PrismML）

在 MMLU-Redux 知識測試、MuSR 多步推理、GSM8K 數(shù)學解題、HumanEval+代碼生成、IFEval 指令遵循和 BFCLv3 工具調(diào)用六個維度的測試中，1-bit Bonsai 8B 的平均得分達 70.5 分，與 Qwen 3 8B 的 79.3 分差距不到 9 分，但其內(nèi)存占用僅為 1.15 GB，比同類產(chǎn)品小約 12-14 倍。這正是智能密度的核心所在：不僅具有高性能，而且以更易于部署的方式提供性能支持。

研究人員在不同設(shè)備上進行了吞吐量數(shù)據(jù)對比。在 M4 Pro Mac 上，Bonsai 8B 的運行速度可達每秒 136 token；在 RTX 4090 上，可達每秒 440 token；在 iPhone 17 Pro Max 上，其運行速度約每秒 44 token。這些性能表現(xiàn)指向了一個與依賴云端的 AI 截然不同的可能性：其所帶來的體驗，可能會速度更快、更直接、更易用。

這種優(yōu)勢在處理長周期智能體工作負載時更加明顯。在上面視頻的演示中，研究團隊模擬了 50 個工單匯總和分配任務(wù)。結(jié)果顯示，在相同時間窗口內(nèi)，Bonsai 8B 能夠完成所有 50 個工單，而標準的 FP 16 8B 模型在同一時間段內(nèi)只能完成 6 個。

對于需要持續(xù)進行多步驟推理的智能體而言，更高的吞吐量和更低的內(nèi)存占用不僅能提升系統(tǒng)速度，還有利于擴展智能體實際完成的工作量。

圖丨各種硬件平臺的能耗對比（來源：PrismML）

從模型效率來看，Bonsai 8B 的能耗也具有優(yōu)勢，而這一點與經(jīng)濟效益直接相關(guān)。數(shù)據(jù)結(jié)果顯示，其遠低于 FP 16 版本，能效大約提升 4-5 倍。在 M4 Pro 上，其能耗為 0.074 毫瓦時/token，而在 iPhone 17 Pro Max 上，其能耗僅為 0.068 毫瓦時/token。

（來源：PrismML）

為進一步展示技術(shù)的擴展性，PrismML 還同步推出了兩款更小的型號：Bonsai 4B 和 Bonsai 1.7B，內(nèi)存占用分別是 0.5GB 和 0.24GB。研究人員選取了從 1.2GB（Qwen3 0.6B）到 16.4GB（Qwen3 8B）的 20 款主流模型。從與同量級競品對比結(jié)果來看，PrismML 的三款模型在“智能密度”指標上具有優(yōu)勢。

該公司承認技術(shù)當前仍具有局限性：一方面，這些結(jié)果仍是在通用硬件和軟件優(yōu)化的前提下實現(xiàn)；另一方面，移動端的能耗數(shù)據(jù)來自電池耗電速率的間接估算。

如果適配專門為 1 比特模型設(shè)計的硬件，有可能減少對復雜數(shù)學乘法的需求。在此前提下 PrismML 預測，未來硬件只需執(zhí)行簡單的加減運算，有望進一步將性能和能效提升 1 個數(shù)量級。

總體來說，這種“以小博大”的新范式，正在打破算力和設(shè)備之間的物理邊界：以往需要權(quán)衡取舍的場景，例如企業(yè)級本地部署、隱私敏感場景、間歇性連接環(huán)境、成本受限的 GPU 服務(wù)等，未來有望通過同一套方案覆蓋。

參考資料：

https://github.com/PrismML-Eng/Bonsai-demo/blob/main/1-bit-bonsai-8b-whitepaper.pdf

https://prismml.com/news/prismml-launches-worlds-first-1-bit-ai-model

https://prismml.com/news/bonsai-8b

https://www.wsj.com/cio-journal/caltech-researchers-claim-radical-compression-of-high-fidelity-ai-models-e66f31c9?mod=tech_feat1_ai_pos1

運營/排版：何晨龍