隨著內(nèi)存限制和能源成本正考驗著AI擴展的極限，壓縮正成為業(yè)界最活躍的研究領域之一。谷歌最新發(fā)布的TurboQuant針對的是鍵值緩存——推理過程中最耗內(nèi)存的組件之一（延展閱讀：）。而現(xiàn)在，一家新創(chuàng)公司正致力于壓縮模型本身。

PrismML由加州理工學院研究人員創(chuàng)立，已走出隱身模式，獲得1625萬美元種子輪融資，并開源發(fā)布了其所謂的"1-bit"大語言模型家族。公司稱其方法可以顯著減少模型大小和能耗，同時保持與標準16-bit模型相當?shù)男阅堋?/p>

Bonsai模型家族的旗艦模型是Bonsai 8B，一個在谷歌v4 TPU上訓練的80億參數(shù)模型。據(jù)PrismML介紹，該模型在MMLU Redux、MuSR、GSM8K、HumanEval+、IFEval和BFClv3等基準測試套件中表現(xiàn)不俗，但內(nèi)存占用僅約1GB，而同等規(guī)模的典型16-bit模型約需16GB。PrismML還發(fā)布了1-bit Bonsai 4B和1.7B模型，內(nèi)存占用分別為0.5GB和0.24GB。

PrismML表示，其模型實現(xiàn)了端到端的完全二值化，所有權重在嵌入層、注意力層和MLP塊中都被約束為單個比特，"沒有任何高精度逃生通道"。雖然量化技術已被廣泛使用，但將整個網(wǎng)絡推至1-bit歷來會降低模型質(zhì)量，尤其是在推理任務上。公司將其成果歸功于在加州理工學院開發(fā)的新數(shù)學框架，但尚未詳細說明訓練方法或穩(wěn)定技術。

PrismML CEO、加州理工學院計算機科學家和數(shù)學家Babak Hassabi將這種方法描述為AI的新范式，能夠適應多樣化的硬件環(huán)境。"我們花了數(shù)年時間開發(fā)壓縮神經(jīng)網(wǎng)絡而不損失推理能力所需的數(shù)學理論，"Hassibi在一份聲明中說，"我們將1-bit視為起點，而非終點。"

公司聲稱其1-bit模型在現(xiàn)有硬件上可實現(xiàn)高達8倍的加速，能耗降低75-80%。PrismML還預測，未來針對1-bit操作優(yōu)化的硬件可通過用更簡單的算術運算替代復雜的乘法，進一步提高效率。

參與種子輪的Khosla Ventures公司的Vinod Khosla將這項工作描述為"數(shù)學突破"，有潛力重塑AI系統(tǒng)的部署方式。"AI的未來不由誰能建造最大的數(shù)據(jù)中心來定義，而將由誰能以單位能源和成本提供最多智能來定義。PrismML代表了這種突破，"他在聲明中說。

這一觀點反映了AI不會局限在數(shù)據(jù)中心，而是將部署在邊緣設備和本地環(huán)境的理念。PrismML表示其模型設計用于在消費級和邊緣設備上運行，可能在智能手機、可穿戴設備和機器人中實現(xiàn)更強大的AI應用，而無需依賴云端基礎設施。

PrismML關于全1-bit模型能匹敵高精度系統(tǒng)能力的聲明，尚需在公司自有基準結果之外得到驗證。極端量化技術歷來難以在復雜推理任務中保持準確性。獨立的第三方基準測試和實際部署將是判定PrismML方法代表真正突破還是有限優(yōu)化的關鍵。

在一篇博客文章中，PrismML描述了所謂的"智能密度"，這一指標試圖衡量模型在單位大小下提供多少能力。公司表示，其1-bit模型重新定義了模型大小與性能之間的權衡，以極小的占用保持了競爭力。不過，該指標取決于公司的基準選擇和定義本身，尚未得到獨立驗證。

目前，此次發(fā)布是效率驅動AI設計的又一個例子，業(yè)界正在尋找模型規(guī)模和基礎設施成本不斷攀升的替代方案。雖然谷歌TurboQuant等近期研究專注于壓縮推理的特定組件，但PrismML雄心勃勃的模型壓縮可能大大擴展AI模型可以實際運行的范圍及其部署方式。