北京
昨天谷歌研究院扔出一顆技術(shù)炸彈——TurboQuant壓縮算法。這東西專門收拾大模型里的"內(nèi)存吸血鬼"KV Cache，號稱能把內(nèi)存占用壓到原來的六分之一，還不掉精度。
先解釋下KV Cache是什么。大模型生成文本時，需要記住之前算過的東西避免重復(fù)勞動，這個記憶庫就是KV Cache。問題是它太能吃內(nèi)存，長文本場景下直接讓硬件喘不過氣。
傳統(tǒng)壓縮方案像個笨拙的會計：為了壓縮一小塊數(shù)據(jù)，得先算一堆常數(shù)存起來。省下的內(nèi)存又被這些 bookkeeping 開銷吃掉大半，折騰半天效果寥寥。
TurboQuant的解法有點(diǎn)意思。第一步用PolarQuant把數(shù)據(jù)從笛卡爾坐標(biāo)系扔到極坐標(biāo)里，映射到固定圓形網(wǎng)格上。好處是邊界已知，省掉昂貴的歸一化步驟，額外開銷歸零。第二步用QJL算法處理殘余誤差，只用1比特的算力就能把偏差修干凈。
測試數(shù)據(jù)很硬：Gemma和Mistral模型上，無需預(yù)訓(xùn)練直接壓到3比特，"大海撈針"長文本測試零精度損失。H100上4比特版本比32比特原版快8倍。
資本市場反應(yīng)更快。存儲芯片板塊應(yīng)聲下跌，美光跌4%，西數(shù)跌4.4%，希捷跌5.6%，閃迪重挫6.5%。畢竟如果AI不需要那么多內(nèi)存了，誰還囤你的貨？
有研究員在GitHub issue里吐槽，說自己的實驗環(huán)境還沒搭完，谷歌已經(jīng)連論文和代碼一起甩出來了——這很谷歌。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
