北京
谷歌上周剛發(fā)Gemma 4，號(hào)稱"單卡跑27B"的輕量化模型。我本地部署完，風(fēng)扇轉(zhuǎn)得像直升機(jī)——48GB顯存直接吃滿，這哪是輕量化，分明是顯存刺客。
官方文檔藏著一句小字：INT4量化版才能單卡跑。但默認(rèn)推的是BF16精度，完整版需要雙卡A100。換句話說，普通玩家看到的"本地可跑"，和實(shí)際能用的版本，中間差著兩萬塊錢硬件。
更微妙的是速度。27B在RTX 4090上每秒8個(gè)token，寫段郵件要等半分鐘。作為對(duì)比，同顯存占用下，Llama 3.1 70B的量化版能跑到15token/s。谷歌這刀法，精準(zhǔn)砍在"能跑"和"能用"的縫隙里。
社區(qū)里有人翻出Gemma 4的技術(shù)報(bào)告腳注：「INT4精度下部分?jǐn)?shù)學(xué)任務(wù)準(zhǔn)確率下降12%」。這才是沒人說的真相——你要么買雙卡，要么接受一個(gè)"不太聰明"的版本。輕量化敘事，從來都是硬件廠商的共謀。
目前Hugging Face評(píng)論區(qū)最高贊是："感謝谷歌，讓我意識(shí)到云端API其實(shí)挺便宜的。"
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
