上海
品玩2月10日訊，據(jù)騰訊混元官方消息，騰訊混元今日正式推出一款面向消費級硬端的，極小規(guī)模模型HY-1.8B-2Bit。該模型等效參數(shù)量僅為0.3B，內(nèi)存占用約600MB，比許多常用手機應(yīng)用更小。
通過對原有1.8B模型進行量化感知訓(xùn)練，新模型在將等效參數(shù)量降低6倍的同時，保留了完整的思維鏈能力。在端側(cè)真實設(shè)備上，其文本生成速度比原始精度模型快2至3倍，首字響應(yīng)速度提升最高可達8倍。
技術(shù)層面，該模型通過數(shù)據(jù)優(yōu)化和訓(xùn)練策略創(chuàng)新，使其在數(shù)學(xué)、代碼等能力指標(biāo)上與4比特量化模型相當(dāng)，實現(xiàn)了小體積下的高性能。模型已提供適配格式，可在搭載Arm SME2等技術(shù)的移動平臺上高效運行，為端側(cè)AI的隱私保護和離線應(yīng)用提供了新的解決方案。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
