一個(gè)偶像藝人的名字，竟成了檢驗(yàn)大模型訓(xùn)練質(zhì)量的試金石。稀宇科技（MiniMax）今日發(fā)布技術(shù)報(bào)告，正式回應(yīng)旗下M2系列模型無(wú)法正確輸出"馬嘉祺"等特定人名的問(wèn)題——根因指向分詞器機(jī)制與后訓(xùn)練數(shù)據(jù)覆蓋的深層錯(cuò)位。

問(wèn)題的技術(shù)鏈條并不復(fù)雜，卻環(huán)環(huán)相扣。大模型處理文本依賴(lài)"分詞器"（Tokenizer），先將文字切分為"詞元"（Token）再處理。在MiniMax模型的詞表中，"馬嘉祺"被切為"馬"和"嘉祺"兩個(gè)詞元，后者作為人名整體獨(dú)立成元。后訓(xùn)練階段（即指令微調(diào)）的對(duì)話數(shù)據(jù)中，含"嘉祺"的樣本極其稀少，該詞元幾乎未獲有效訓(xùn)練。與此同時(shí)，高頻詞元（工具調(diào)用標(biāo)記、編程符號(hào)等）持續(xù)更新向量參數(shù)，不斷"擠壓"低頻詞元的向量空間，最終將"嘉祺"推離正確生成概率區(qū)域。模型被迫退而求其次，選擇發(fā)音相近的高頻詞元如"佳琪"或"琪琪"。

這一個(gè)案背后藏著更普遍的系統(tǒng)性風(fēng)險(xiǎn)。MiniMax團(tuán)隊(duì)對(duì)全部約20萬(wàn)個(gè)詞元進(jìn)行參數(shù)掃描后發(fā)現(xiàn)，約4.9%的詞元在后訓(xùn)練后顯著退化。退化詞元分為四類(lèi)：預(yù)訓(xùn)練特殊標(biāo)記（如代碼填充符號(hào)）、LaTeX公式與維基百科源碼標(biāo)記、中文SEO垃圾關(guān)鍵詞（如"傳奇私服""無(wú)痛人流"），以及占比最大的日文口語(yǔ)和博客模板表達(dá)。

數(shù)據(jù)稀疏的后果是全局性的。日語(yǔ)詞元的退化比例高達(dá)29.7%，遠(yuǎn)超中文（3.9%）和英文（3.5%）。這直接解釋了該模型長(zhǎng)期存在的疑難現(xiàn)象：日語(yǔ)對(duì)話中偶爾會(huì)混入俄語(yǔ)或韓語(yǔ)字符。當(dāng)后訓(xùn)練數(shù)據(jù)對(duì)不同語(yǔ)種覆蓋率不均衡時(shí)，模型生成響應(yīng)便可能誤入歧途。

修復(fù)思路隨之清晰：確保每個(gè)詞元在后訓(xùn)練階段獲得最低限度訓(xùn)練。MiniMax構(gòu)造了覆蓋全詞表的合成數(shù)據(jù)，通過(guò)"復(fù)讀"任務(wù)為所有詞元建立生成頻率下限。官方基準(zhǔn)數(shù)據(jù)顯示，修復(fù)后模型全詞表輸出參數(shù)穩(wěn)定度（余弦相似度）最低值已提升至0.97以上；日語(yǔ)回答中混入俄文字符的比例由47%降至1%。

團(tuán)隊(duì)仍在探索更多優(yōu)化方向：指令微調(diào)數(shù)據(jù)中混入預(yù)訓(xùn)練語(yǔ)料、針對(duì)未覆蓋詞元定向合成對(duì)話樣本、從源頭裁撤詞表中永不啟用的特殊標(biāo)記等。

MiniMax反思稱(chēng)，問(wèn)題的深層根源在于分詞器設(shè)計(jì)與下游使用場(chǎng)景的脫節(jié)。分詞器基于大規(guī)模網(wǎng)絡(luò)語(yǔ)料訓(xùn)練，包含大量?jī)H出現(xiàn)于特定領(lǐng)域或小眾語(yǔ)言的詞元。這些詞元在預(yù)訓(xùn)練階段尚能充分訓(xùn)練，進(jìn)入后訓(xùn)練階段卻因數(shù)據(jù)分布差異喪失生成能力。這起個(gè)案最終暴露的結(jié)構(gòu)性問(wèn)題是：后訓(xùn)練階段不僅要保證語(yǔ)義層面的多樣性，更需從底層統(tǒng)計(jì)視角保障詞元層面的數(shù)據(jù)覆蓋。