北京
大型語言模型的"幻覺"問題常被歸咎于模型架構(gòu)，但一項分析指出，根源往往在訓(xùn)練數(shù)據(jù)。當(dāng)輸入數(shù)據(jù)包含錯誤、偏見或噪聲時，模型會學(xué)習(xí)并放大這些缺陷，最終輸出看似合理實則虛假的內(nèi)容。
數(shù)據(jù)清洗成為關(guān)鍵環(huán)節(jié)。這包括去除重復(fù)文本、過濾低質(zhì)量來源、修正事實錯誤，以及平衡不同主題的分布。研究表明，經(jīng)過嚴格清洗的數(shù)據(jù)集訓(xùn)練出的模型，在事實準(zhǔn)確性測試中的表現(xiàn)顯著優(yōu)于使用原始未過濾數(shù)據(jù)的同等規(guī)模模型。
然而，清洗本身也有風(fēng)險。過度過濾可能導(dǎo)致模型喪失某些領(lǐng)域的知識，或強化主流觀點而邊緣化少數(shù)群體視角。如何在"干凈"與"全面"之間取舍，目前尚無統(tǒng)一標(biāo)準(zhǔn)。
這一發(fā)現(xiàn)對行業(yè)具有直接意義：與其盲目擴大模型參數(shù)，投入資源優(yōu)化數(shù)據(jù)管道可能帶來更穩(wěn)定的性能提升。對于依賴AI生成內(nèi)容的應(yīng)用而言，數(shù)據(jù)溯源與質(zhì)量監(jiān)控正成為不可或缺的基礎(chǔ)設(shè)施。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
