新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】傳統(tǒng)訓(xùn)練只關(guān)注模型輸出對錯(cuò)，最新研究在大模型訓(xùn)練中引入「錯(cuò)題本」，記錄了模型犯錯(cuò)時(shí)的內(nèi)部思考狀態(tài)，包括問題、推理過程和錯(cuò)誤位置，更接近人類反思學(xué)習(xí)。通過輔助模型學(xué)習(xí)這些「錯(cuò)題本」，能實(shí)時(shí)校正主模型預(yù)測，提升性能。

很多人回顧自己的學(xué)習(xí)經(jīng)歷時(shí)都會發(fā)現(xiàn)：能力真正產(chǎn)生躍遷，并不是刷題數(shù)量最多的時(shí)候，而是開始系統(tǒng)整理「錯(cuò)題本」的階段。

關(guān)鍵并不在于把錯(cuò)誤答案抄下來，而在于持續(xù)追問——當(dāng)時(shí)為什么會這么想？是哪一步的判斷出現(xiàn)了偏差？這種錯(cuò)誤是偶發(fā)的，還是反復(fù)出現(xiàn)的思維模式？

正是通過這種反思式學(xué)習(xí)，人類逐漸學(xué)會識別自身的「錯(cuò)誤規(guī)律」，在復(fù)雜和不確定問題面前變得更加穩(wěn)健。

那么，一個(gè)問題隨之而來：大語言模型有沒有屬于自己的「錯(cuò)題本」？

在當(dāng)前主流訓(xùn)練范式中，大模型的學(xué)習(xí)過程高度簡化為一個(gè)循環(huán)：

• 給定輸入 → 預(yù)測輸出

• 與標(biāo)準(zhǔn)答案對比 → 計(jì)算loss

• 通過反向傳播更新參數(shù)

從本質(zhì)上看，這一過程強(qiáng)調(diào)的是「如何更好地?cái)M合正確答案」。

模型只需要知道結(jié)果對不對，而并不真正關(guān)心：我當(dāng)時(shí)是通過怎樣的內(nèi)部推理路徑走到這個(gè)錯(cuò)誤結(jié)論的？

這也揭示了一個(gè)關(guān)鍵缺失：當(dāng)前的大模型并不缺數(shù)據(jù)，也不缺算力，而是缺少一種類似人類的深度反思能力——即圍繞錯(cuò)誤本身展開的結(jié)構(gòu)化復(fù)盤。

伊利諾伊大學(xué)厄巴納-香檳分校、普林斯頓大學(xué)的研究人員發(fā)表的最新論文，提出了一個(gè)非?！溉祟惢沟母拍睿篗istake Log（錯(cuò)題本）。

論文鏈接：https://arxiv.org/pdf/2505.16270

代碼鏈接：https://github.com/jiaruzouu/TransformerCopilot

與傳統(tǒng)訓(xùn)練僅關(guān)注最終輸出不同，Mistake Log的目標(biāo)并不是回答「模型錯(cuò)沒錯(cuò)」，而是刻畫一個(gè)更本質(zhì)的問題：模型是在什么樣的內(nèi)部狀態(tài)下犯下這個(gè)錯(cuò)誤的？

換句話說，它關(guān)注的不是答案，而是錯(cuò)誤產(chǎn)生的全過程。

Mistake Log的三層結(jié)構(gòu)

Question：模型當(dāng)時(shí)在解決什么問題？

在訓(xùn)練過程中，每一個(gè)輸入都會被映射為一個(gè)問題級別的表示，用于刻畫「模型此刻面對的任務(wù)語境」。這一步對應(yīng)的是：我當(dāng)時(shí)在做哪一道題？

Rationale（核心）：模型當(dāng)時(shí)的內(nèi)部推理狀態(tài)

這是該方法與標(biāo)準(zhǔn)SFT拉開差距的關(guān)鍵所在。研究并不滿足于觀察最終生成的token，而是直接讀取Transformer在所有層、所有token位置上的隱藏狀態(tài)表示。這些高維向量并非人類可讀的文字解釋，而是模型真實(shí)的內(nèi)部思考軌跡：

其中，t表示第t個(gè)訓(xùn)練步奏、i表示第i個(gè) token、l表示第l層 Transformer、h表示模型計(jì)算過程中這一刻的隱狀態(tài)。

將這些隱藏狀態(tài)整體收集后，就得到了一個(gè)完整的Rationale軌跡：

它可以被視為模型在犯錯(cuò)瞬間的「認(rèn)知狀態(tài)快照」。

這一步類似于人類在復(fù)盤錯(cuò)題時(shí)回憶：「我當(dāng)時(shí)是基于哪個(gè)公式推導(dǎo)的？」「為什么在這個(gè)分支做出了錯(cuò)誤判斷？」

Mistakes：逐token精細(xì)刻畫錯(cuò)誤來源

不同于用一個(gè)標(biāo)量loss模糊衡量整體錯(cuò)誤，該工作在token級別定位偏差：（1）對比模型預(yù)測分布與真實(shí)分布；（2）計(jì)算兩者在每個(gè) token 上的差距：

• 模型預(yù)測分布：

• 真實(shí)正確分布：

• 兩者之間的 discrepancy（差距）：

由此構(gòu)建出一張錯(cuò)誤熱力圖，精確回答這樣的問題：錯(cuò)誤是從哪一個(gè) token 開始出現(xiàn)的？又是如何一步步累積放大的？一條完整的Mistake Log包含什么？

最終，每一次訓(xùn)練迭代都會生成一條三元組：

• Question：任務(wù)語境

• Rationale：內(nèi)部推理狀態(tài)

• Mistakes：逐 token 的偏差刻畫

如果訓(xùn)練進(jìn)行了T步，那么模型就隱式地積累了T條結(jié)構(gòu)化「錯(cuò)題記錄」：

如何真正「利用」這些錯(cuò)題本？

作者進(jìn)一步提出了一個(gè)極具啟發(fā)性的設(shè)計(jì)：引入一個(gè)輔助模型 Copilot，專門學(xué)習(xí)主模型（Pilot）的Mistake Log。

Copilot 的訓(xùn)練方式

輔助模型的輸入形式：將任務(wù)對應(yīng)的輸入語境表示，與主模型在推理階段產(chǎn)生的內(nèi)部中間表示

進(jìn)行聯(lián)合建模，以刻畫模型當(dāng)前的決策狀態(tài)；

輔助模型的訓(xùn)練目標(biāo)：學(xué)習(xí)預(yù)測主模型在生成過程中各個(gè)token層面的誤差分布

，用于判斷哪些位置更易產(chǎn)生偏差以及偏差程度的大小。

換言之，Copilot學(xué)習(xí)的是：在什么樣的內(nèi)部推理狀態(tài)下，主模型更容易犯哪類錯(cuò)誤？

Polit-Copilot的協(xié)同推理

在生成過程中，Copilot輸出的糾錯(cuò)logits會與主模型原始logits融合，從而在token生成階段進(jìn)行實(shí)時(shí)修正。最終的模型不再只是「記住答案」，而是具備了一種能力：基于歷史錯(cuò)誤經(jīng)驗(yàn)，動態(tài)修正當(dāng)前推理軌跡。

理論結(jié)果：糾錯(cuò)是有保證的

論文進(jìn)一步證明：只要Copilot能較準(zhǔn)確地預(yù)測錯(cuò)誤趨勢，且糾錯(cuò)權(quán)重λ選取在合理區(qū)間內(nèi)，那么在每一個(gè)token維度上，融合后的預(yù)測期望誤差嚴(yán)格小于原始模型的誤差。

這意味著，Mistake Log并非啟發(fā)式技巧，而是具有明確理論支撐的糾錯(cuò)機(jī)制。

糾錯(cuò)提升

小模型也能「以小博大」

實(shí)驗(yàn)在多種主流模型（如LLaMA-3、Qwen2.5）和10個(gè)推理基準(zhǔn)任務(wù)上驗(yàn)證了該方法的有效性。一個(gè)尤為亮眼的現(xiàn)象是：大模型 Pilot+小規(guī)模 Copilot+的組合，往往能顯著提升性價(jià)比。

LLaMA-3.2-3B+3B Copilot（總6B參數(shù)）的性能超過原始8B的 LLaMA-3.1-8B。

這表明：糾錯(cuò)能力本身，可能比單純擴(kuò)大模型規(guī)模更關(guān)鍵。

討論與展望

該工作首次系統(tǒng)性地定義并探索了大模型訓(xùn)練中的Mistake Log 機(jī)制，但這僅僅是一個(gè)起點(diǎn)。

當(dāng)前主流的「反思式」方法，多依賴于顯式思維鏈（Chain-of-Thought）和多Agent外部糾錯(cuò)，這些方法更多停留在輸出層面，而Mistake Log則直接作用于模型內(nèi)部認(rèn)知狀態(tài)。

一個(gè)值得深入研究的問題是：基于模型自身內(nèi)部狀態(tài)的「自我反思」，是否比依賴外部文本或代理的糾錯(cuò)方式更加有效？

此外，Mistake Log 的表示形式、錯(cuò)誤模式的抽象方式，以及Copilot的結(jié)構(gòu)設(shè)計(jì)，都仍有廣闊的優(yōu)化空間。目前方法在穩(wěn)定性和泛化性上仍存在提升余地，值得在未來工作中進(jìn)一步深入優(yōu)化。

參考資料：

https://arxiv.org/pdf/2505.16270

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！