始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。

你肯定見(jiàn)過(guò)大模型在解題時(shí)「裝模作樣」地輸出：「Hmm…」、「Wait, let me think」、「Therefore…」這些看似「人類(lèi)化」的思考詞。但一個(gè)靈魂拷問(wèn)始終存在：這些詞真的代表模型在「思考」，還是僅僅為了「表演」更像人類(lèi)而添加的語(yǔ)言裝飾？是模型的「頓悟時(shí)刻」，還是純粹的「煙霧彈」？

來(lái)自中國(guó)人民大學(xué)高瓴人工智能學(xué)院、上海人工智能實(shí)驗(yàn)室、倫敦大學(xué)學(xué)院（UCL）和大連理工大學(xué)的聯(lián)合研究團(tuán)隊(duì)，在最新論文中首次利用信息論這把「手術(shù)刀」，精準(zhǔn)解剖了大模型內(nèi)部的推理動(dòng)態(tài)，給出了令人信服的答案：當(dāng)這些「思考詞」出現(xiàn)的瞬間，模型大腦（隱空間）中關(guān)于正確答案的信息量，會(huì)突然飆升數(shù)倍！

這絕非偶然裝飾，而是真正的「信息高峰」與「決策拐點(diǎn)」！更酷的是，基于這一發(fā)現(xiàn)，研究者提出了無(wú)需額外訓(xùn)練就能顯著提升模型推理性能的簡(jiǎn)單方法，代碼已開(kāi)源已上線始智AI-wisemodel開(kāi)源社區(qū)，歡迎使用。

代碼地址

https://wisemodel.cn/codes/actor/MI-Peaks/intro

01.

揭秘大模型推理軌跡“信息高峰”

研究者們追蹤了像 DeepSeek-R1 系列蒸餾模型、QwQ 這類(lèi)擅長(zhǎng)推理的大模型在解題時(shí)的「腦電波」（隱空間表征）。他們測(cè)量每一步的「腦電波」與最終正確答案的互信息（Mutual Information, MI），并觀察這些互信息如何演繹變化。

驚人現(xiàn)象出現(xiàn)了：模型推理并非勻速「爬坡」，而是存在劇烈的「信息脈沖」！在特定步驟，互信息值會(huì)突然、顯著地飆升，形成顯著的「互信息峰值」（MI Peaks）現(xiàn)象。這些峰值點(diǎn)稀疏但關(guān)鍵，如同黑暗推理路徑上突然點(diǎn)亮的強(qiáng)光路標(biāo)！

這意味著什么？直覺(jué)上，這些互信息峰值點(diǎn)處的表征，模型大腦中那一刻的狀態(tài)，蘊(yùn)含了更多指向正確答案的最關(guān)鍵信息！

進(jìn)一步地，研究者通過(guò)理論分析證明（定理 1 & 2），推理過(guò)程中積累的互信息越高，模型最終回答錯(cuò)誤概率的上界和下界就越緊，換言之，回答正確的概率就越高！

既然互信息峰值的現(xiàn)象較為普遍地出現(xiàn)在推理模型（LRMs）中，那么非推理模型（non-reasoning LLMs）上也會(huì)表現(xiàn)出類(lèi)似的現(xiàn)象嗎？

為了探索這一問(wèn)題，研究者選取了 DeepSeek-R1-Distill 系列模型和其對(duì)應(yīng)的非推理模型進(jìn)行實(shí)驗(yàn)。如上圖橙色線所示，在非推理模型的推理過(guò)程中，互信息往往表現(xiàn)出更小的波動(dòng)，體現(xiàn)出明顯更弱的互信息峰值現(xiàn)象，且互信息的數(shù)值整體上更小。

這表明在經(jīng)過(guò)推理能力強(qiáng)化訓(xùn)練后，推理模型一方面似乎整體在表征中編碼了更多關(guān)于正確答案的信息，另一方面催生了互信息峰值現(xiàn)象的出現(xiàn)！

02.

“思考詞匯”=“信息高峰”的語(yǔ)言化身

那么，這些互信息峰值點(diǎn)處的表征，到底蘊(yùn)含著怎樣的語(yǔ)義信息？

神奇的是，當(dāng)研究者把這些「信息高峰」時(shí)刻的「腦電波」翻譯回人能看懂的語(yǔ)言（解碼到詞匯空間）時(shí)，發(fā)現(xiàn)它們最常對(duì)應(yīng)的，恰恰是那些標(biāo)志性的「思考詞」：

• 反思/停頓型：「Hmm」、「Wait」…

• 邏輯/過(guò)渡型：「Therefore」、「So」…

• 行動(dòng)型：「Let」、「First」…

例如，研究者隨機(jī)摘取了一些模型輸出： 「Wait, let me think differently. Let’s denote...,」 「Hmm, so I must have made a mistake somewhere. Let me double-check my calculations. First, ...」

研究團(tuán)隊(duì)將這些在互信息峰值點(diǎn)頻繁出現(xiàn)、承載關(guān)鍵信息并在語(yǔ)言上推動(dòng)模型思考的詞匯命名為「思考詞匯」（thinking tokens）。它們不是可有可無(wú)的裝飾，而是信息高峰在語(yǔ)言層面的「顯靈」，可能在模型推理路徑上扮演著關(guān)鍵路標(biāo)或決策點(diǎn)的角色！

為了證明這些 tokens 的關(guān)鍵性，研究者進(jìn)行了干預(yù)實(shí)驗(yàn)，即在模型推理時(shí)抑制這些思考詞匯的生成。

實(shí)錘驗(yàn)證：實(shí)驗(yàn)結(jié)果顯示，抑制思考詞匯的生成會(huì)顯著影響模型在數(shù)學(xué)推理數(shù)據(jù)集（如 GSM8K、MATH、AIME24）上的性能；相比之下，隨機(jī)屏蔽相同數(shù)量的其他普通詞匯，對(duì)性能影響甚微。這表明這些存在于互信息峰值點(diǎn)處的思考詞匯，確實(shí)對(duì)模型有效推理具有至關(guān)重要的作用！

03.

無(wú)需訓(xùn)練，巧用“信息高峰”提升推理性能

理解了「信息高峰」和「思考詞匯」的奧秘，研究者提出了兩種無(wú)需額外訓(xùn)練即可提升現(xiàn)有 LRMs 推理性能的實(shí)用方法。

應(yīng)用一：表征訓(xùn)話

啟發(fā)：既然 MI 峰值點(diǎn)的表征蘊(yùn)含豐富信息，何不讓模型「多咀嚼消化」一下？

方法：在模型推理過(guò)程中，當(dāng)檢測(cè)到生成了思考詞匯時(shí)，不急于讓其立刻輸出，而是將其對(duì)應(yīng)的表征重新輸入到模型中進(jìn)行額外一輪計(jì)算，讓模型充分挖掘利用表征中的豐富信息。

效果：在多個(gè)數(shù)學(xué)推理基準(zhǔn)（GSM8K、MATH500、AIME24）上，RR 方法一致地提升了 LRMs 的推理性能。例如，在極具挑戰(zhàn)性的 AIME24 上，DeepSeek-R1-Distill-LLaMA-8B 的準(zhǔn)確率相對(duì)提升了 20%！這表明讓模型更充分地利用這些高信息量的「頓悟」表征，能有效解鎖其推理潛力。

應(yīng)用二：基于思考詞匯的測(cè)試時(shí)拓展

啟發(fā)：在推理時(shí)如果允許模型生成更多 token（增加計(jì)算預(yù)算），如何引導(dǎo)模型進(jìn)行更有效的「深度思考」，而不是漫無(wú)目的地延伸？

方法：受啟發(fā)于前人工作，作者在模型完成初始推理輸出后，如果還有 token 預(yù)算，則強(qiáng)制模型以「思考詞匯」開(kāi)頭（如「Therefore」、「So」、「Wait」、「Hmm」等）繼續(xù)生成后續(xù)內(nèi)容，引導(dǎo)模型在額外計(jì)算資源下進(jìn)行更深入的推理。

效果：當(dāng) token 預(yù)算增加時(shí)，TTTS 能持續(xù)穩(wěn)定地提升模型的推理性能。如圖所示，在 GSM8K 和 MATH500 數(shù)據(jù)集上，在相同的 Token 預(yù)算下，TTTS 持續(xù)優(yōu)于原始模型。在 AIME24 數(shù)據(jù)集上，盡管原始模型的性能在早期提升得較快，但當(dāng) token 預(yù)算達(dá)到 4096 后，模型性能就到達(dá)了瓶頸期；而 TTTS 引導(dǎo)下的模型，其性能隨著 Token 預(yù)算的增加而持續(xù)提升，并在預(yù)算達(dá)到 6144 后超越了原始模型。

04.

總結(jié)

這項(xiàng)研究首次揭示了 LRMs 推理過(guò)程中的動(dòng)態(tài)機(jī)制：通過(guò)互信息動(dòng)態(tài)追蹤，首次清晰觀測(cè)到 LRMs 推理過(guò)程中的互信息峰值（MI Peaks）現(xiàn)象，為理解模型「黑箱」推理提供了創(chuàng)新視角和實(shí)證基礎(chǔ)。

進(jìn)一步地，研究者發(fā)現(xiàn)這些互信息峰值處的 token 對(duì)應(yīng)的是表達(dá)思考、反思等的「思考詞匯」（Thinking Tokens），并通過(guò)干預(yù)實(shí)驗(yàn)驗(yàn)證了這些 token 對(duì)模型推理性能具有至關(guān)重要的影響。

最后，受啟發(fā)于對(duì)上述現(xiàn)象的理解和分析，研究者提出了兩種簡(jiǎn)單有效且無(wú)需訓(xùn)練的方法來(lái)提升 LRMs 的推理性能，即表征循環(huán)（Representation Recycling - RR）和基于思考詞匯的測(cè)試時(shí)擴(kuò)展（Thinking Token based Test-time Scaling - TTTS）。

研究者希望這篇工作可以為深入理解 LRMs 的推理機(jī)制提供新的視角，并進(jìn)一步提出可行的方案來(lái)進(jìn)一步推升模型的推理能力。

劉勇，中國(guó)人民大學(xué)，長(zhǎng)聘副教授，博士生導(dǎo)師，國(guó)家級(jí)高層次青年人才。長(zhǎng)期從事機(jī)器學(xué)習(xí)基礎(chǔ)理論研究，共發(fā)表論文 100 余篇，其中以第一作者/通訊作者發(fā)表頂級(jí)期刊和會(huì)議論文近 50 篇，涵蓋機(jī)器學(xué)習(xí)領(lǐng)域頂級(jí)期刊 JMLR、IEEE TPAMI、Artificial Intelligence 和頂級(jí)會(huì)議 ICML、NeurIPS 等。

編輯：成蘊(yùn)年

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶(hù)的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專(zhuān)委會(huì)副秘書(shū)長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門(mén)、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看