來(lái)源：機(jī)器之心

編輯：張倩、陳陳

過(guò)去兩年，大模型的推理能力出現(xiàn)了一次明顯的躍遷。在數(shù)學(xué)、邏輯、多步規(guī)劃等復(fù)雜任務(wù)上，推理模型如 OpenAI 的 o 系列、DeepSeek-R1、QwQ-32B，開(kāi)始穩(wěn)定拉開(kāi)與傳統(tǒng)指令微調(diào)模型的差距。直觀來(lái)看，它們似乎只是思考得更久了：更長(zhǎng)的 Chain-of-Thought、更高的 test-time compute，成為最常被引用的解釋。

但如果把問(wèn)題繼續(xù)往深處追問(wèn)：推理能力的本質(zhì)，真的只是多算幾步嗎？

谷歌、芝加哥大學(xué)等機(jī)構(gòu)的研究者最近發(fā)表的一篇論文給出了一個(gè)更具結(jié)構(gòu)性的答案，推理能力的提升并非僅源于計(jì)算步數(shù)的增加，而是來(lái)自模型在推理過(guò)程中隱式模擬了一種復(fù)雜的、類(lèi)多智能體的交互結(jié)構(gòu)，他們稱(chēng)之為「思維社會(huì)」（society of thought）。

簡(jiǎn)單理解就是，這項(xiàng)研究發(fā)現(xiàn)，為了解決難題，推理模型有時(shí)會(huì)模擬不同角色之間的內(nèi)部對(duì)話，就像他們數(shù)字大腦中的辯論隊(duì)一樣。他們爭(zhēng)論、糾正對(duì)方、表達(dá)驚訝，并調(diào)和不同觀點(diǎn)以達(dá)成正確答案。人類(lèi)智能很可能是因?yàn)樯缃换?dòng)而進(jìn)化的，而類(lèi)似的直覺(jué)似乎也適用于人工智能！

通過(guò)對(duì)推理輸出進(jìn)行分類(lèi)，以及結(jié)合作用于推理軌跡的機(jī)制可解釋性方法，研究發(fā)現(xiàn)，諸如 DeepSeek-R1 和 QwQ-32B 等推理模型，相較于基線模型和僅進(jìn)行指令微調(diào)的模型，展現(xiàn)出顯著更高的視角多樣性。在推理過(guò)程中，它們會(huì)激活更廣泛、異質(zhì)性更強(qiáng)的、與人格和專(zhuān)業(yè)知識(shí)相關(guān)的特征，并在這些特征之間產(chǎn)生更充分的沖突。

這種類(lèi)多智能體的內(nèi)部結(jié)構(gòu)具體表現(xiàn)為一系列對(duì)話式行為，包括提問(wèn) — 回答序列、視角切換以及對(duì)沖突觀點(diǎn)的整合；同時(shí)還體現(xiàn)在刻畫(huà)激烈往返互動(dòng)的社會(huì)情緒角色之中。這些行為通過(guò)直接與間接兩種路徑，共同促進(jìn)了關(guān)鍵認(rèn)知策略的運(yùn)作，從而解釋了推理任務(wù)中準(zhǔn)確率優(yōu)勢(shì)的來(lái)源。

進(jìn)一步的受控強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)顯示，即便僅以推理準(zhǔn)確率作為獎(jiǎng)勵(lì)信號(hào)，基礎(chǔ)模型也會(huì)自發(fā)地增加對(duì)話式行為；而在訓(xùn)練中引入對(duì)話式腳手架（conversational scaffolding），相較于未微調(diào)的基礎(chǔ)模型以及采用獨(dú)白式推理微調(diào)的模型，能夠顯著加速推理能力的提升。

這些結(jié)果表明，思維的社會(huì)化組織形式有助于對(duì)解空間進(jìn)行更高效的探索。谷歌認(rèn)為，推理模型在計(jì)算層面建立了一種與人類(lèi)群體中的集體智能相對(duì)應(yīng)的機(jī)制：在結(jié)構(gòu)化的條件下，多樣性能夠帶來(lái)更優(yōu)的問(wèn)題求解能力。

基于此，谷歌提出了通過(guò)智能體組織形式來(lái)系統(tǒng)性利用「群體智慧」的新研究方向。

論文地址：https://arxiv.org/pdf/2601.10825

同時(shí)，這一研究也給社區(qū)提供了一些啟發(fā)。

方法概覽

對(duì)話行為

本研究采用以 Gemini-2.5-Pro 模型作為評(píng)估器的方法，從推理軌跡中識(shí)別出四類(lèi)對(duì)話行為：

1. 問(wèn)答行為：指對(duì)話中先提出問(wèn)題后給出回答的語(yǔ)列，例如「為什么……？因?yàn)椤埂柑热簟?會(huì)怎樣？那么……」

2. 視角轉(zhuǎn)換：指對(duì)話過(guò)程中切換至新的想法、觀點(diǎn)、假設(shè)或分析方法的行為。

3. 觀點(diǎn)沖突：指表達(dá)出與其他觀點(diǎn)不一致、糾正對(duì)方觀點(diǎn)或觀點(diǎn)間存在矛盾張力的情況，例如「等等，這肯定不對(duì)……」「這與…… 相矛盾」。

4. 觀點(diǎn)調(diào)和：指將存在沖突的觀點(diǎn)整合或梳理為連貫結(jié)論的情形，例如 「因此，若滿足…… 條件，或許兩種觀點(diǎn)都成立」「結(jié)合這些見(jiàn)解……」以及「這就化解了觀點(diǎn)間的矛盾……」

針對(duì)每條推理軌跡，大語(yǔ)言模型評(píng)估器會(huì)統(tǒng)計(jì)各類(lèi)會(huì)話行為的獨(dú)立出現(xiàn)次數(shù)，輸出整數(shù)計(jì)數(shù)結(jié)果（無(wú)對(duì)應(yīng)行為時(shí)計(jì)為 0）。

在這四類(lèi)會(huì)話行為的標(biāo)注上，Gemini-2.5-Pro 與 GPT-5.2 的結(jié)果展現(xiàn)出高度一致性。此外，Gemini-2.5-Pro 的標(biāo)注結(jié)果與人工評(píng)分也具有一致性。

社會(huì)情感角色

本研究基于 Bales 互動(dòng)過(guò)程分析（IPA）框架，對(duì)推理軌跡中社會(huì)情感角色的呈現(xiàn)情況展開(kāi)分析。該框架將話語(yǔ)劃分為 12 種互動(dòng)角色類(lèi)型，每種類(lèi)型均在提示詞中通過(guò)具體行為描述進(jìn)行操作性定義。以 Gemini-2.5-Pro 模型構(gòu)建的 LLM-as-judge 評(píng)估器，會(huì)分別統(tǒng)計(jì)這 12 類(lèi)角色的獨(dú)立出現(xiàn)次數(shù)；在核心分析環(huán)節(jié)，作者將這些統(tǒng)計(jì)結(jié)果進(jìn)一步歸總為四大高階類(lèi)別，具體如下：

• 信息給予類(lèi)角色：包括提出建議、表達(dá)觀點(diǎn)、提供導(dǎo)向。

• 信息征詢類(lèi)角色，包括征詢建議、征詢觀點(diǎn)、征詢導(dǎo)向。

• 積極情感類(lèi)角色，包括展現(xiàn)團(tuán)結(jié)、釋放緊張、表示認(rèn)同。

• 消極情感類(lèi)角色，包括表現(xiàn)對(duì)抗、顯露緊張、表示異議。

在核心分析采用的四大高階 IPA 類(lèi)別中，評(píng)分者間信度均達(dá)到較高水平。

為衡量推理軌跡中社會(huì)情感角色是否存在交互共現(xiàn)特征，作者針對(duì)兩組角色組合計(jì)算 Jaccard 指數(shù)。該指數(shù)用于衡量模型是否會(huì)在同一條推理軌跡中協(xié)調(diào)互補(bǔ)性角色，而非孤立地使用單一角色。Jaccard 指數(shù)越高，代表模型的互動(dòng)模式越均衡、趨近于對(duì)話形態(tài)；指數(shù)越低，則說(shuō)明其推理過(guò)程更偏向單向、獨(dú)白式的表達(dá)。

認(rèn)知行為

本研究采用 Gemini-2.5-Pro 作為 LLM-as-judge 評(píng)估器，識(shí)別出四類(lèi)此前已被證實(shí)對(duì)語(yǔ)言模型推理準(zhǔn)確率存在影響的認(rèn)知行為。

在測(cè)量環(huán)節(jié)，作者沿用了 Gandhi 等人使用的提示詞與示例，該套材料的有效性已通過(guò)多名人工評(píng)分者驗(yàn)證。每類(lèi)認(rèn)知行為均在提示詞中附帶具體示例，以操作性定義的方式指導(dǎo)標(biāo)注工作，具體如下：

• 結(jié)果核驗(yàn)：指推理鏈中明確將當(dāng)前推導(dǎo)結(jié)果與目標(biāo)答案進(jìn)行比對(duì)的情形。提示詞中給出的典型示例包括：「該推導(dǎo)過(guò)程得出結(jié)果 1，與目標(biāo)值 22 不符」「由于計(jì)算結(jié)果 25 不等于目標(biāo)值 22」。

• 路徑回溯：指模型意識(shí)到當(dāng)前推理路徑無(wú)法得到正確結(jié)果，進(jìn)而明確返回并嘗試其他方法的情形。

• 子目標(biāo)拆解：指模型將原問(wèn)題分解為若干更小、可分步完成的中間目標(biāo)的情形。

• 逆向推理：指模型從目標(biāo)答案出發(fā)，反向推導(dǎo)至初始問(wèn)題的情形。

在這四類(lèi)認(rèn)知推理行為的標(biāo)注上，Gemini-2.5-Pro 與 GPT-5.2 的一致性處于良好至極佳區(qū)間。Gemini-2.5-Pro 的標(biāo)注結(jié)果與人工評(píng)分也呈現(xiàn)出高度一致性。

上述信度評(píng)估的計(jì)算基于兩類(lèi)推理軌跡樣本：一類(lèi)是用于解決通用推理問(wèn)題的 30 條推理軌跡，另一類(lèi)是 Qwen-2.5-3B 模型在強(qiáng)化學(xué)習(xí)過(guò)程中生成的 50 條推理軌跡。

特征干預(yù)

為探究會(huì)話行為在推理過(guò)程中發(fā)揮的作用，作者采用稀疏自編碼器（SAE），對(duì)模型激活空間內(nèi)具有可解釋性的特征進(jìn)行識(shí)別與操控。稀疏自編碼器可將神經(jīng)網(wǎng)絡(luò)的激活值分解為一組稀疏的線性特征，從而能夠在不修改模型權(quán)重的前提下，對(duì)特定行為維度實(shí)施定向干預(yù)。本研究使用的稀疏自編碼器，基于 DeepSeek-R1-Llama-8B 模型第 15 層的殘差流激活值訓(xùn)練得到。

從候選特征中，作者最終選定了特征 30939。經(jīng)大語(yǔ)言模型評(píng)估器歸納，該特征的定義為「用于表達(dá)驚訝、頓悟或認(rèn)同的話語(yǔ)標(biāo)記」。在涉及話輪轉(zhuǎn)換與社交互動(dòng)的語(yǔ)境中，當(dāng)出現(xiàn)「Oh!」這類(lèi) token 時(shí)，該特征會(huì)被激活。特征 30939 的會(huì)話占比為 65.7%（在所有特征中處于第 99 百分位），同時(shí)具備高度稀疏性（僅在 0.016% 的 token 上激活），這表明該特征是會(huì)話現(xiàn)象所特有的，而非適用于通用語(yǔ)言模式的特征。

在文本生成階段，作者通過(guò)激活值添加法對(duì)特征 30939 進(jìn)行調(diào)控：在每個(gè) token 的生成步驟中，將該特征的解碼器向量按調(diào)控強(qiáng)度系數(shù) s 進(jìn)行縮放后，疊加至模型第 15 層的殘差流激活值中。

實(shí)驗(yàn)結(jié)果

先說(shuō)主要結(jié)論，本文證明了，即便在推理軌跡長(zhǎng)度相近的條件下，推理模型依然表現(xiàn)出更高頻率的對(duì)話式行為和社會(huì)情緒角色。

對(duì)話行為和社會(huì)情感角色

DeepSeek-R1 的推理過(guò)程中明顯出現(xiàn)了視角切換和觀點(diǎn)沖突，并通過(guò)諸如「不同意」「給出觀點(diǎn)」「提供解釋」等社會(huì)情緒角色加以體現(xiàn)，例如：「但這里是環(huán)己 - 1,3 - 二烯，而不是苯�！埂噶硪环N可能是高溫會(huì)導(dǎo)致酮失去 CO 之類(lèi)的反應(yīng)，但不太可能。」

相比之下，DeepSeek-V3 在同一問(wèn)題上的推理軌跡中，既沒(méi)有視角沖突，也沒(méi)有視角切換，更不存在分歧表達(dá)，只是以單線獨(dú)白的方式連續(xù)給出觀點(diǎn)和解釋?zhuān)胰狈ψ晕倚拚�，缺少不完整的推理�?/p>

在一個(gè)創(chuàng)造性句子改寫(xiě)任務(wù)中，DeepSeek-R1 同樣通過(guò)視角沖突展開(kāi)不同寫(xiě)作風(fēng)格之間的討論，并伴隨「不同意」「提出建議」等社會(huì)情緒角色，例如：「但那樣加入了‘根深蒂固’，原句里并沒(méi)有，我們應(yīng)該避免添加新想法�！埂傅鹊龋遣皇且粋�(gè)詞�！埂覆贿^(guò)要注意，‘cast’ 的力度不如 ‘flung’，所以我們用 ‘hurled’ 更合適。」

而 DeepSeek-V3 幾乎沒(méi)有出現(xiàn)沖突或分歧，只是給出若干建議，缺乏 DeepSeek-R1 中那種反復(fù)比較、逐步修正的過(guò)程。

如圖 1a 結(jié)果表明，DeepSeek-R1 和 QwQ-32B 的對(duì)話式行為出現(xiàn)頻率顯著高于各類(lèi)指令微調(diào)模型。與 DeepSeek-V3 相比，DeepSeek-R1 在提問(wèn) — 回答（=0.345）、視角切換（=0.213）以及整合與調(diào)和（=0.191）方面均顯著更頻繁。QwQ-32B 相對(duì)于 Qwen-2.5-32B-IT 也呈現(xiàn)出高度一致的趨勢(shì)，在提問(wèn) — 回答、視角切換、視角沖突和整合行為上均顯著更多。值得注意的是，無(wú)論模型參數(shù)規(guī)模大�。�8B、32B、70B 或 671B），所有指令微調(diào)模型的對(duì)話式行為出現(xiàn)頻率都始終處于較低水平。

如圖 1b 所示，與對(duì)應(yīng)的指令微調(diào)模型相比，DeepSeek-R1 和 QwQ-32B 均展現(xiàn)出更具互惠性的社會(huì)情緒角色結(jié)構(gòu)：它們既會(huì)提出問(wèn)題、請(qǐng)求指引、意見(jiàn)和建議，也會(huì)給予回應(yīng)，同時(shí)還表現(xiàn)出負(fù)向與正向的情緒角色。

指令微調(diào)模型主要以單向方式給出指引、觀點(diǎn)和建議，幾乎不進(jìn)行反向提問(wèn)，也缺乏情緒層面的互動(dòng)，其推理過(guò)程更像是一段獨(dú)白，而非對(duì)話的模擬。

本文進(jìn)一步使用 Jaccard 指數(shù)來(lái)量化社會(huì)情緒角色的互惠平衡性。表明，DeepSeek-R1 在推理過(guò)程中更傾向于以互相協(xié)調(diào)的方式組織不同角色，而不是將它們孤立地、零散地使用。QwQ-32B 相對(duì)于 Qwen-2.5-32B-IT 也表現(xiàn)出一致的趨勢(shì)。

進(jìn)一步考察發(fā)現(xiàn)，當(dāng) DeepSeek-R1 面對(duì)更高難度的問(wèn)題時(shí)，對(duì)話式行為和社會(huì)情緒角色會(huì)更加明顯。

例如，在復(fù)雜度最高的任務(wù)中，如研究生水平的科學(xué)推理（GPQA）以及高難度數(shù)學(xué)題，模型展現(xiàn)出非常明顯的對(duì)話特征；而在布爾表達(dá)式、基礎(chǔ)邏輯推理等較為簡(jiǎn)單、程序化的任務(wù)中，對(duì)話行為則非常有限。

對(duì)話特征引導(dǎo)可提升推理準(zhǔn)確率

在觀察到推理軌跡中廣泛存在對(duì)話式行為之后，作者進(jìn)一步提出一個(gè)問(wèn)題：這些與對(duì)話相關(guān)的行為，是否真的有助于提升模型的推理表現(xiàn)？

具體實(shí)驗(yàn)選用了 Countdown 游戲，如圖 2b 所示，對(duì)對(duì)話式驚訝特征進(jìn)行正向引導(dǎo)（+10），會(huì)使 Countdown 任務(wù)的準(zhǔn)確率從 27.1% 提升至 54.8%，幾乎翻倍；而進(jìn)行負(fù)向引導(dǎo)（?10）則會(huì)將準(zhǔn)確率降低至 23.8%。

當(dāng)引導(dǎo)強(qiáng)度從 0 增加到 +10 時(shí)，四類(lèi)對(duì)話式行為均顯著增強(qiáng)；相反，當(dāng)引導(dǎo)強(qiáng)度從 0 降至 ?10 時(shí)，這些對(duì)話行為會(huì)被系統(tǒng)性抑制。

例如，擴(kuò)展數(shù)據(jù)表 1 所示，正向引導(dǎo)（+10）會(huì)誘發(fā)模型在推理過(guò)程中主動(dòng)質(zhì)疑先前的解法（如「等等，讓我再看看…… 另一個(gè)思路是……」），體現(xiàn)出明顯的視角切換和觀點(diǎn)沖突；而負(fù)向引導(dǎo)（?10）則會(huì)生成相對(duì)平鋪直敘的推理文本，缺乏內(nèi)部討論和自我辯論的過(guò)程。

綜合來(lái)看，這些發(fā)現(xiàn)表明：對(duì)話特征通過(guò)兩條路徑提升推理能力：一方面，它們直接幫助模型更有效地探索解空間；另一方面，它們通過(guò)腳手架式地支持驗(yàn)證、回溯和子目標(biāo)分解等認(rèn)知策略，推動(dòng)系統(tǒng)性的問(wèn)題求解過(guò)程。

強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)

為進(jìn)一步檢驗(yàn)：當(dāng)只獎(jiǎng)勵(lì)正確答案時(shí)，大模型是否會(huì)自發(fā)強(qiáng)化對(duì)話式行為，為此，作者設(shè)計(jì)并實(shí)施了一項(xiàng)自教式強(qiáng)化學(xué)習(xí)（self-taught RL）實(shí)驗(yàn)。結(jié)果顯示對(duì)話式結(jié)構(gòu)本身，能夠在強(qiáng)化學(xué)習(xí)過(guò)程中促進(jìn)推理策略的自發(fā)涌現(xiàn)與加速形成。

了解更多內(nèi)容，請(qǐng)參考原論文。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問(wèn)歐米伽研究所的“未來(lái)知識(shí)庫(kù)”

https://wx.zsxq.com/group/454854145828

未來(lái)知識(shí)庫(kù)是“ 歐米伽 未來(lái)研究所”建立的在線知識(shí)庫(kù)平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類(lèi)風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來(lái)趨勢(shì)。目前擁有超過(guò)8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問(wèn)https://wx.zsxq.com/group/454854145828進(jìn)入。