聞樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

字節(jié)Seed都開始用化學(xué)思想搞大模型了——

深度推理是共價鍵、自我反思是氫鍵、自我探索是范德華力？！

傳統(tǒng)的大模型長思維鏈推理基本把AI的思考過程等同于線性結(jié)構(gòu)。

但很多情況下，后續(xù)的一個關(guān)鍵結(jié)論，可能需要回過頭去驗(yàn)證早早提出的假設(shè)。

CoT把這種非線性的依賴關(guān)系忽略了。

字節(jié)Seed在論文《The Molecular Structure of Thought》中首次給大模型的長鏈思維定義了分子式結(jié)構(gòu)。

在這種分子拓?fù)渲?，三種鍵是怎么相互配合的？

好的推理像分子結(jié)構(gòu)

團(tuán)隊(duì)把DeepSeek-R1、gpt-OSS等強(qiáng)推理模型的長鏈思維拆成一步一步的，然后給每一步之間的“跳躍”打上標(biāo)簽。

打完標(biāo)簽發(fā)現(xiàn)，所有有效的長鏈思維里，其實(shí)就三種基礎(chǔ)動作來回組合。

第一種叫深度推理，像共價鍵一樣結(jié)實(shí)。

通俗來說就是類似“因?yàn)锳所以B，因?yàn)锽所以C”的硬邏輯推進(jìn)。

團(tuán)隊(duì)在語義空間里做了一個很形象的量化分析，把模型的每一步思考都當(dāng)成一個點(diǎn)，看這些點(diǎn)最后會散成多大一個圈。

圈子越小，說明模型越?jīng)]跑題，思考越聚焦。

結(jié)果發(fā)現(xiàn)，加上深度推理之后，這個散點(diǎn)圈直接縮水22%。

深度推理確實(shí)起到了收束雜念、鎖定核心邏輯的關(guān)鍵作用。

第二種叫自我反思，像氫鍵一樣有彈性但穩(wěn)定。

類似于“等等，我剛才那步是不是想錯了”“讓我重新檢查一下前面的假設(shè)”，能把后面的思考拐回來跟前面的節(jié)點(diǎn)呼應(yīng)上，形成一種折疊感。

團(tuán)隊(duì)測了模型自我反思時的思維軌跡，把每一步思考都看成語義空間里的一個點(diǎn)，然后計算反思時會跳回多遠(yuǎn)、落在哪里。

發(fā)現(xiàn)81.72%的反思步驟，都會精準(zhǔn)落回之前已經(jīng)形成的靠譜思路區(qū)域里。

還對比了反思前后的思維范圍，反思前，語義空間體積是35.2，反思后，直接壓縮到31.2。

再看聚類結(jié)果就更清楚了，反思之后，同一類正確思路的點(diǎn)會緊緊抱團(tuán)，而那些零散、跑偏的分支會被自動推開。

也就是說，自我反思?xì)滏I能把靠譜邏輯揉得更緊實(shí)、把跑偏想法篩出去、穩(wěn)住整個推理大局，讓長鏈思考不再松散混亂。

第三種叫自我探索，像范德華力一樣弱，但覆蓋面廣。

這個就類似于“要不咱們試試這個角度”“有沒有另一種可能性”，在語義空間里找新的解題路徑。

量化分析顯示，加上探索行為之后，模型在語義空間里的思維覆蓋范圍能從23.95擴(kuò)大到29.22。

雖然思路一打開穩(wěn)定性就會下降，容易跑偏想歪，但能讓模型跳出死胡同，不卡在局部最優(yōu)解里，真正找到全新的解題路線。

研究發(fā)現(xiàn)，所有強(qiáng)推理模型的三種思維行為比例和轉(zhuǎn)換規(guī)律都高度一致，相關(guān)性超過0.9，說明有效長鏈推理存在通用的穩(wěn)定拓?fù)浣Y(jié)構(gòu)。

你可能覺得“共價鍵”“氫鍵”只是個比喻，但論文發(fā)現(xiàn)，這個比喻背后藏著嚴(yán)格的數(shù)學(xué)對應(yīng)。

在Transformer里，注意力權(quán)重的計算方式長這樣：

眼熟嗎？這和統(tǒng)計力學(xué)里的玻爾茲曼分布一模一樣：

如果把負(fù)注意力分?jǐn)?shù)看作能量，那么注意力權(quán)重就是模型在語義空間里按“能量”高低選擇路徑的概率就是能量越低，被選中的概率越高

論文進(jìn)一步分析了三種行為對應(yīng)的“注意力能量”。

• 深度推理通常發(fā)生在相鄰步驟之間，能量最低;
• 自我反思會跳回較遠(yuǎn)的步驟，能量中等;
• 自我探索跳得更遠(yuǎn)，能量最高.

這就解釋了為什么強(qiáng)推理模型的三種鍵比例如此穩(wěn)定。

因?yàn)槟Ｐ偷淖⒁饬C(jī)制本身就在追求最低能量的推理路徑，而深度推理、反思、探索正好對應(yīng)了不同距離下的能量層級。

語義同分異構(gòu)體和智能熵減

接著團(tuán)隊(duì)還拋出了語義同分異構(gòu)體的概念。

這詞兒是借的化學(xué)，同樣的分子式，原子連接方式不同，就能搞出性質(zhì)完全不同的物質(zhì)。

放到推理里就是，同樣的題目，同樣的概念點(diǎn)，用不同的”化學(xué)鍵“組合去解，出來的推理鏈條可以完全不一樣，但都能解對。

但不是所有異構(gòu)體都適合拿來教模型。

這里就要引入一個關(guān)鍵概念熵減

在熱力學(xué)里，孤立系統(tǒng)總是自發(fā)走向混亂（熵增），而一個有效的長鏈推理過程，本質(zhì)上就是在語義空間里不斷降低不確定性——

從一堆可能的方向中，逐步收斂到唯一正確的答案。這個過程就是“熵減”。

而“注意力能量”機(jī)制，正是模型實(shí)現(xiàn)熵減的工具。

模型的注意力天然偏好能量更低的路徑。

當(dāng)深度推理（低能量）被反復(fù)選中，反思（中等能量）把前后邏輯折疊起來，探索（高能量）偶爾探路但不喧賓奪主，整個系統(tǒng)的“推理熵”就會快速下降，邏輯火速收斂。

這如論文里說的，只有那些能推動熵快速降低的“化學(xué)鍵”組合，才是模型真正能學(xué)會、能持續(xù)進(jìn)化的穩(wěn)定態(tài)。

這在實(shí)驗(yàn)中有個很典型的現(xiàn)象，從R1和OSS兩個不同強(qiáng)推理模型中蒸餾出的推理軌跡，語義層面的內(nèi)容相似度高達(dá)95%，但混在一起訓(xùn)練，模型反而崩潰了。

這說明，長鏈推理的關(guān)鍵是思路結(jié)構(gòu)必須穩(wěn)定、統(tǒng)一，模型才能學(xué)得會。

MoLE-Syn：從零合成穩(wěn)定推理結(jié)構(gòu)

發(fā)現(xiàn)問題就要解決問題。

基于這一整套發(fā)現(xiàn)，團(tuán)隊(duì)搞了個叫MoLE-Syn的方法，來從零合成穩(wěn)定的推理結(jié)構(gòu)。

具體操作就兩步。

第一步，從強(qiáng)推理模型（比如R1、QwQ、gpt-OSS）的推理鏈里，抽出一張行為轉(zhuǎn)移概率圖。

這張圖里每個節(jié)點(diǎn)是一種推理行為（化學(xué)鍵），每條邊是從一個行為跳到另一個行為的概率。

第二步，拿著這張圖，讓普通的指令模型照著圖上畫的概率去生成推理鏈。

用這個方法從零合成的訓(xùn)練數(shù)據(jù)，喂給Llama或者Qwen，效果逼近直接蒸餾R1的水平。

而且這么做有一個大好處就是成本低。只要拿到那張行為轉(zhuǎn)移圖，普通模型就能自己生產(chǎn)合格的長鏈推理數(shù)據(jù)。

團(tuán)隊(duì)把用MoLE-Syn初始化過的模型拿去做強(qiáng)化學(xué)習(xí)，發(fā)現(xiàn)跑起來還特別穩(wěn)。

相比直接用蒸餾數(shù)據(jù)初始化的模型，MoLE-Syn版的在RL過程中收益持續(xù)增長，震蕩也小得多。

這說明一開始植入的思維結(jié)構(gòu)夠穩(wěn)，后面的強(qiáng)化學(xué)習(xí)就不會出現(xiàn)邏輯偏移。

這項(xiàng)研究的負(fù)責(zé)人為字節(jié)Seed算法專家黃文灝，曾在微軟亞洲研究院擔(dān)任研究員。

第一作者是哈爾濱工業(yè)大學(xué)博士、字節(jié)Seed實(shí)習(xí)研究員陳麒光

合作單位還包括北京大學(xué)、2077AI Foundation、南京大學(xué)、M-A-P、中南大學(xué)。

不得不說，這波操作有點(diǎn)當(dāng)年薛定諤拿物理學(xué)公式推生物學(xué)那味兒了。

給大模型推理這個卷得飛起的領(lǐng)域，開了個挺清爽的新腦洞。

論文地址：https://arxiv.org/abs/2601.06002

— 完 —