聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

字節(jié)Seed都開(kāi)始用化學(xué)思想搞大模型了——

深度推理是共價(jià)鍵、自我反思是氫鍵、自我探索是范德華力？！

傳統(tǒng)的大模型長(zhǎng)思維鏈推理基本把AI的思考過(guò)程等同于線性結(jié)構(gòu)。

但很多情況下，后續(xù)的一個(gè)關(guān)鍵結(jié)論，可能需要回過(guò)頭去驗(yàn)證早早提出的假設(shè)。

CoT把這種非線性的依賴關(guān)系忽略了。

字節(jié)Seed在論文《The Molecular Structure of Thought》中首次給大模型的長(zhǎng)鏈思維定義了分子式結(jié)構(gòu)。

在這種分子拓?fù)渲?，三種鍵是怎么相互配合的？

好的推理像分子結(jié)構(gòu)

團(tuán)隊(duì)把DeepSeek-R1、gpt-OSS等強(qiáng)推理模型的長(zhǎng)鏈思維拆成一步一步的，然后給每一步之間的“跳躍”打上標(biāo)簽。

打完標(biāo)簽發(fā)現(xiàn)，所有有效的長(zhǎng)鏈思維里，其實(shí)就三種基礎(chǔ)動(dòng)作來(lái)回組合。

第一種叫深度推理，像共價(jià)鍵一樣結(jié)實(shí)。

通俗來(lái)說(shuō)就是類似“因?yàn)锳所以B，因?yàn)锽所以C”的硬邏輯推進(jìn)。

團(tuán)隊(duì)在語(yǔ)義空間里做了一個(gè)很形象的量化分析，把模型的每一步思考都當(dāng)成一個(gè)點(diǎn)，看這些點(diǎn)最后會(huì)散成多大一個(gè)圈。

圈子越小，說(shuō)明模型越?jīng)]跑題，思考越聚焦。

結(jié)果發(fā)現(xiàn)，加上深度推理之后，這個(gè)散點(diǎn)圈直接縮水22%。

深度推理確實(shí)起到了收束雜念、鎖定核心邏輯的關(guān)鍵作用。

第二種叫自我反思，像氫鍵一樣有彈性但穩(wěn)定。

類似于“等等，我剛才那步是不是想錯(cuò)了”“讓我重新檢查一下前面的假設(shè)”，能把后面的思考拐回來(lái)跟前面的節(jié)點(diǎn)呼應(yīng)上，形成一種折疊感。

團(tuán)隊(duì)測(cè)了模型自我反思時(shí)的思維軌跡，把每一步思考都看成語(yǔ)義空間里的一個(gè)點(diǎn)，然后計(jì)算反思時(shí)會(huì)跳回多遠(yuǎn)、落在哪里。

發(fā)現(xiàn)81.72%的反思步驟，都會(huì)精準(zhǔn)落回之前已經(jīng)形成的靠譜思路區(qū)域里。

還對(duì)比了反思前后的思維范圍，反思前，語(yǔ)義空間體積是35.2，反思后，直接壓縮到31.2。

再看聚類結(jié)果就更清楚了，反思之后，同一類正確思路的點(diǎn)會(huì)緊緊抱團(tuán)，而那些零散、跑偏的分支會(huì)被自動(dòng)推開(kāi)。

也就是說(shuō)，自我反思?xì)滏I能把靠譜邏輯揉得更緊實(shí)、把跑偏想法篩出去、穩(wěn)住整個(gè)推理大局，讓長(zhǎng)鏈思考不再松散混亂。

第三種叫自我探索，像范德華力一樣弱，但覆蓋面廣。

這個(gè)就類似于“要不咱們?cè)囋囘@個(gè)角度”“有沒(méi)有另一種可能性”，在語(yǔ)義空間里找新的解題路徑。

量化分析顯示，加上探索行為之后，模型在語(yǔ)義空間里的思維覆蓋范圍能從23.95擴(kuò)大到29.22。

雖然思路一打開(kāi)穩(wěn)定性就會(huì)下降，容易跑偏想歪，但能讓模型跳出死胡同，不卡在局部最優(yōu)解里，真正找到全新的解題路線。

研究發(fā)現(xiàn)，所有強(qiáng)推理模型的三種思維行為比例和轉(zhuǎn)換規(guī)律都高度一致，相關(guān)性超過(guò)0.9，說(shuō)明有效長(zhǎng)鏈推理存在通用的穩(wěn)定拓?fù)浣Y(jié)構(gòu)。

你可能覺(jué)得“共價(jià)鍵”“氫鍵”只是個(gè)比喻，但論文發(fā)現(xiàn)，這個(gè)比喻背后藏著嚴(yán)格的數(shù)學(xué)對(duì)應(yīng)。

在Transformer里，注意力權(quán)重的計(jì)算方式長(zhǎng)這樣：

眼熟嗎？這和統(tǒng)計(jì)力學(xué)里的玻爾茲曼分布一模一樣：

如果把負(fù)注意力分?jǐn)?shù)看作能量，那么注意力權(quán)重就是模型在語(yǔ)義空間里按“能量”高低選擇路徑的概率就是能量越低，被選中的概率越高

論文進(jìn)一步分析了三種行為對(duì)應(yīng)的“注意力能量”。

• 深度推理通常發(fā)生在相鄰步驟之間，能量最低;
• 自我反思會(huì)跳回較遠(yuǎn)的步驟，能量中等;
• 自我探索跳得更遠(yuǎn)，能量最高.

這就解釋了為什么強(qiáng)推理模型的三種鍵比例如此穩(wěn)定。

因?yàn)槟Ｐ偷淖⒁饬C(jī)制本身就在追求最低能量的推理路徑，而深度推理、反思、探索正好對(duì)應(yīng)了不同距離下的能量層級(jí)。

語(yǔ)義同分異構(gòu)體和智能熵減

接著團(tuán)隊(duì)還拋出了語(yǔ)義同分異構(gòu)體的概念。

這詞兒是借的化學(xué)，同樣的分子式，原子連接方式不同，就能搞出性質(zhì)完全不同的物質(zhì)。

放到推理里就是，同樣的題目，同樣的概念點(diǎn)，用不同的”化學(xué)鍵“組合去解，出來(lái)的推理鏈條可以完全不一樣，但都能解對(duì)。

但不是所有異構(gòu)體都適合拿來(lái)教模型。

這里就要引入一個(gè)關(guān)鍵概念熵減

在熱力學(xué)里，孤立系統(tǒng)總是自發(fā)走向混亂（熵增），而一個(gè)有效的長(zhǎng)鏈推理過(guò)程，本質(zhì)上就是在語(yǔ)義空間里不斷降低不確定性——

從一堆可能的方向中，逐步收斂到唯一正確的答案。這個(gè)過(guò)程就是“熵減”。

而“注意力能量”機(jī)制，正是模型實(shí)現(xiàn)熵減的工具。

模型的注意力天然偏好能量更低的路徑。

當(dāng)深度推理（低能量）被反復(fù)選中，反思（中等能量）把前后邏輯折疊起來(lái)，探索（高能量）偶爾探路但不喧賓奪主，整個(gè)系統(tǒng)的“推理熵”就會(huì)快速下降，邏輯火速收斂。

這如論文里說(shuō)的，只有那些能推動(dòng)熵快速降低的“化學(xué)鍵”組合，才是模型真正能學(xué)會(huì)、能持續(xù)進(jìn)化的穩(wěn)定態(tài)。

這在實(shí)驗(yàn)中有個(gè)很典型的現(xiàn)象，從R1和OSS兩個(gè)不同強(qiáng)推理模型中蒸餾出的推理軌跡，語(yǔ)義層面的內(nèi)容相似度高達(dá)95%，但混在一起訓(xùn)練，模型反而崩潰了。

這說(shuō)明，長(zhǎng)鏈推理的關(guān)鍵是思路結(jié)構(gòu)必須穩(wěn)定、統(tǒng)一，模型才能學(xué)得會(huì)。

MoLE-Syn：從零合成穩(wěn)定推理結(jié)構(gòu)

發(fā)現(xiàn)問(wèn)題就要解決問(wèn)題。

基于這一整套發(fā)現(xiàn)，團(tuán)隊(duì)搞了個(gè)叫MoLE-Syn的方法，來(lái)從零合成穩(wěn)定的推理結(jié)構(gòu)。

具體操作就兩步。

第一步，從強(qiáng)推理模型（比如R1、QwQ、gpt-OSS）的推理鏈里，抽出一張行為轉(zhuǎn)移概率圖。

這張圖里每個(gè)節(jié)點(diǎn)是一種推理行為（化學(xué)鍵），每條邊是從一個(gè)行為跳到另一個(gè)行為的概率。

第二步，拿著這張圖，讓普通的指令模型照著圖上畫(huà)的概率去生成推理鏈。

用這個(gè)方法從零合成的訓(xùn)練數(shù)據(jù)，喂給Llama或者Qwen，效果逼近直接蒸餾R1的水平。

而且這么做有一個(gè)大好處就是成本低。只要拿到那張行為轉(zhuǎn)移圖，普通模型就能自己生產(chǎn)合格的長(zhǎng)鏈推理數(shù)據(jù)。

團(tuán)隊(duì)把用MoLE-Syn初始化過(guò)的模型拿去做強(qiáng)化學(xué)習(xí)，發(fā)現(xiàn)跑起來(lái)還特別穩(wěn)。

相比直接用蒸餾數(shù)據(jù)初始化的模型，MoLE-Syn版的在RL過(guò)程中收益持續(xù)增長(zhǎng)，震蕩也小得多。

這說(shuō)明一開(kāi)始植入的思維結(jié)構(gòu)夠穩(wěn)，后面的強(qiáng)化學(xué)習(xí)就不會(huì)出現(xiàn)邏輯偏移。

這項(xiàng)研究的負(fù)責(zé)人為字節(jié)Seed算法專家黃文灝，曾在微軟亞洲研究院擔(dān)任研究員。

第一作者是哈爾濱工業(yè)大學(xué)博士、字節(jié)Seed實(shí)習(xí)研究員陳麒光

合作單位還包括北京大學(xué)、2077AI Foundation、南京大學(xué)、M-A-P、中南大學(xué)。

不得不說(shuō)，這波操作有點(diǎn)當(dāng)年薛定諤拿物理學(xué)公式推生物學(xué)那味兒了。

給大模型推理這個(gè)卷得飛起的領(lǐng)域，開(kāi)了個(gè)挺清爽的新腦洞。

論文地址：https://arxiv.org/abs/2601.06002

— 完 —