責編 | 夢依丹

出品丨AI 科技大本營（ID：rgznai100）

本文深度解析騰訊混元最新發(fā)布的 SEAT 自適應(yīng)并行擴展推理框架，讓大模型 CoT 從“單引擎飛艇”變身“多發(fā)并聯(lián)火箭”，征服復(fù)雜推理任務(wù)的星辰大海，避開過度思考迷航。

大模型 Falcon Heavy 時刻

2018 年，當 SpaceX 獵鷹重裝級火箭 (F alcon Heavy) 轟鳴升空， 捆綁著多臺發(fā)動機并聯(lián)點火， 以多發(fā)并聯(lián)抵消失效風險，用多級捆綁實現(xiàn)推力飛躍，將人類太空運載能力推向全新高度。

當時沒有人意識到，在 7 年后將會有另外一場的技術(shù)發(fā)布遙相呼應(yīng)，形成了跨越時間的共振：2025 年7 月 10 日，xAI發(fā)布「Grok 4 Heavy」，用多智能體并行架構(gòu)復(fù)刻“多發(fā)引擎”設(shè)計，讓 AI 同時思考多種假設(shè)，在 ARC-AGI 基準上以 15.9% 的碾壓成績刷新 SOTA。

就在同一天，騰訊混元團隊在 arXiv 上發(fā)布論文《SEAT: Adaptive Termination for Multi-round Parallel Reasoning - An Universal Semantic Entropy-Guided Framework》(ArXiv, abs/2507.06829) ，以嚴謹?shù)恼撟C、詳實的技術(shù)細節(jié)和扎實的實驗數(shù)據(jù)，為大模型的思考注入同款“重型推力”，SEAT 框架的「自適應(yīng)多輪并行引擎」首次點火:

• 多輪并行推理 - 多流交叉驗證突破盲目自信、誤入歧途和無限循環(huán)等低效推理；

• 語義熵導(dǎo)航 - 多輪迭代依賴動態(tài)監(jiān)控答案收斂時及時停止；

從此，大模型無論是閉源還是開源，都能將復(fù)雜推理思維鏈 (Chain-of-Thought, CoT) 從“單引擎飛艇”升級為“多發(fā)并聯(lián)的星際火箭”，并適配“智能導(dǎo)航”保證長程推理全程精準掌控。

大模型“深度思考”的瓶頸與挑戰(zhàn)

在人工智能的星辰大海中，大型語言模型(LLM)無疑是就是當前最引人注目的旗艦，它擁有強大的馬力，知識儲備豐富，能回答人們提出的各種問題，今天我們所熟知的快思考語言模型能夠輕松應(yīng)對問答、對話和創(chuàng)作等各種語言任務(wù)。但漸漸地，大家不再滿足于讓大模型局限于語言任務(wù)，而是嘗試讓大模型去探索復(fù)雜推理問題的廣袤的未知空間，比如解決一個奧數(shù)競賽題題，或者撰寫一份嚴謹?shù)目茖W(xué)報告，又或者是一個需要長程規(guī)劃的 Agentic 任務(wù)。

這時你需要的可能不再僅僅是大模型在海上乘風破浪，而是需要長距離飛行探索天空并能精準降落到目的地。

于是大語言模型就發(fā)展出了思維鏈 (CoT) 技術(shù)，從而具備了深度思考的能力，就像是給大模型裝上了噴氣式引擎，讓它能夠離地升空，飛得高、看得遠，通過一步步的邏輯推理來解決問題。這在很大程度上提升了 LLM 的推理能力，但其局限性也日益凸顯，如果你嘗試過用大模型來做這些復(fù)雜任務(wù)就可能遇到過，大模型要么一頓操作猛如虎，輸出一堆邏輯鏈但結(jié)果還是錯，要么直接擺爛堅持輸出一個明顯的錯誤答案，又或者陷入思考死循環(huán)繞不出來。大家漸漸發(fā)現(xiàn)深度思考模型 CoT 縱然強大，但當面對復(fù)雜推理任務(wù)時也常常會力不從心，也暴露出“過度思考”、“無效思考”和“盲目自信”等各種缺陷。

在此之前，模型性能的提升主流做法依賴于“訓(xùn)練時擴展”，即通過增加模型參數(shù)量和訓(xùn)練數(shù)據(jù)集的規(guī)模來實現(xiàn)。然而，隨著模型規(guī)模的急劇膨脹，這種方法的邊際效益遞減，且?guī)砹烁甙旱挠?xùn)練成本和算力需求。為了突破這一瓶頸，“測試時計算擴展” (Test-Time Scaling) 作為一個新的研究方向迅速成為前沿熱點:

測試時計算擴展的核心思想是，在不改變模型預(yù)訓(xùn)練參數(shù)的前提下，通過在推理階段投入更多的計算資源，來提升模型在復(fù)雜任務(wù)上的表現(xiàn)。這種方法允許模型在給出最終答案前進行更深入的探索，從而顯著提高答案的準確性和可靠性。近期大量研究證明測試時計算擴展的巨大潛力，業(yè)界相當部分的注意力也從單純的訓(xùn)練時擴展，轉(zhuǎn)向如何更有效地設(shè)計和優(yōu)化推理時計算策略，“測試時計算擴展”逐漸成為 LLM 能力提升的探索的一個新的趨勢，即從“更大的模型”轉(zhuǎn)向“更聰明的推理過程”，這個方向逐漸發(fā)展出“順序擴展 - 深度迭代精進”和“并行擴展 - 多樣性廣度探索“這兩個主要分支:

1.順序擴展 (Sequential Scaling) ，其核心思想是通過延長推理路徑的“深度”來擴展計算。這通常通過生成更長的思維鏈（Chain-of-Thought, CoT）或采用多輪迭代優(yōu)化的方式實現(xiàn)。 但是“順序擴展”思路下，推理容易一條道走到黑，模型常常會陷入錯誤的推理路徑而無法自拔，并且由于缺乏有效的“剎車”機制也不知道自己何時應(yīng)該停止徒勞的思考。

2.與追求深度的順序擴展相對，并行擴展 (Parallel Scaling)通過增加推理路徑的“廣度”來擴展計算 。其核心策略是讓模型針對同一個問題，獨立、并行地生成多個（N個）候選答案， 探索了更多可能性然后從中挑選。“并行擴展”思路下，多流推理往往各自為戰(zhàn)，缺乏協(xié)作和迭代，導(dǎo)致計算效率低下，性能提升也很快會遇到瓶頸。

顯然兩種主流測試時擴展范式的互補性與局限性變得清晰起來：

• 順序擴展提供了深度精煉的能力，但有陷入局部最優(yōu)和“過度思考”的風險；

• 并行擴展提供了廣度探索的能力，但缺乏協(xié)作和持續(xù)優(yōu)化的機制。

這種內(nèi)在的矛盾自然地引出了一個核心研究問題，也正是 SEAT 論文開篇所提出的：“我們能否設(shè)計一個靈活的框架，有效整合順序和并行擴展范式的互補優(yōu)勢？”

騰訊混元 SEAT 框架提出的融合二者的一種全新的混合擴展（Hybrid Scaling）范式：利用并行生成進行廣泛探索，再利用順序迭代進行深度精煉，這像是為大語言模型提供了一套強大的升級“深度思考”的外掛，它給 CoT 裝上“重裝發(fā)動機“（多輪并行動力）和“智能導(dǎo)航”（語義熵自適應(yīng)剎車）， 讓 AI從“單引擎飛艇”升級為“多發(fā)并聯(lián)火箭”。接下來將逐步拆解 SEAT 提出的這個范式升級的關(guān)鍵環(huán)節(jié)！

范式升級第一彈：并行推理給 CoT 裝上“獵鷹重裝”級的澎湃動力

SEAT 的第一步，就是對模型推理的“動力系統(tǒng)”進行一次徹底的系統(tǒng)性升級。它引入了一個 N x M 的多輪并行推理框架，將傳統(tǒng) CoT 的單引擎模式升級為了一臺擁有 N 個并行引擎的重裝級火箭。

什么是 N x M 框架?

• N 代表并行(Parallel)的廣度：在每一輪(Round)推理中，模型會像“獵鷹重裝”的并聯(lián)引擎一樣，同時點燃 N 條獨立的思考路徑。這 N 個并行的思考分支會同時對問題進行探索， 生成 N 份包含思考過程和答案的候選方案。這極大地拓寬了模型在單一步驟中的探索范圍。

• M 代表順序(Sequential)的深度：這套框架并非一次性的并行，而是可以進行多達 M 輪的迭代精煉。最關(guān)鍵的是，第 i 輪的 N 個思考分支在開始工作前，會得到一份特殊的“參考資料”，這份資料包含了第 i-1 輪所有 N 個推理分支的完整答案。

這個設(shè)計巧妙地融合了并行與順序的優(yōu)勢：模型在每一輪都能集思廣益，看到其他可能性的同時，又能基于上一輪的集體智慧進行更深層次的迭代和修正。各個分支之間不再是單打獨斗，而是通過團隊協(xié)作中進行集合思考。

正如“獵鷹重裝”火箭，其“多發(fā)并聯(lián)”的引擎(并行N)提供了強大的探索推力與容錯能力，而“多級捆綁”的結(jié)構(gòu)(順序M)則確保了推理能夠逐級精煉，抵達更高的高度。

驚人的推力：N=2 也能帶來巨大性能飛躍

在 AIME-2025 這個極具挑戰(zhàn)性的數(shù)學(xué)競賽數(shù)據(jù)集上，實驗結(jié)果顯示:

• 對于 32B 的大模型，僅僅采用 N=2 的最小并行設(shè)置，就能帶來 +14.1% 的驚人準確率提升。

• 對于 7B 的小模型，效果更為顯著，準確率提升高達 +24.5%！

當并行數(shù)增加到 N=8 時，性能還能進一步提升。這充分證明了 SEAT 框架提供的“并行引擎”具有極其強大的推力，并且性價比極高。

SEAT 的核心優(yōu)勢：非侵入式的“外掛”設(shè)計哲學(xué)

更值得稱道的是 SEAT 實現(xiàn)這種并行的方式。當前，許多工作試圖通過干預(yù)模型內(nèi)部的生成過程 (inner-round control)來實現(xiàn)更精細的控制，但這往往需要對模型結(jié)構(gòu)進行修改，或者進行復(fù)雜的專門訓(xùn)練，通用性很差。

而 SEAT 采用的是一種 inter-round（輪次間）的控制策略。它把大模型視作一個黑箱，只在每一輪推理的輸入和輸出端進行信息整合。這意味著:

• 即插即用 (Plug-and-Play)：無論你是用 Hunyuan，Qwen，Llama，還是 DeepSeek，任何大模型都可以直接使用 SEAT 框架。

• 無需訓(xùn)練 (Training-Free)：它是一個純粹的推理時策略，不需要任何額外的微調(diào)或訓(xùn)練成本。

所以，SEAT 就像一個通用化的“并聯(lián)引擎”升級的外掛套件，可以輕松地安裝到任何現(xiàn)有的“飛行器”(LLM)上，即插即用，立刻帶來性能的飛躍。

范式升級第二彈：語義熵的動態(tài)監(jiān)控實現(xiàn)全程的“智能導(dǎo)航”

現(xiàn)在，LLM 升級成為搭載著“獵鷹重裝”級引擎的超級火箭。但困擾大模型推理的另外一個問題仍然擺在面前：一臺只有引擎沒有導(dǎo)航的火箭，最終的結(jié)局只可能是在太空中迷失方向，或是在燃料耗盡后墜毀。

如何為這股強大的力量裝上“導(dǎo)航”？如何讓模型知道自己何時已經(jīng)“到目的地”啦，可以停止計算，給出答案？

騰訊混元團隊在這里引入了整個SEAT 框架的題眼 - 語義熵 (Semantic Entropy)。怎么說呢(忘掉復(fù)雜的數(shù)學(xué)公式)，語義熵就是一個衡量 AI 推理“困惑度”的傳感器，用一個直觀的比喻來理解語義熵：它就像一個“航向一致性”檢測儀。在每一輪推理中，我們都有 N 個并行推理分支會給出各自的答案，語義熵衡量的，就是這 N 個答案在“語義層面”上的一致性:

• 高熵 (High Entropy)：如果 N 個答案五花八門，語義上南轅北轍(比如，一個答案 是“68”，另一個是“蘋果”，還有一個是“不確定，我再想想”)，這說明模型的并行推理分支的推導(dǎo)方向分歧巨大，處于高度“困惑”的狀態(tài)。此時，“航向一致性檢測儀”的讀數(shù)會飆高。

• 低熵 (Low Entropy)：如果 N 個答案雖然措辭不同，但最終都指向了同一個語義核心(比如，都指向最終答案“68”)，這說明模型的思考已經(jīng)“收斂”，內(nèi)部達成了高度共識。此時，檢測儀的讀數(shù)會變得很低。

SEAT 論文最重要的實證發(fā)現(xiàn)：模型的推理準確率與語義熵存在強烈的負相關(guān)性。 這條“黃金法則”在說，當推理結(jié)果的“困惑度”降低，則表明模型多路推理分支達成共識，這時它給出的答案有極大概率是正確的！這個發(fā)現(xiàn)的可貴之處在于，它意味著我們找到了一個不依賴外部知識、純粹依靠模型自身輸出就能判斷其推理質(zhì)量的自監(jiān)督指標。這個“導(dǎo)航傳感器”是真實、可靠且有效的。

智能導(dǎo)航的兩種模式：預(yù)設(shè)航線 vs. 自適應(yīng)巡航

有了這個強大的傳感器，SEAT 設(shè)計了兩種“關(guān)閉引擎”的導(dǎo)航策略：

1. 預(yù)設(shè)航線模式 (Pre-defined Threshold Approach)

這個方法比較直接。我們事先通過對一批問題進行采樣，分析模型在不同“困惑度”（語義熵）下的表現(xiàn)。研究發(fā)現(xiàn)了一個有趣的 “80/20”法則：大約 80% 的正確答案，都出現(xiàn)在語義熵最低的 20% 的區(qū)間內(nèi)。 因此，我們可以提前計算出這個“20%分位點”的熵值，并將其設(shè)定為一個固定的“目標穩(wěn)定度”。在多輪推理中，一旦某一輪的語義熵低于這個預(yù)設(shè)的閾值，導(dǎo)航系統(tǒng)就認為“已抵達預(yù)定航線”的終點，立刻停止推理。 這種方法行之有效，但缺點是需要提前進行采樣和校準，當更換模型或并行設(shè)置時，需要重新操作。

2. 自適應(yīng)巡航模式 (Adaptive Threshold-free Mechanism)

這是 SEAT 的又一個創(chuàng)新。為了擺脫對預(yù)設(shè)閾值的依賴，研究者從運籌學(xué)問題“秘書問題”中獲得了靈感，其核心是在信息不完全的情況下做出最優(yōu)決策。SEAT 的自適應(yīng)導(dǎo)航完美地借鑒了這一經(jīng)典思想：

• 第一步建立動態(tài)基準 - 即統(tǒng)計前 T 輪推理產(chǎn)生的語義熵并形成“初始抖動”的基線。我們不評判這個初始值是好是壞，只是客觀記錄下來。

• 第二步動態(tài)巡航與決策 - 從第 T +1 輪開始，每一輪推理結(jié)束后，都計算新的語義熵，并與基線的“初始抖動”進行比較。一旦當前輪次的語義熵低于這個基線，導(dǎo)航系統(tǒng)就立刻做出判斷：“當前的思考狀態(tài)已經(jīng)比剛開始時更加清晰和收斂了，思考取得了實質(zhì)性進展，可以終止！”

這個策略的精妙之處在于它的完全自適應(yīng)性。它不關(guān)心熵的絕對值是多少，只關(guān)心相對的改善。無論面對的是簡單問題（初始熵很低）還是復(fù)雜問題（初始熵很高），這套系統(tǒng)都能動態(tài)地為自己設(shè)定一個“過得去”的標桿，并在此基礎(chǔ)上尋求超越。這使得 SEAT 框架異常靈活、魯棒且無需任何前期準備。

范式升級的彩蛋：“智能導(dǎo)航”如何防止“引擎過載”造成熔毀事故

在實驗過程中，騰訊混元團隊還觀察到了 SEAT 一個之前在設(shè)計時可能沒有太預(yù)設(shè)的、但在實踐中很實用的“副作用”，尤其是在針對小規(guī)模模型(如 7B)推理時經(jīng)常出現(xiàn)的語義熵坍塌 (Semantic Entropy Collapse) 的現(xiàn)象。具體說說什么是“語義熵坍塌”？在很多實際推理或者實驗中，當讓 7B 這樣的小模型進行多輪的并行推理時，它的語義熵在后期會突然暴跌至接近于零。 從“導(dǎo)航傳感器”的讀數(shù)上看，似乎是模型達到了前所未有的“共識”。但當檢查此時的答案準確率時，卻發(fā)現(xiàn)準確率也隨之崩盤，同樣跌至谷底。通過分析模型的具體輸出才發(fā)現(xiàn)：模型并非真正地“想明白了”，而是陷入了一種“過度自信的錯誤”。它喪失了思維的多樣性，開始固執(zhí)地、一遍又一遍地重復(fù)同一個錯誤的答案，并且其思考過程變得極度簡化，甚至直接跳過推理步驟。實際上，這就像一臺持續(xù)超負荷運轉(zhuǎn)的火箭引擎會發(fā)生一種災(zāi)難性的“引擎過載”的熔毀事故。

SEAT 的“安全保護機制”

此時，SEAT 的“智能導(dǎo)航系統(tǒng)”展現(xiàn)出了它作為“安全員”附加的但是又是極為實用的價值。

以上述發(fā)生“熵坍塌”的案例為例，假如模型的準確率在第2輪達到峰值之后便開始下滑。而 SEAT 根據(jù)自適應(yīng)終止策略，一旦發(fā)現(xiàn)語義熵已經(jīng)低于了初始的基準，就可發(fā)出“停止”指令!

這意味著，SEAT 能夠在模型性能達到巔峰、但還未因“想太多”而陷入“過載自毀”狀態(tài)之前，就果斷地切斷動力。它不僅是一個效率工具，更是一個至關(guān)重要的安全保護機制。它保護了小模型， 使其能夠在復(fù)雜的多輪推理中保持穩(wěn)定的表現(xiàn)，而不會因為能力不足而“燒壞腦子”。

為每個推理模型進行“星際穿越”而準備的升級外掛

回到我們最初的問題：如何讓大模型這艘旗艦，實現(xiàn)精準、高效且可靠的“星際穿越”，去探索 AI 廣袤未知的星辰大海?

SEAT 框架基于 Test-Time Scaling 范式給出了一份非常有創(chuàng)新性的答案 ：它并非一個復(fù)雜的、 需要高昂成本的全新模型，也不要求現(xiàn)有大模型進行額外訓(xùn)練，或者滿足什么特定要求，它基本上就是一套完整的、即插即用的深度思考CoT 的“升級”外掛。

• 它通過多輪并行推理，為我們的模型裝上了“獵鷹重裝”級的強大引擎，提供了前所未有的并行探索動力，通過推理時計算擴展為大模型也能帶來高效且顯著的性能提升。

• 它通過引入語義熵這個精妙的自監(jiān)督指標，并設(shè)計出自適應(yīng)無閾值終止策略，為這股強大的力量裝上了一套極其聰明的“智能導(dǎo)航系統(tǒng)”。

• 這套導(dǎo)航系統(tǒng)不僅能通過“見好就收”來大幅提升計算效率，更能通過規(guī)避“語義熵坍塌”，為模型的推理過程提供關(guān)鍵的安全保障。

騰訊混元發(fā)布的 SEAT 推理框架，其核心在于支持基礎(chǔ)模型在推理階段根據(jù)任務(wù)需求動態(tài)切換為更強大的 Heavy 版本。這種設(shè)計既提供了算力調(diào)度的靈活性，也引入了更復(fù)雜的推理控制與引導(dǎo)機制。

相較于單純追求推理性能，SEAT 更強調(diào)在擴展路徑中引入“控制”和“引導(dǎo)”的策略。通過 Hybrid Scaling 的融合機制，以及基于語義熵的判斷方式，它嘗試以更具上下文感知的方式提升大模型在長鏈條、復(fù)雜語境下的推理質(zhì)量。

在推理能力走向更強的同時，如何走得更穩(wěn)、更有目標感，或許將成為大模型演化中的關(guān)鍵議題之一。而 SEAT 提出的這些方案，提供了一種新的路徑選擇。

（投稿或?qū)で髨蟮溃簔hanghy@csdn.net）

AI 產(chǎn)品爆發(fā)，但你的痛點解決了嗎？

2025 全球產(chǎn)品經(jīng)理大會

8 月 15–16 日

北京·威斯汀酒店

互聯(lián)網(wǎng)大廠、AI 創(chuàng)業(yè)公司、ToB/ToC 實戰(zhàn)一線的產(chǎn)品人

12 大專題分享，洞察趨勢、拆解路徑、對話未來。

立即掃碼領(lǐng)取大會PPT

搶占 AI 產(chǎn)品下一波紅利