這項研究由香港中文大學(xué)（深圳）、深圳灣區(qū)研究院、北京科技大學(xué)與DualityRL聯(lián)合開展，論文以預(yù)印本形式于2026年4月17日發(fā)布在arXiv平臺，編號為arXiv:2604.16029v1，有興趣深入閱讀的讀者可通過該編號直接檢索原文。

**研究概要**

每當(dāng)人們聽說一個AI能做復(fù)雜數(shù)學(xué)題、解高難度科學(xué)問題，通常會忽視一個隱藏在背后的巨大代價：那些答案，往往不是靠一次思考得來的，而是讓AI同時跑幾十條、甚至幾百條思路，最后投票選出"最靠譜的那個答案"。這種方法學(xué)名叫"并行推理"，效果確實好，但燒錢也是真的燒——據(jù)統(tǒng)計，一次查詢的推理費用可以高達6美元，相當(dāng)于幫你買了杯星巴克，但全都用來讓機器胡思亂想了。

問題的根源在于：那些同時跑著的幾十條思路，并不是每一條都有價值。有些思路從一開始就走錯了方向，但機器并不知道，它會一路跑下去，直到給出一個錯誤答案——不僅白白消耗了算力，還可能在最后投票時"拉低整體水平"，把原本正確的結(jié)論給帶偏了。

這就好比一支考試隊伍，其中有幾個人一上來就看錯了題，但沒人叫停他們，他們還是全程認真答完，最后把明顯錯誤的答案也塞進了投票箱——結(jié)果正確答案反而輸給了錯誤答案。

這篇論文要解決的正是這個問題：**能不能在思路剛開了個頭的時候，就判斷出它是不是走歪了，然后果斷叫停，把算力留給那些有希望的思路？** 研究團隊將這種技術(shù)稱為"路徑剪枝"（Path Pruning），并且提出了一套系統(tǒng)性的分類框架，以及他們自己開發(fā)的方法——STOP（Super TOken for Pruning，超級剪枝標(biāo)記）。實驗結(jié)果顯示，STOP能在節(jié)省超過70%計算量的同時，還讓最終答案的準確率顯著提升。

一、為什么思路走歪了就很難自救？

研究團隊發(fā)現(xiàn)，大型推理模型（也就是那種會一步步"思考"的AI）有一個很要命的特點：一旦推理路徑的開頭出現(xiàn)了錯誤，模型幾乎沒有能力自我糾正，只會順著錯誤的方向越走越遠，最終給出一個徹底偏離正軌的答案。

可以用導(dǎo)航來理解這件事。你開車去某個目的地，導(dǎo)航在最開始就給了你一個錯誤的起步方向。你跟著走了幾公里之后，即便隱約覺得哪里不對勁，也很難直接掉頭——因為后續(xù)的路口選擇都是基于這個錯誤起點做出的，已經(jīng)深陷其中。AI的推理路徑也是這樣，早期的錯誤會像滾雪球一樣，越往后越難逆轉(zhuǎn)。

正是因為如此，"在路徑剛開始的時候就判斷好壞"變得至關(guān)重要。與其等到它全程跑完再發(fā)現(xiàn)是廢品，不如在它剛走出幾步時就果斷叫停，把資源騰出來給那些有希望的路徑繼續(xù)跑。這就是路徑剪枝的核心邏輯。

二、現(xiàn)有方法各有什么短板？研究團隊怎么分類的？

在研究團隊正式提出自己的方法之前，他們做了一件很有價值的事：把市面上已有的路徑剪枝方法系統(tǒng)地梳理了一遍，建立了一套統(tǒng)一的分類框架。這個框架按照兩個維度來劃分方法：一是"判斷信號從哪里來"，二是"這套判斷邏輯能不能通過訓(xùn)練來學(xué)習(xí)"。

先說"信號從哪里來"。有些方法是從AI輸出的文字本身來判斷——比如看這條思路的文字表述和其他思路有多像、有多大重疊，如果高度相似，就認為是冗余的，可以剪掉一個。還有些方法是專門請另一個AI模型來評分，就像考卷交給一位"外部閱卷老師"來批改，打個分再決定要不要繼續(xù)。這些都屬于"外部信號"。

與之相對的是"內(nèi)部信號"——不看AI輸出的文字，而是直接觀察AI大腦內(nèi)部的運行狀態(tài)，比如它計算每個詞時的信心程度、內(nèi)部的概率分布等。理論上，這些內(nèi)部狀態(tài)包含著比文字輸出更豐富、更細膩的信息。

再說"能不能通過訓(xùn)練來學(xué)習(xí)"。有些判斷方法是固定規(guī)則，比如"如果這條路徑的困惑度超過某個閾值，就認為它不靠譜"——這是人為設(shè)定的死規(guī)則，不會隨著任務(wù)不同而調(diào)整。還有些方法是可以訓(xùn)練的，通過大量數(shù)據(jù)讓模型學(xué)會"什么樣的路徑前綴預(yù)示著好結(jié)果，什么樣的預(yù)示著壞結(jié)果"，因此能夠適應(yīng)不同任務(wù)的具體模式。

把這兩個維度交叉組合，就得到了四種類型。第一類是"外部信號＋固定規(guī)則"，典型代表是根據(jù)文本相似度進行剪枝的方法，計算簡單但過于粗糙，完全不知道AI內(nèi)部在想什么。第二類是"外部信號＋可學(xué)習(xí)"，代表方法是用單獨訓(xùn)練好的獎勵模型來打分，有學(xué)習(xí)能力但計算開銷大，而且依然看不到AI的內(nèi)部狀態(tài)。第三類是"內(nèi)部信號＋固定規(guī)則"，代表方法是直接用AI的困惑度或token概率作為信心指標(biāo)，雖然能看到內(nèi)部狀態(tài)，但判斷標(biāo)準是死的，無法適應(yīng)任務(wù)變化。第四類，也就是最理想的組合，是"內(nèi)部信號＋可學(xué)習(xí)"——既能看到AI內(nèi)部豐富的狀態(tài)信息，又能通過訓(xùn)練學(xué)會識別復(fù)雜的錯誤模式。

研究團隊指出，前三類各有現(xiàn)成方法，唯獨第四類幾乎是一片空白。這個空白正是他們要填補的地方，而STOP就是他們?yōu)榇嗽O(shè)計的方案。

三、STOP是怎么工作的？一個"插件"級別的大腦旁路

STOP的核心設(shè)計理念可以用"插件"來理解。研究團隊并沒有改動原有的AI推理模型，而是在它旁邊接上了一個輕量級的輔助模塊，專門負責(zé)"看著AI的內(nèi)部狀態(tài)，判斷這條推理路徑值不值得繼續(xù)跑"。

具體來說，STOP由三個零件組成。第一個是一個特殊的新詞——被稱為"超級標(biāo)記"（[STOP]）——它被加入到AI的詞匯表里，扮演一個專門的"信號收集器"，負責(zé)匯聚當(dāng)前推理路徑的所有內(nèi)部狀態(tài)信息。第二個是一個輕量級的適配器（用了一種叫LoRA的技術(shù)），它只在處理這個特殊標(biāo)記時才啟動，負責(zé)把AI的內(nèi)部狀態(tài)從"用于預(yù)測下一個詞"的格式轉(zhuǎn)換成"用于評價這條路徑好不好"的格式。第三個是一個分類器，把適配器處理完的信息壓縮成一個0到1之間的分數(shù)，分數(shù)越高代表這條推理路徑越有希望。

整個推理過程分三個階段。第一階段叫"起跑"：AI同時為同一個問題生成N條推理路徑，每條只跑一段前綴（比如前1024個詞），并且把這些計算過程中產(chǎn)生的中間狀態(tài)（技術(shù)上叫"KV緩存"）存儲起來。第二階段叫"體檢"：把那個特殊的[STOP]標(biāo)記接到每條緩存好的前綴后面，STOP模塊快速掃一遍，給每條路徑打個分——這個過程極快，因為它不需要重新計算前面的內(nèi)容，直接復(fù)用了緩存。第三階段叫"篩跑"：按照分數(shù)高低排序，保留得分最高的幾條路徑，其余全部丟棄，只讓優(yōu)質(zhì)路徑繼續(xù)跑到終點，然后對這些路徑的答案進行投票，得出最終答案。

訓(xùn)練STOP的方式也很精妙。研究團隊用"蒙特卡洛估計"的方法來給路徑前綴打標(biāo)簽——對于一段前綴，他們讓AI從這個斷點繼續(xù)隨機跑32次，看看這32次里有多少次能得出正確答案。如果32次里有25次正確，這條前綴就得到一個0.78的軟標(biāo)簽；如果只有2次正確，就得到一個0.06的軟標(biāo)簽。這比直接用"對/錯"二元標(biāo)簽更準確，因為它反映的是路徑的"潛力概率"，而不是單次隨機結(jié)果。

值得一提的是，這個訓(xùn)練數(shù)據(jù)的構(gòu)建雖然一次性成本較高（對于20B參數(shù)的模型，需要在8塊H100顯卡上運行約76小時），但只需要做一次，訓(xùn)練好的STOP模塊就可以反復(fù)使用。研究團隊承諾會開放訓(xùn)練數(shù)據(jù)和模型權(quán)重，讓其他研究者不必重復(fù)這個過程。

四、四種方法放在一起比，結(jié)果怎么樣？

研究團隊設(shè)計了一套嚴格的評測方案：對于每道題，讓AI同時生成64條推理路徑，然后用各種方法從中篩出8條，最后用這8條的平均準確率來衡量方法效果。他們在五個不同難度的推理基準數(shù)據(jù)集上測試，涵蓋數(shù)學(xué)競賽（AIME 2024、AIME 2025、BRUMO 2025、HMMT 2025）和科學(xué)問答（GPQA Diamond），使用的AI模型從15億參數(shù)一直覆蓋到200億參數(shù)，規(guī)?？缍群艽蟆?/p>

結(jié)果呈現(xiàn)出清晰的層級關(guān)系。能看到AI內(nèi)部狀態(tài)的方法（第三類和第四類），普遍比只看文字輸出的方法（第一類和第二類）表現(xiàn)更好。而在同等信號來源下，能夠?qū)W習(xí)的方法又比死規(guī)則方法表現(xiàn)更好。最終，STOP作為唯一同時具備"內(nèi)部信號"和"可學(xué)習(xí)"兩大優(yōu)勢的方法，在幾乎所有測試場景中都拔得頭籌。

舉一個具體數(shù)字來感受差距。在15億參數(shù)模型做AIME 2024這道測試上，不做任何剪枝時，平均準確率是30.10%。用第一類方法剪枝后，不升反降，變成了26.25%。第二類方法提到了32.50%。第三類方法提到了32.92%。而STOP把這個數(shù)字推到了37.92%——同時還把總計算量減少了73.88%。換句話說，STOP用不到原來三分之一的算力，做到了比原來更高的準確率。

研究團隊還測試了在不同算力預(yù)算下（也就是總共能跑多少條路徑）各方法的表現(xiàn)變化。結(jié)果顯示，其他方法在某些任務(wù)上好、某些任務(wù)上差，表現(xiàn)不夠穩(wěn)定；而STOP在幾乎所有任務(wù)和所有算力規(guī)模下都能穩(wěn)定地超越不剪枝的基線，展現(xiàn)出更強的適應(yīng)性。

五、最佳保留比例怎么選？研究團隊推導(dǎo)出一個規(guī)律

光知道"STOP好用"還不夠，實際部署時還有一個關(guān)鍵問題：剪掉多少條路徑最合適？保留太多，省不了多少算力；保留太少，可能把好的路徑也誤殺了。

研究團隊通過大量實驗，發(fā)現(xiàn)了一個規(guī)律：保留比例的最優(yōu)值，和當(dāng)前的算力預(yù)算以及任務(wù)的平均答案長度存在穩(wěn)定的數(shù)學(xué)關(guān)系。具體來說，算力預(yù)算越大（也就是總共能跑更多的路徑），最優(yōu)保留比例就應(yīng)該越小，因為當(dāng)你有足夠多的路徑可以評估時，STOP的判斷會更準確，可以更大膽地剪掉低分路徑。此外，前綴越長（也就是看了AI思考過程的越多內(nèi)容），判斷準確性越高，也可以更激進地剪枝。

研究團隊將這個規(guī)律用一個數(shù)學(xué)公式來表示：最優(yōu)保留比例的倒數(shù)，約等于一個系數(shù)乘以算力預(yù)算的0.46次方，再乘以前綴長度的0.40次方，再除以任務(wù)平均長度的4.55次方。雖然公式看起來復(fù)雜，但背后的邏輯很直觀——就是"信息越多、預(yù)算越足，越可以大膽剪"。

研究團隊還根據(jù)這個公式，預(yù)先計算好了不同任務(wù)長度、不同前綴長度、不同算力預(yù)算下的推薦保留比例，以表格形式提供給使用者，這樣實際部署時不需要反復(fù)試驗，直接查表就能找到合適的參數(shù)。

六、為什么LoRA適配器不可或缺？幾個關(guān)鍵的設(shè)計驗證

研究團隊對STOP的幾個設(shè)計細節(jié)做了仔細的消融實驗，也就是逐一去掉某個組件，看看性能如何變化，以此確認每個設(shè)計決策是否真正有必要。

第一個驗證是關(guān)于訓(xùn)練標(biāo)簽的質(zhì)量。研究團隊對比了用32次蒙特卡洛采樣得到的軟標(biāo)簽（比如0.78、0.06這樣的小數(shù)），和只用1次采樣得到的硬標(biāo)簽（只有0或1兩個值）。結(jié)果很明顯：在AIME 2024上，軟標(biāo)簽訓(xùn)練出的STOP在Cons@N指標(biāo)上達到53.33%，而硬標(biāo)簽只有46.67%。原因在于，單次采樣結(jié)果受隨機性影響很大——一條本來很有潛力的前綴，可能因為那一次恰好跑出了錯誤答案，就被打上"差"的標(biāo)簽；反過來，一條質(zhì)量較差的前綴，也可能湊巧答對了一次就被打上"好"的標(biāo)簽。多次采樣取平均，才能得到穩(wěn)定可靠的"潛力估計"。

第二個驗證是關(guān)于LoRA適配器的必要性。有人可能會問：既然AI內(nèi)部已經(jīng)有豐富的狀態(tài)信息，直接接一個分類器不就行了，為什么還要那個適配器？實驗給出了答案：去掉適配器，只用一個簡單線性分類器，AIME 2024的準確率從36.67%跌到31.67%，GPQA上也從41.73%跌到33.96%。這說明AI的內(nèi)部狀態(tài)雖然信息豐富，但它們的格式是為"預(yù)測下一個詞"優(yōu)化的，并不天然適合做質(zhì)量評估。適配器的作用就是把這些"生成導(dǎo)向"的內(nèi)部狀態(tài)，轉(zhuǎn)化為"評價導(dǎo)向"的格式，這個轉(zhuǎn)化過程是不可省略的。

第三個驗證是關(guān)于[STOP]特殊標(biāo)記數(shù)量的選擇。研究團隊測試了從1個到9個不同數(shù)量的[STOP]標(biāo)記。結(jié)果顯示，4到6個時效果最好，太少了信息匯聚不夠充分，太多了又出現(xiàn)過擬合（相當(dāng)于記住了訓(xùn)練數(shù)據(jù)的噪聲，而不是真正的規(guī)律）。最終選定4個作為標(biāo)準配置。

第四個驗證是關(guān)于LoRA的秩（rank）——這個參數(shù)控制著適配器的參數(shù)量大小。實驗發(fā)現(xiàn)，秩為128時效果最好，更大的秩（256）反而略有下降，說明這個任務(wù)不需要非常大的模型容量，適中即可。

七、STOP在數(shù)學(xué)和科學(xué)之外也管用嗎？

為了驗證STOP是否只是針對數(shù)學(xué)題的"專用工具"，研究團隊還在一個叫ZebraLogic的邏輯謎題數(shù)據(jù)集上做了測試。這個數(shù)據(jù)集考察的是組合推理和約束滿足能力——類似于"A、B、C三個人，A不坐第一位，B在C的左邊，問誰坐中間"這類謎題，和數(shù)學(xué)推導(dǎo)完全不同。在這個測試上，STOP將準確率從73.73%提升到了77.23%，證明它學(xué)到的判斷能力并不局限于數(shù)學(xué)模式，而是具有一定的通用推理評估能力。

此外，研究團隊還把STOP接入到了AIMO3競賽系統(tǒng)中——這是一個讓AI用外部工具來解數(shù)學(xué)競賽題的真實比賽場景，使用的是1200億參數(shù)的大模型。在單張H100顯卡、5小時時限、50道題的約束下，不剪枝的基線方法得了39分；接入STOP，保留策略為從24條路徑篩選到8條時，得分提升到42分；策略調(diào)整為從16條篩到8條時，得分進一步提升到43分，在公開排行榜上達到了銀牌水平。這個結(jié)果說明STOP在有工具調(diào)用的復(fù)雜場景下同樣有效。

八、STOP的"注意力"在盯著什么？

研究團隊還做了一件很有意思的分析：他們可視化了[STOP]標(biāo)記在處理不同質(zhì)量路徑時的注意力分布，看看它到底在"盯著"推理文本的哪些地方。

結(jié)論很有啟發(fā)性。對于所有路徑，STOP都會廣泛關(guān)注推理過程中的結(jié)構(gòu)性標(biāo)記，比如"Wait"（等等）、"Hmm"（嗯）、"Therefore"（因此）等詞，以及多選題的選項字母（A、B、C、D）。這說明它確實在跟蹤推理的整體進展結(jié)構(gòu)。

但高分路徑和低分路徑的注意力重點有著顯著差異。在高分路徑中，[STOP]更多地關(guān)注邏輯轉(zhuǎn)折點——比如"don't"（不）、"doesn't"（不是）這類否定詞，這些詞往往出現(xiàn)在AI進行自我糾正的關(guān)鍵時刻，標(biāo)志著推理過程中的深度思考。在低分路徑中，[STOP]的注意力則過早地集中在了最終答案選項本身（比如"B"或"C"）上，而忽略了中間的推理過程。STOP將這種"跳過推理直接盯答案"的模式判定為"不靠譜"的信號，因為它意味著這條路徑?jīng)]有經(jīng)過扎實的邏輯推導(dǎo)，更像是在猜答案。

這個發(fā)現(xiàn)說明STOP學(xué)會的是一種"過程導(dǎo)向"的評價方式：它更看重推理的邏輯完整性，而不僅僅是最終落在哪個答案上。

說到底，這項研究干了一件聽起來簡單但實際上很有價值的事：教AI學(xué)會"早點放棄沒希望的想法"。在我們?nèi)粘Ｉ钪?，這其實是很普通的常識——做題時發(fā)現(xiàn)思路不對就應(yīng)該盡早換方向，而不是一條死路走到底。但讓AI掌握這種判斷力，并且做得又快又準，并不是件容易的事。

研究團隊通過系統(tǒng)分類、找到空白、填補空白的方式，構(gòu)建出了STOP這套方案。它不需要額外的大模型來當(dāng)"閱卷老師"，也不依賴粗糙的文字相似度規(guī)則，而是直接讀懂AI自己的內(nèi)部狀態(tài)，用一個輕量級的插件式模塊，以不到1%的額外時間開銷，讓答案質(zhì)量顯著提升、算力消耗大幅下降。

對普通用戶而言，這意味著未來使用AI解決復(fù)雜問題時，同樣的算力預(yù)算可以換來更高的準確率；或者說，達到同樣的準確率，花費可以大幅降低。當(dāng)然，研究團隊也坦誠地指出了尚未解決的問題，比如在更大規(guī)模模型（700億參數(shù)以上）和更大采樣量（1000條以上路徑）場景下的表現(xiàn)還未經(jīng)過驗證，以及目前只支持固定位置的單階段剪枝，尚未探索在推理過程中多個時間點分級篩選的策略。

這些問題留給了后來的研究者，而這本身也是一篇好論文應(yīng)有的樣子——解決了一個真實的問題，同時清晰地指出了下一步可以走的方向。有興趣深入了解技術(shù)細節(jié)的讀者，可以通過arXiv編號2604.16029查閱完整原文。

Q&A

Q1：STOP方法需要對原來的AI推理模型做什么改動嗎？

A：STOP不改動原有的AI推理模型，原模型的參數(shù)全程保持凍結(jié)狀態(tài)。STOP以插件形式接入，只訓(xùn)練一個輕量級的LoRA適配器和分類頭，以及一個新加入詞匯表的特殊標(biāo)記[STOP]。推理時，STOP復(fù)用已有的KV緩存完成評分，額外時間開銷不到原始生成時間的1%。

Q2：路徑剪枝會不會誤殺本來正確的推理路徑，導(dǎo)致答案變差？

A：存在這種風(fēng)險，但STOP通過蒙特卡洛軟標(biāo)簽訓(xùn)練，學(xué)到的是路徑的"成功概率"而非單次對錯。實驗結(jié)果顯示，在幾乎所有測試場景中，剪枝后篩選出的路徑集合質(zhì)量高于不剪枝時的全部路徑集合，平均準確率普遍有所提升，說明誤殺的損失遠小于去除壞路徑帶來的收益。

Q3：STOP的訓(xùn)練數(shù)據(jù)是怎么來的，普通研究者能自己復(fù)現(xiàn)嗎？

A：訓(xùn)練數(shù)據(jù)由研究團隊通過對AIME競賽題和GPQA科學(xué)問答題進行蒙特卡洛采樣構(gòu)建，每個前綴跑32次續(xù)寫來估算成功概率。這個構(gòu)建過程對于20B模型大約需要8張H100顯卡運行76小時，一次性成本較高。研究團隊已承諾開放構(gòu)建好的數(shù)據(jù)集和訓(xùn)練好的模型權(quán)重，普通研究者可以直接下載使用，無需自行重復(fù)數(shù)據(jù)構(gòu)建過程。