這項(xiàng)由中國科學(xué)技術(shù)大學(xué)與美團(tuán)聯(lián)合開展的研究，于2026年4月發(fā)布在預(yù)印本平臺(tái)arXiv上，論文編號(hào)為arXiv:2604.10688。參與機(jī)構(gòu)還包括南京大學(xué)、復(fù)旦大學(xué)和華中科技大學(xué)。感興趣的讀者可通過該編號(hào)查閱完整論文。

**當(dāng)AI變成"應(yīng)試機(jī)器"，我們?cè)撛趺崔k？**

假設(shè)你有一位家庭教師，每次輔導(dǎo)你解題時(shí)，不管題目難不難、你犯的是什么錯(cuò)，他都用同樣的方式、同樣的力度糾正你。時(shí)間久了，你會(huì)發(fā)現(xiàn)自己越來越擅長用固定的套路解某類題，但一遇到稍有變化的題型就徹底懵圈——因?yàn)槟愕乃季S被"馴化"成了單一模式?，F(xiàn)如今，大型語言模型（也就是ChatGPT、DeepSeek這類AI）在訓(xùn)練過程中正面臨著類似的困境。研究團(tuán)隊(duì)注意到，現(xiàn)有的AI訓(xùn)練方法在讓模型"答對(duì)題"的同時(shí)，悄悄扼殺了它的思維多樣性。這篇論文提出的SCOPE框架，正是為了解決這個(gè)看似矛盾的難題。

**一、AI訓(xùn)練中的"偏科"現(xiàn)象：越練越死板**

要理解這個(gè)問題，先得了解AI是怎么學(xué)習(xí)的。大語言模型學(xué)習(xí)推理的過程，有點(diǎn)像學(xué)生參加模擬考試。AI自己先做一道題，然后根據(jù)最終答案對(duì)不對(duì)來打分，并以此調(diào)整自己的思考習(xí)慣。這種方法叫做"在線強(qiáng)化學(xué)習(xí)"，是目前訓(xùn)練AI推理能力的主流方式。

然而，這種只看最終對(duì)錯(cuò)的評(píng)分方式有一個(gè)大問題：AI每次做題都要寫很長的推理過程，但得分只在最后給出，所以AI很難搞清楚推理過程中哪一步功勞最大、哪一步拖了后腿。這就像你參加了一場(chǎng)接力賽，最后成績(jī)出來了，卻不知道是哪個(gè)隊(duì)員跑得最快、哪個(gè)隊(duì)員拖了時(shí)間。

為了解決這個(gè)"功勞歸屬"難題，研究者引入了一種叫做"在線蒸餾"（On-Policy Distillation，簡(jiǎn)稱OPD）的方法。這就好比給AI配了一位"老師模型"——一個(gè)能力更強(qiáng)的AI。當(dāng)學(xué)生AI自己做題時(shí)，老師AI會(huì)實(shí)時(shí)跟蹤每一個(gè)字、每一個(gè)詞的生成，給出細(xì)粒度的指導(dǎo)信號(hào)，而不僅僅是在最后說"對(duì)"或"錯(cuò)"。這種方式讓訓(xùn)練更高效、更精準(zhǔn)。

但是，現(xiàn)有的在線蒸餾方法存在一個(gè)被忽視的假設(shè)：老師AI對(duì)所有題目、所有時(shí)刻的指導(dǎo)都同樣可靠。這個(gè)假設(shè)，在現(xiàn)實(shí)中根本站不住腳。

**二、發(fā)現(xiàn)問題的兩個(gè)實(shí)驗(yàn)：老師也會(huì)"發(fā)懵"，學(xué)生越練越"偏科"**

研究團(tuán)隊(duì)在正式提出解決方案之前，先做了兩個(gè)關(guān)鍵實(shí)驗(yàn)，揭示了現(xiàn)有方法的兩個(gè)致命缺陷。

第一個(gè)問題叫做"多樣性退化"。研究團(tuán)隊(duì)在Qwen2.5-7B模型上做了實(shí)驗(yàn)：只強(qiáng)化AI自己做對(duì)的題目（一種叫做"正樣本強(qiáng)化"的方法），結(jié)果發(fā)現(xiàn)一個(gè)吊詭的現(xiàn)象——在只做一次嘗試時(shí)，AI的正確率從63.2%提升到了74.1%，看起來進(jìn)步明顯。但當(dāng)給AI32次嘗試機(jī)會(huì)、只要有一次答對(duì)就算成功時(shí)，成功率卻從93.7%暴跌到了84.9%。這意味著AI雖然在單次表現(xiàn)上變好了，但它的思維空間卻收窄了，"旁門左道"的解題路徑被一條條掐斷。

用一個(gè)比方來說：一個(gè)學(xué)生原本會(huì)用三種不同的方法解同一道數(shù)學(xué)題，經(jīng)過強(qiáng)化訓(xùn)練后，他只記住了最常用的那種方法，另外兩種方法雖然也正確，但因?yàn)椴怀Ｓ枚贿z忘。這樣的學(xué)生在考試時(shí)，一旦遇到需要靈活變通的題目，就會(huì)束手無策。研究團(tuán)隊(duì)隨后在DeepSeek-R1-Distill-Qwen-1.5B上用在線蒸餾方法重復(fù)實(shí)驗(yàn)，發(fā)現(xiàn)了同樣的悲?。?jiǎn)未握_率提升了，但多次嘗試的成功率從76.5%降到了75.0%。兩種主流方法都會(huì)導(dǎo)致同樣的"思維單一化"。

第二個(gè)問題叫做"糾錯(cuò)低效"。當(dāng)AI做了一道錯(cuò)題時(shí)，可以讓老師AI來糾正它。但研究團(tuán)隊(duì)發(fā)現(xiàn)，一旦學(xué)生AI的推理過程本身就是亂糟糟的，老師AI讀完這些混亂的"思考過程"后，自己也會(huì)陷入困惑，給出的糾正信號(hào)就成了噪音。

為了驗(yàn)證這一點(diǎn)，研究團(tuán)隊(duì)從DeepMath數(shù)據(jù)集里抽取了2000道題，讓學(xué)生模型（DeepSeek-R1-Distill-Qwen-1.5B）生成錯(cuò)誤的推理過程，然后用老師模型（Skywork-OR1-MATH-7B）來評(píng)估這些錯(cuò)誤推理過程。他們用一個(gè)叫"困惑度"（PPL）的指標(biāo)來衡量老師讀完學(xué)生推理過程后有多困惑——困惑度越高，說明老師越看不懂。

接著，他們做了一個(gè)"截?cái)鄬?shí)驗(yàn)"：把學(xué)生的錯(cuò)誤推理過程截?cái)嗟讲煌L度（截去20%、40%、60%、80%），讓老師從這個(gè)不完整的地方接著往下推理，看看能不能得出正確答案。結(jié)果令人印象深刻：那些讓老師感到困惑度最低的推理前綴（Q1組，平均困惑度1.36），在截?cái)?0%時(shí)的糾錯(cuò)成功率高達(dá)64.9%；而讓老師最困惑的前綴（Q4組，平均困惑度2.38），同樣條件下成功率只有45.4%，差距高達(dá)19.4個(gè)百分點(diǎn)。當(dāng)截?cái)啾壤黾拥?0%時(shí)，即便是最"友好"的前綴，糾錯(cuò)成功率也跌到了35.8%左右，而最混亂的前綴更是只有28.6%。

這說明什么？當(dāng)學(xué)生AI的推理過程本身邏輯混亂，老師AI就像是被塞進(jìn)了一篇充滿錯(cuò)誤的作文里，硬要從中間接著寫下去，結(jié)果只能越寫越偏。在這種情況下，強(qiáng)迫學(xué)生AI去模仿老師"困惑"狀態(tài)下給出的信號(hào)，無異于用噪音來糾正錯(cuò)誤。

**三、SCOPE框架：像聰明的老師一樣區(qū)別對(duì)待不同作業(yè)**

基于這兩個(gè)發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了SCOPE（Signal-Calibrated On-Policy Distillation Enhancement，信號(hào)校準(zhǔn)在線蒸餾增強(qiáng)）框架。這個(gè)框架的核心思想可以用一個(gè)聰明老師的工作方式來類比。

一位真正有經(jīng)驗(yàn)的老師，不會(huì)對(duì)所有作業(yè)一視同仁。對(duì)于學(xué)生做對(duì)了的題目，老師會(huì)想：這道題他做對(duì)了，但用的是最笨的方法還是最巧妙的方法？如果是笨方法，要多鼓勵(lì)他繼續(xù)探索更好的路徑；如果是他最擅長的常規(guī)方法，就不必過度強(qiáng)化。對(duì)于學(xué)生做錯(cuò)了的題目，老師會(huì)先看看：這個(gè)錯(cuò)誤我能看懂是哪里出了問題嗎？如果能看懂，就給出精準(zhǔn)的糾正；如果學(xué)生的邏輯已經(jīng)亂成一鍋粥，老師自己也不知道從哪里說起，那這道題就先擱置，不要強(qiáng)行糾正，以免越糾越亂。

SCOPE框架把AI的每次推理過程（稱為"軌跡"）按照最終對(duì)錯(cuò)分成兩條路徑來處理，這叫做"結(jié)果驅(qū)動(dòng)的分組分支"。在每次訓(xùn)練中，AI對(duì)同一道題生成多個(gè)推理過程，然后用驗(yàn)證器判斷哪些是正確的（放入"正確集合"），哪些是錯(cuò)誤的（放入"錯(cuò)誤集合"）。

對(duì)于錯(cuò)誤軌跡，SCOPE采用"老師困惑度加權(quán)蒸餾"。老師AI讀完這條錯(cuò)誤推理后，如果自己的困惑度很低（說明還能看懂學(xué)生在想什么，只是結(jié)論錯(cuò)了），那就給這條軌跡分配高權(quán)重，讓老師的糾正信號(hào)充分影響學(xué)生。反之，如果老師讀完后困惑度極高（說明學(xué)生的推理已經(jīng)亂到老師也不知道如何糾正），那就把這條軌跡的權(quán)重壓低，幾乎忽略老師的信號(hào)，避免把噪音傳遞給學(xué)生。

對(duì)于正確軌跡，SCOPE轉(zhuǎn)而使用"學(xué)生困惑度加權(quán)最大似然"。不依靠老師的指導(dǎo)，而是直接強(qiáng)化學(xué)生自己做對(duì)的推理過程。但關(guān)鍵在于，并非所有做對(duì)的推理過程都同等對(duì)待。如果某條正確推理對(duì)學(xué)生來說是"輕而易舉"的（學(xué)生的困惑度很低，說明這是他的熟練套路），就分配較低權(quán)重，不必過度強(qiáng)化這種他已經(jīng)掌握的路徑。反之，如果某條正確推理對(duì)學(xué)生來說比較"意外"（困惑度較高，說明這是一條不尋常的解題路徑），就分配較高權(quán)重，鼓勵(lì)學(xué)生把這種"旁門左道"的正確方法也納入自己的武器庫。

在數(shù)學(xué)實(shí)現(xiàn)上，權(quán)重的計(jì)算方式相當(dāng)精巧。對(duì)于錯(cuò)誤軌跡，老師困惑度越低，權(quán)重越高，具體通過對(duì)老師困惑度取倒數(shù)后在同組內(nèi)做softmax歸一化得到。對(duì)于正確軌跡，學(xué)生困惑度越高，權(quán)重越高，通過對(duì)學(xué)生困惑度直接做softmax歸一化得到。兩種權(quán)重都在同一道題的多條推理過程組內(nèi)進(jìn)行歸一化，這樣可以自動(dòng)適應(yīng)不同題目之間的難度差異，避免簡(jiǎn)單題和難題的權(quán)重分布不可比。這套雙路徑自適應(yīng)加權(quán)機(jī)制被研究團(tuán)隊(duì)稱為DPAW（Dual-Perspective Adaptive Weighting，雙視角自適應(yīng)加權(quán)）。

整個(gè)SCOPE的目標(biāo)函數(shù)把兩條路徑整合在一起：對(duì)于同一道題，正確軌跡的加權(quán)最大似然損失和錯(cuò)誤軌跡的加權(quán)蒸餾損失共同構(gòu)成總損失，在整個(gè)數(shù)據(jù)集上取期望進(jìn)行優(yōu)化。

**四、實(shí)驗(yàn)結(jié)果：六大數(shù)學(xué)競(jìng)賽題庫的全面檢驗(yàn)**

研究團(tuán)隊(duì)在六個(gè)高難度數(shù)學(xué)推理基準(zhǔn)上測(cè)試了SCOPE，包括MATH500、AIME24（2024年美國數(shù)學(xué)邀請(qǐng)賽）、AIME25（2025年美國數(shù)學(xué)邀請(qǐng)賽）、AMC2023（2023年美國數(shù)學(xué)競(jìng)賽）、Minerva和OlympiadBench（奧林匹克競(jìng)賽題庫）。

測(cè)試采用了兩個(gè)不同的學(xué)生-老師配對(duì)：第一組是DeepSeek-R1-Distill-Qwen-1.5B（學(xué)生）配Skywork-OR1-Math-7B（老師），第二組是Qwen3-1.7B-Base（學(xué)生）配Qwen3-8B-Instruct（老師）。所有模型都在DeepMath數(shù)據(jù)集上訓(xùn)練，并與三種基線方法（GRPO強(qiáng)化學(xué)習(xí)、離線知識(shí)蒸餾KD、在線蒸餾OPD）進(jìn)行比較。

評(píng)估指標(biāo)分兩種：Avg@32代表給AI32次機(jī)會(huì)時(shí)的平均正確率，衡量AI的穩(wěn)定表現(xiàn)；Pass@32代表32次中至少一次正確的比率，衡量AI的能力上限和思維多樣性。

在第一組實(shí)驗(yàn)（DeepSeek-R1-Distill-Qwen-1.5B）中，SCOPE在Avg@32上全面領(lǐng)先。在AIME24上，標(biāo)準(zhǔn)OPD達(dá)到40.2%，而SCOPE提升到42.7%，相對(duì)提升6.22%。在AIME25上，SCOPE達(dá)到30.4%，比OPD的28.9%相對(duì)提升5.19%。在AMC23上提升更為明顯，從75.9%提升到80.9%，相對(duì)提升6.59%。在OlympiadBench上，SCOPE從44.9%提升到49.7%，相對(duì)提升高達(dá)10.69%。綜合六個(gè)基準(zhǔn)，SCOPE的平均Avg@32達(dá)到55.2%，比OPD的52.3%相對(duì)提升5.54%，比GRPO的49.6%提升更多。

在Pass@32指標(biāo)上，SCOPE同樣全面占優(yōu)。這一點(diǎn)在第二組實(shí)驗(yàn)（Qwen3-1.7B-Base這個(gè)原始基礎(chǔ)模型）上體現(xiàn)得尤為突出。GRPO讓這個(gè)基礎(chǔ)模型的Pass@32幾乎沒有提升甚至在部分基準(zhǔn)上退步，KD則導(dǎo)致嚴(yán)重下降，OPD有所改善，但SCOPE實(shí)現(xiàn)了最強(qiáng)的提升。以AIME25為例，基礎(chǔ)模型Pass@32為20.7%，GRPO提升到24.5%，OPD提升到29.7%，SCOPE則達(dá)到35.6%，相對(duì)于OPD提升了19.87%。這充分說明SCOPE在保持甚至提升思維多樣性方面的獨(dú)特優(yōu)勢(shì)。

從訓(xùn)練動(dòng)態(tài)來看，三種方法呈現(xiàn)出截然不同的曲線。GRPO的策略熵（衡量AI思維多樣性的指標(biāo)）隨著訓(xùn)練持續(xù)下降，這直接導(dǎo)致了Pass@32的劣化。OPD和SCOPE都能維持較高的策略熵，說明它們不會(huì)過度壓縮AI的思維空間。但OPD在準(zhǔn)確率上的提升很快遇到瓶頸并停滯，而SCOPE的Avg@32則持續(xù)穩(wěn)健上升，始終領(lǐng)先。在Pass@k的擴(kuò)展曲線上，GRPO和OPD都在k增大時(shí)表現(xiàn)出收益遞減，而SCOPE的曲線保持良好的上升趨勢(shì)，在k=32時(shí)仍有明顯優(yōu)勢(shì)。

**五、消融實(shí)驗(yàn)：每一個(gè)設(shè)計(jì)都有其存在的理由**

為了驗(yàn)證SCOPE每個(gè)組件的必要性，研究團(tuán)隊(duì)做了一系列"拆零件"實(shí)驗(yàn)，在AIME24和AIME25上測(cè)試移除或反轉(zhuǎn)各個(gè)組成部分的效果。

移除整個(gè)DPAW加權(quán)機(jī)制后，退化為均勻權(quán)重的版本，AIME24的Avg@32從42.7%降到39.9%，AIME25的Pass@32從50.9%大幅跌到45.7%。這說明忽視信號(hào)質(zhì)量差異的均勻加權(quán)策略確實(shí)會(huì)造成顯著的性能損失。

單獨(dú)移除學(xué)生引導(dǎo)權(quán)重（即對(duì)正確軌跡不再按困惑度加權(quán)），AIME24的Pass@32從77.9%跌到74.1%，這直接驗(yàn)證了"放大非常規(guī)正確路徑"對(duì)保持思維多樣性的關(guān)鍵作用。把學(xué)生引導(dǎo)權(quán)重的方向反過來（高困惑度軌跡反而給低權(quán)重），Pass@32也從77.9%降到77.1%，進(jìn)一步證明權(quán)重方向的正確性至關(guān)重要。

單獨(dú)移除老師引導(dǎo)權(quán)重（即對(duì)錯(cuò)誤軌跡不再按老師困惑度加權(quán)），AIME24的Avg@32從42.7%降到41.8%，AIME25的Pass@32也有所下降。把老師引導(dǎo)權(quán)重方向反過來（老師越困惑越給高權(quán)重，相當(dāng)于主動(dòng)學(xué)習(xí)噪音），情況更為嚴(yán)重：AIME24的Avg@32暴跌到38.6%，甚至低于不用任何加權(quán)的版本。這個(gè)結(jié)果極為有力地證明：如果不加甄別地讓學(xué)生模仿老師在混亂前綴下的輸出，不僅沒有幫助，反而會(huì)大幅降低性能。

**六、計(jì)算代價(jià)：多了多少開銷？**

任何新方法都要面對(duì)"值不值得"的考量。研究團(tuán)隊(duì)坦誠地列出了每步訓(xùn)練的時(shí)間分解。GRPO的每步總時(shí)間約459秒，OPD約227.5秒，SCOPE約641.9秒。SCOPE比GRPO慢約40%，主要多出的時(shí)間是老師模型打分（200秒），而基礎(chǔ)的生成、舊策略概率計(jì)算、獎(jiǎng)勵(lì)計(jì)算、模型更新等步驟與GRPO相差無幾。

研究團(tuán)隊(duì)指出，目前的實(shí)現(xiàn)是"同步架構(gòu)"——輪流進(jìn)行生成和老師打分，二者沒有重疊。如果改用"異步架構(gòu)"（讓老師打分和下一批生成同時(shí)進(jìn)行），理論上時(shí)間開銷可以與GRPO持平。換句話說，SCOPE目前的時(shí)間代價(jià)很大程度上是工程實(shí)現(xiàn)上的優(yōu)化空間，而非方法本身的固有缺陷。

**七、權(quán)重溫度的影響：松緊要適度**

研究團(tuán)隊(duì)還測(cè)試了權(quán)重計(jì)算中溫度參數(shù)τ的影響。τ=0.5時(shí)權(quán)重分布過于尖銳，過度集中在極端困惑度的樣本上，反而引入了極端樣本的噪聲，整體性能不如τ=1.0。τ=2.0時(shí)權(quán)重分布過于平坦，幾乎退化為均勻權(quán)重，失去了自適應(yīng)加權(quán)的意義，重新陷入了均勻OPD的種種問題。τ=1.0在AIME24、AIME25和AMC23三個(gè)基準(zhǔn)上均表現(xiàn)最好，成為默認(rèn)配置。

歸根結(jié)底，SCOPE所做的事情說起來并不復(fù)雜：在AI訓(xùn)練這個(gè)"模擬考試"的過程中，針對(duì)做錯(cuò)的題目，只在老師能看懂學(xué)生哪里錯(cuò)了的時(shí)候才讓學(xué)生認(rèn)真學(xué)老師的糾正；針對(duì)做對(duì)的題目，優(yōu)先讓學(xué)生把那些"運(yùn)氣好走對(duì)了彎路"的非常規(guī)解法也學(xué)扎實(shí)，而不是一遍遍重復(fù)已經(jīng)熟練的套路。兩件事合在一起，讓AI既能穩(wěn)定答對(duì)題，又能保持開闊的思維空間，不至于越練越"偏科"。

這項(xiàng)研究的意義，在于它揭示了一個(gè)被長期忽視的問題：訓(xùn)練數(shù)據(jù)的信號(hào)質(zhì)量并非均勻的，不同推理軌跡對(duì)模型的價(jià)值天差地別。盲目地一視同仁，不僅效率低下，還會(huì)積累訓(xùn)練噪音，最終導(dǎo)致模型能力的全面萎縮。SCOPE提供的這套分類處理、按質(zhì)加權(quán)的思路，有望成為未來大模型訓(xùn)練流程中的一個(gè)標(biāo)準(zhǔn)化組件，幫助下一代AI在更少的計(jì)算資源下達(dá)到更高的推理能力和更強(qiáng)的靈活性。對(duì)于任何對(duì)大語言模型訓(xùn)練感興趣的讀者，通過arXiv:2604.10688都能找到完整的方法細(xì)節(jié)和實(shí)驗(yàn)數(shù)據(jù)。

Q&A

Q1：SCOPE框架是什么，和普通的AI訓(xùn)練方法有什么區(qū)別？

A：SCOPE是一種針對(duì)大語言模型推理訓(xùn)練的雙路徑自適應(yīng)框架。普通訓(xùn)練方法對(duì)所有推理過程一視同仁，不管老師AI自己是否能看懂學(xué)生的錯(cuò)誤推理，都強(qiáng)制讓學(xué)生去模仿老師的信號(hào)。SCOPE的區(qū)別在于把推理過程按對(duì)錯(cuò)分成兩條路徑：對(duì)于錯(cuò)誤推理，只在老師AI困惑度低（能看懂錯(cuò)在哪里）時(shí)才強(qiáng)化老師的糾正信號(hào)；對(duì)于正確推理，優(yōu)先強(qiáng)化那些不尋常的解題路徑，避免思維單一化。

Q2：Pass@32和Avg@32這兩個(gè)指標(biāo)分別衡量什么？

A：Avg@32是給AI模型32次作答機(jī)會(huì)后，所有答案的平均正確率，反映模型的穩(wěn)定性和整體水平。Pass@32則是32次中至少有一次答對(duì)的比率，反映模型的能力上限和思維多樣性。如果一個(gè)模型Pass@32很低，說明它的思維已經(jīng)被"訓(xùn)練"得很單一，即使多給機(jī)會(huì)也很難覆蓋到不同的解題路徑。SCOPE的一個(gè)重要優(yōu)勢(shì)就在于同時(shí)提升了這兩項(xiàng)指標(biāo)。

Q3：為什么讓AI模型學(xué)習(xí)老師的糾正信號(hào)有時(shí)候反而有害？

A：當(dāng)學(xué)生AI的推理過程本身邏輯混亂時(shí)，老師AI被迫從這段混亂內(nèi)容接著往下想，就像被強(qiáng)制從一篇錯(cuò)誤百出的作文中間接著續(xù)寫，老師自己也會(huì)陷入困惑，給出的下一步預(yù)測(cè)會(huì)變得雜亂無章。如果強(qiáng)迫學(xué)生AI去模仿老師在這種"困惑狀態(tài)"下的輸出，等于是把噪音當(dāng)信號(hào)來學(xué)習(xí)，不僅沒有糾正錯(cuò)誤，反而會(huì)讓模型越訓(xùn)練越混亂。SCOPE通過老師困惑度加權(quán)，主動(dòng)把這類有害信號(hào)的權(quán)重壓到接近零來規(guī)避這個(gè)問題。