這項由西湖大學(xué)工程學(xué)院丁博文、陳宇涵等研究者聯(lián)合華為諾亞方舟實驗室共同完成的研究，發(fā)表于2025年12月的arXiv預(yù)印本（編號：arXiv:2512.11470v1），對當(dāng)前大語言模型的訓(xùn)練方式提出了根本性的重新思考。有興趣深入了解的讀者可以通過該論文編號查詢完整研究。

當(dāng)下人工智能領(lǐng)域有個普遍認(rèn)知：要讓AI變得更聰明，就得讓它既會模仿專家的解題過程，又能自己探索新的解決方案。但到底該怎么安排這兩種學(xué)習(xí)方式呢？是讓AI同時進行模仿和探索，還是先讓它專心模仿一段時間，再讓它自由探索？這個看似簡單的問題，實際上困擾了整個行業(yè)。

就好比學(xué)習(xí)開車，有人主張邊看教練示范邊自己上手練習(xí)，也有人認(rèn)為應(yīng)該先把教練的每個動作都觀察學(xué)透，再獨自練習(xí)。哪種方式更有效？西湖大學(xué)的研究團隊決定用科學(xué)的方法來回答這個問題。他們發(fā)現(xiàn)的結(jié)果可能會讓很多人感到意外。

研究團隊通過大量實驗證實，傳統(tǒng)的"邊模仿邊探索"訓(xùn)練方式并非最優(yōu)選擇。相反，采用"先模仿后探索"的順序訓(xùn)練方法，能讓AI達到更高的性能天花板。這個發(fā)現(xiàn)不僅挑戰(zhàn)了當(dāng)前主流的訓(xùn)練理念，更為AI訓(xùn)練提供了全新的指導(dǎo)原則。

一、為什么要重新審視AI的學(xué)習(xí)方式

在人工智能的世界里，讓模型變得更聰明主要依靠兩種訓(xùn)練方法。第一種叫做監(jiān)督微調(diào)，就像讓學(xué)生照著標(biāo)準(zhǔn)答案反復(fù)練習(xí)，通過模仿專家的推理過程來學(xué)會正確的解題思路。第二種叫做強化學(xué)習(xí)，類似于讓學(xué)生自己摸索解題方法，通過試錯和反饋來發(fā)現(xiàn)新的解決路徑。

近年來，許多研究團隊提出了同步訓(xùn)練的方法，試圖讓AI同時進行模仿和探索。這些方法看起來很有道理，畢竟人類學(xué)習(xí)時也常常是模仿與創(chuàng)新并行。然而，西湖大學(xué)的研究團隊敏銳地察覺到，這種同步訓(xùn)練方法在面對大規(guī)模數(shù)據(jù)時可能存在穩(wěn)定性問題。

更關(guān)鍵的是，現(xiàn)有的研究大多基于相對較小的數(shù)據(jù)集進行驗證，通常只有幾萬個樣本。但在實際應(yīng)用中，要達到最先進的性能水平，往往需要數(shù)十萬甚至上百萬個訓(xùn)練樣本。在這種大規(guī)模數(shù)據(jù)環(huán)境下，同步訓(xùn)練是否還能保持其聲稱的優(yōu)勢，成為了一個亟待解決的問題。

研究團隊還發(fā)現(xiàn)，業(yè)界在決定何時從模仿階段轉(zhuǎn)向探索階段時，往往缺乏系統(tǒng)性的指導(dǎo)原則。有些團隊偏愛"少即是多"的訓(xùn)練哲學(xué)，認(rèn)為用少量高質(zhì)量數(shù)據(jù)就能達到很好的效果。但這種做法是否會限制模型后續(xù)的學(xué)習(xí)潛力，也是一個充滿爭議的話題。

二、搭建全新的理論框架來解決困惑

面對這些懸而未決的問題，研究團隊提出了一個創(chuàng)新的"可塑性-天花板"理論框架。這個框架就像是為AI訓(xùn)練過程配備了一個精密的儀表盤，能夠清晰地顯示訓(xùn)練的各個關(guān)鍵指標(biāo)。

在這個框架中，AI的最終性能被分解為兩個核心組成部分。第一部分是"監(jiān)督學(xué)習(xí)性能"，代表通過模仿專家能夠達到的基礎(chǔ)能力水平。就像學(xué)開車時，這相當(dāng)于你能夠按照教練的示范完成基本操作的熟練程度。第二部分是"強化學(xué)習(xí)可塑性"，表示在基礎(chǔ)能力之上還能進一步提升的空間。這就好比你掌握了基本駕駛技能后，還能通過實際路況練習(xí)進一步提高駕駛水平的潛力。

這個理論框架的巧妙之處在于，它將復(fù)雜的訓(xùn)練過程量化為可以測量和比較的指標(biāo)。研究團隊發(fā)現(xiàn)，最終的性能天花板等于基礎(chǔ)監(jiān)督學(xué)習(xí)性能加上剩余的強化學(xué)習(xí)可塑性。關(guān)鍵的洞察是，這兩個要素之間存在著微妙的平衡關(guān)系。

通過這個框架，研究團隊能夠精確地分析不同訓(xùn)練策略的優(yōu)劣。他們發(fā)現(xiàn)，雖然提高監(jiān)督學(xué)習(xí)性能看起來總是好事，但如果監(jiān)督學(xué)習(xí)的數(shù)據(jù)質(zhì)量不夠理想，可能會壓縮后續(xù)強化學(xué)習(xí)的改進空間，從而限制最終的性能上限。

三、史上最大規(guī)模的訓(xùn)練方式對比實驗

為了驗證理論框架的有效性，研究團隊設(shè)計了一個規(guī)模前所未有的對比實驗。他們使用了近90萬個數(shù)學(xué)推理樣本，這個數(shù)據(jù)規(guī)模是之前同類研究的20倍以上。實驗在兩個不同的模型上進行：主要使用Qwen2.5-7B模型，并在Llama3.2-3B模型上進行交叉驗證，確保結(jié)果的可靠性。

實驗涵蓋了六個數(shù)學(xué)推理基準(zhǔn)測試，包括GSM8K、奧林匹克數(shù)學(xué)競賽、MATH等權(quán)威評測集。為了避免數(shù)據(jù)泄露影響結(jié)果的客觀性，研究團隊還專門過濾掉了與訓(xùn)練數(shù)據(jù)相似度過高的測試樣本。

在這個龐大的實驗設(shè)計中，研究團隊系統(tǒng)地比較了四種主要的訓(xùn)練策略。第一種是純監(jiān)督學(xué)習(xí)，讓模型只通過模仿來學(xué)習(xí)。第二種是純強化學(xué)習(xí)，讓模型完全通過自主探索來提升。第三種是同步訓(xùn)練，讓模型同時進行模仿和探索。第四種是順序訓(xùn)練，先讓模型完成監(jiān)督學(xué)習(xí)，再進行強化學(xué)習(xí)。

實驗結(jié)果令人驚訝。在小規(guī)模數(shù)據(jù)集上表現(xiàn)出色的同步訓(xùn)練方法，在大規(guī)模數(shù)據(jù)面前暴露出了嚴(yán)重的穩(wěn)定性問題。某些同步訓(xùn)練算法的性能波動程度是穩(wěn)定方法的2.6倍，有些甚至完全無法收斂。這就像是一個在平靜湖面上游泳很好的選手，到了波濤洶涌的大海中就完全失去了方向。

四、發(fā)現(xiàn)AI學(xué)習(xí)的最佳時機窗口

研究團隊在實驗中發(fā)現(xiàn)了一個關(guān)鍵規(guī)律：何時從監(jiān)督學(xué)習(xí)轉(zhuǎn)向強化學(xué)習(xí)，對最終性能有著決定性的影響。他們將整個監(jiān)督學(xué)習(xí)過程細(xì)分為四個階段，就像觀察植物的生長周期一樣。

第一個階段被稱為"適應(yīng)期"，這時模型還在努力理解基本的任務(wù)要求，就像剛開始學(xué)習(xí)的學(xué)生需要時間適應(yīng)新環(huán)境。如果在這個階段就急于轉(zhuǎn)向強化學(xué)習(xí)，模型缺乏足夠的基礎(chǔ)能力，后續(xù)的自主探索往往效果不佳。

第二個階段是"穩(wěn)定期"，模型的驗證損失基本達到最低點并趨于穩(wěn)定。這個時期模型已經(jīng)充分掌握了從訓(xùn)練數(shù)據(jù)中能夠?qū)W到的所有知識，基礎(chǔ)能力已經(jīng)扎實。研究發(fā)現(xiàn)，這是開始強化學(xué)習(xí)的最佳時機。

第三個階段被稱為"輕度過擬合期"，驗證損失開始輕微上升，但仍在可接受范圍內(nèi)。對于數(shù)據(jù)規(guī)模較小或難度較低的情況，在這個階段轉(zhuǎn)向強化學(xué)習(xí)有時也能取得不錯的效果。

第四個階段是"嚴(yán)重過擬合期"，驗證損失顯著上升。如果在這個階段才開始強化學(xué)習(xí)，模型的探索能力已經(jīng)受到了嚴(yán)重?fù)p害，很難再有大的提升空間。

這個發(fā)現(xiàn)為AI訓(xùn)練提供了精確的時機指導(dǎo)。就像烹飪中火候的把握一樣，過早或過晚都會影響最終的效果，只有在恰當(dāng)?shù)臅r機轉(zhuǎn)換訓(xùn)練方式，才能發(fā)揮出最大的潛力。

五、數(shù)據(jù)規(guī)模與難度的驚人真相

在數(shù)據(jù)屬性對訓(xùn)練效果影響的研究中，團隊得出了顛覆性的結(jié)論。長期以來，"少即是多"的理念在AI訓(xùn)練領(lǐng)域頗受推崇，認(rèn)為精心篩選的少量高質(zhì)量數(shù)據(jù)能夠達到與大規(guī)模數(shù)據(jù)相當(dāng)?shù)男ЧＨ欢?，研究結(jié)果表明，在追求最終性能上限的情況下，這種觀念是錯誤的。

實驗對比了不同規(guī)模的數(shù)據(jù)集，從1000個樣本的精品數(shù)據(jù)集到近90萬樣本的大規(guī)模數(shù)據(jù)集。結(jié)果顯示，雖然小規(guī)模精品數(shù)據(jù)在訓(xùn)練初期確實能夠快速提升模型性能，但這種提升很快就會遇到瓶頸。小規(guī)模數(shù)據(jù)就像是一個小池塘，看起來清澈見底，但容量有限。當(dāng)模型把這個"小池塘"里的知識全部吸收后，就再也沒有進步的空間了。

相比之下，大規(guī)模數(shù)據(jù)雖然在訓(xùn)練初期的效率看起來不如精品數(shù)據(jù)，但它為模型提供了更廣闊的學(xué)習(xí)空間。更重要的是，大規(guī)模數(shù)據(jù)不僅提升了監(jiān)督學(xué)習(xí)的基礎(chǔ)性能，還為后續(xù)的強化學(xué)習(xí)保留了更大的改進潛力。這就像是在一個深邃的湖泊中學(xué)習(xí)游泳，雖然初期進步可能較慢，但最終能夠達到的技能水平遠(yuǎn)超在淺水區(qū)訓(xùn)練的效果。

在數(shù)據(jù)難度方面，研究團隊發(fā)現(xiàn)了同樣有趣的規(guī)律。他們將數(shù)學(xué)問題按照難度分為簡單、中等和困難三個層次，分別構(gòu)建了相同規(guī)模的數(shù)據(jù)集。結(jié)果表明，訓(xùn)練數(shù)據(jù)的難度與最終性能存在正相關(guān)關(guān)系。困難的訓(xùn)練數(shù)據(jù)不僅能讓模型獲得更高的基礎(chǔ)能力，還能為強化學(xué)習(xí)階段保留更大的提升空間。

這個發(fā)現(xiàn)揭示了一個重要原理：數(shù)據(jù)規(guī)模是決定AI性能上限的主要因素，而數(shù)據(jù)難度則起到放大器的作用。當(dāng)數(shù)據(jù)規(guī)模有限時，適當(dāng)增加數(shù)據(jù)難度能夠在一定程度上彌補規(guī)模的不足。但如果想要達到真正的性能巔峰，大規(guī)模的訓(xùn)練數(shù)據(jù)仍然是不可替代的。

六、發(fā)現(xiàn)預(yù)測性能的神奇指標(biāo)

在所有的實驗發(fā)現(xiàn)中，最令人興奮的可能是驗證損失與最終性能之間的強相關(guān)關(guān)系。研究團隊發(fā)現(xiàn)，監(jiān)督學(xué)習(xí)階段達到的最低驗證損失，能夠準(zhǔn)確預(yù)測整個訓(xùn)練流程結(jié)束后的最終性能水平。這個相關(guān)系數(shù)達到了-0.90，在統(tǒng)計學(xué)上屬于極強的相關(guān)關(guān)系。

這個發(fā)現(xiàn)的價值在于，它為AI訓(xùn)練提供了一個"早期預(yù)警系統(tǒng)"。就像醫(yī)生通過血壓和心率等指標(biāo)來評估患者的健康狀況一樣，AI工程師現(xiàn)在可以通過監(jiān)督學(xué)習(xí)的驗證損失來預(yù)判模型的最終潛力。如果驗證損失能夠達到很低的水平，那么可以預(yù)期后續(xù)的強化學(xué)習(xí)也會取得良好效果。反之，如果驗證損失居高不下，即使投入大量計算資源進行強化學(xué)習(xí)，最終收益也會有限。

這個指標(biāo)的實用意義非常重大。在實際的AI開發(fā)中，強化學(xué)習(xí)往往需要消耗大量的計算資源和時間。如果能夠在監(jiān)督學(xué)習(xí)階段就預(yù)判出最終效果，開發(fā)者就可以及早調(diào)整策略，避免在低效的訓(xùn)練路徑上浪費資源。

更進一步，這個發(fā)現(xiàn)還為數(shù)據(jù)質(zhì)量評估提供了新的視角。不同來源、不同處理方式的訓(xùn)練數(shù)據(jù)，可以通過它們在監(jiān)督學(xué)習(xí)階段產(chǎn)生的驗證損失來評估質(zhì)量。那些能夠產(chǎn)生更低驗證損失的數(shù)據(jù)集，往往也能在完整的訓(xùn)練流程中帶來更好的最終效果。

七、在不同模型上驗證發(fā)現(xiàn)的普適性

為了確保研究結(jié)論不是針對特定模型的偶然發(fā)現(xiàn)，研究團隊在Llama3.2-3B模型上進行了全面的驗證實驗。這個驗證過程就像是在不同的實驗室中重復(fù)同一個化學(xué)實驗，確保結(jié)果的可重復(fù)性和普適性。

驗證實驗的結(jié)果高度一致。在Llama3.2-3B模型上，順序訓(xùn)練的優(yōu)勢同樣明顯，同步訓(xùn)練的不穩(wěn)定性問題也同樣存在。更重要的是，監(jiān)督學(xué)習(xí)階段的最佳轉(zhuǎn)換時機、數(shù)據(jù)規(guī)模與難度的影響規(guī)律，以及驗證損失的預(yù)測能力，在新模型上都得到了確認(rèn)。

特別值得注意的是，對于參數(shù)量較小的模型（如Llama3.2-3B），充分的監(jiān)督學(xué)習(xí)顯得更加重要。實驗發(fā)現(xiàn)，如果監(jiān)督學(xué)習(xí)階段過于匆忙，小模型很難在后續(xù)的強化學(xué)習(xí)中彌補基礎(chǔ)能力的不足。這就像是基礎(chǔ)不牢固的建筑，無論后期如何裝修都難以達到理想的效果。

這種跨模型的驗證不僅增強了結(jié)論的可信度，也為不同規(guī)模的AI應(yīng)用提供了針對性的指導(dǎo)。對于計算資源有限的開發(fā)者，使用較小的模型時更應(yīng)該重視監(jiān)督學(xué)習(xí)階段的充分性。而對于有條件使用大型模型的團隊，雖然模型本身的容錯能力更強，但遵循最佳實踐仍然能夠獲得更好的效果。

八、理論框架指導(dǎo)下的實踐建議

基于大量實驗和理論分析，研究團隊提出了一套系統(tǒng)的AI訓(xùn)練實踐指南。這套指南就像是一本詳細(xì)的"烹飪食譜"，為不同情況下的AI訓(xùn)練提供了具體的操作建議。

首先，在訓(xùn)練策略的選擇上，順序訓(xùn)練應(yīng)該成為標(biāo)準(zhǔn)做法。研究明確表明，先進行充分的監(jiān)督學(xué)習(xí)，再轉(zhuǎn)向強化學(xué)習(xí)，能夠獲得最高的性能上限。雖然這種方法在訓(xùn)練初期可能看起來進展緩慢，但它為模型建立了堅實的基礎(chǔ)，確保后續(xù)的自主探索能夠在正確的方向上進行。

在轉(zhuǎn)換時機的把握上，監(jiān)督學(xué)習(xí)應(yīng)該進行到驗證損失穩(wěn)定的階段。具體來說，當(dāng)驗證損失連續(xù)幾個評估周期都保持在最低值附近時，就是開始強化學(xué)習(xí)的最佳時機。對于數(shù)據(jù)質(zhì)量較高的大規(guī)模數(shù)據(jù)集，這個時機通常出現(xiàn)在驗證損失達到全局最小值時。對于規(guī)模較小或質(zhì)量一般的數(shù)據(jù)集，可以容忍輕微的過擬合，但絕不能等到嚴(yán)重過擬合才開始轉(zhuǎn)換。

在數(shù)據(jù)準(zhǔn)備方面，研究明確反駁了"少即是多"的觀念。想要達到最佳性能，必須優(yōu)先考慮數(shù)據(jù)規(guī)模。在資源允許的情況下，應(yīng)該盡可能收集和使用大規(guī)模的訓(xùn)練數(shù)據(jù)。當(dāng)數(shù)據(jù)規(guī)模受限時，可以通過提高數(shù)據(jù)難度來部分補償，但這種補償是有限的，無法完全替代規(guī)模的重要性。

在效果預(yù)測方面，監(jiān)督學(xué)習(xí)階段的最低驗證損失成為了評估訓(xùn)練潛力的重要指標(biāo)。開發(fā)團隊可以在監(jiān)督學(xué)習(xí)完成后，根據(jù)驗證損失的水平來預(yù)判最終效果，并據(jù)此決定是否值得投入資源進行后續(xù)的強化學(xué)習(xí)。

九、研究成果的深遠(yuǎn)意義與未來影響

這項研究的價值遠(yuǎn)不止于提出了一套新的訓(xùn)練方法，更重要的是它為整個AI訓(xùn)練領(lǐng)域建立了科學(xué)的理論基礎(chǔ)。過去，AI訓(xùn)練更多依賴經(jīng)驗和直覺，不同的研究團隊往往基于有限的實驗得出相互矛盾的結(jié)論。這項研究通過大規(guī)模實驗和嚴(yán)謹(jǐn)?shù)睦碚摲治觯瑸檫@個充滿爭議的領(lǐng)域提供了客觀的指導(dǎo)原則。

從產(chǎn)業(yè)應(yīng)用的角度來看，這些發(fā)現(xiàn)將直接影響AI公司的研發(fā)策略。許多公司正在開發(fā)自己的大語言模型，面臨著如何高效利用訓(xùn)練資源的挑戰(zhàn)。研究提供的訓(xùn)練策略和時機判斷方法，能夠幫助這些公司避免走彎路，更快地達到預(yù)期的性能目標(biāo)。

對于學(xué)術(shù)界而言，"可塑性-天花板"框架開創(chuàng)了分析AI訓(xùn)練過程的新視角。這個框架不僅適用于當(dāng)前研究的數(shù)學(xué)推理任務(wù)，很可能也能推廣到其他類型的AI任務(wù)中。未來的研究可以在這個框架基礎(chǔ)上，探索更多任務(wù)領(lǐng)域中監(jiān)督學(xué)習(xí)與強化學(xué)習(xí)的最優(yōu)結(jié)合方式。

從方法論的角度來說，這項研究展示了大規(guī)模實驗在AI研究中的重要性。許多之前的研究由于實驗規(guī)模有限，可能得出了局部正確但全局錯誤的結(jié)論。這提醒研究界，在資源允許的情況下，應(yīng)該進行更大規(guī)模、更全面的實驗驗證。

更深層次上，這項研究揭示了AI學(xué)習(xí)過程的內(nèi)在規(guī)律。監(jiān)督學(xué)習(xí)提供基礎(chǔ)能力，強化學(xué)習(xí)發(fā)揮探索潛力，兩者的最優(yōu)結(jié)合需要精確的時機把握。這種理解不僅有助于改進當(dāng)前的AI訓(xùn)練方法，也為未來開發(fā)更高效的學(xué)習(xí)算法提供了理論基礎(chǔ)。

說到底，這項研究用科學(xué)的方法回答了AI訓(xùn)練中的一個根本問題：應(yīng)該如何安排模仿學(xué)習(xí)和自主探索的關(guān)系。答案出人意料地簡單而深刻——先讓AI充分學(xué)會模仿，再讓它自由探索，這樣看似保守的策略實際上能夠帶來最好的效果。這個發(fā)現(xiàn)不僅改變了我們對AI學(xué)習(xí)的理解，也為未來開發(fā)更智能的AI系統(tǒng)鋪平了道路。對于每一個關(guān)注AI發(fā)展的人來說，這項研究都值得認(rèn)真思考。它告訴我們，有時候最直接的方法可能就是最有效的方法，而科學(xué)的驗證是找到真理的唯一途徑。

Q&A

Q1：什么是"可塑性-天花板"框架？

A：這是西湖大學(xué)團隊提出的理論框架，將AI的最終性能分解為兩部分：監(jiān)督學(xué)習(xí)性能（通過模仿專家達到的基礎(chǔ)能力）和強化學(xué)習(xí)可塑性（在基礎(chǔ)能力上進一步提升的空間）。就像學(xué)開車一樣，前者是按教練示范完成基本操作的熟練度，后者是通過實際練習(xí)進一步提高的潛力。

Q2：為什么先模仿后探索比邊模仿邊探索效果更好？

A：大規(guī)模實驗表明，同步訓(xùn)練在面對大量數(shù)據(jù)時會出現(xiàn)嚴(yán)重的穩(wěn)定性問題，性能波動是穩(wěn)定方法的2.6倍。而順序訓(xùn)練讓AI先充分掌握基礎(chǔ)知識，再進行自主探索，能建立更堅實的基礎(chǔ)，最終達到更高的性能上限。這就像先把基礎(chǔ)功練扎實，再進行高難度訓(xùn)練一樣。

Q3：如何判斷什么時候從監(jiān)督學(xué)習(xí)轉(zhuǎn)向強化學(xué)習(xí)？

A：研究發(fā)現(xiàn)最佳轉(zhuǎn)換時機是監(jiān)督學(xué)習(xí)的"穩(wěn)定期"，即驗證損失達到最低點并趨于穩(wěn)定時。此時模型已充分掌握訓(xùn)練數(shù)據(jù)中的知識，基礎(chǔ)能力扎實。如果過早轉(zhuǎn)換，基礎(chǔ)不牢固；過晚轉(zhuǎn)換，模型的探索能力會受損。驗證損失可以作為判斷時機的可靠指標(biāo)。