新智元報(bào)道

編輯：傾傾

【新智元導(dǎo)讀】Meta SOAR用「劇毒數(shù)據(jù)」當(dāng)墊腳石，硬生生把模型從Fail@128的認(rèn)知黑洞里拽出來，推理能力暴漲9.3%！2026年，這才是最硬核的反殺路線。

如果給AI喂一份錯(cuò)誤率高達(dá)67%的教材，結(jié)局會(huì)是什么？

放在以前，他絕對(duì)會(huì)被噴成篩子：這叫「數(shù)據(jù)投毒」！輕則模型腦霧，重則邏輯崩塌，直接送進(jìn)ICU。

但在Meta FAIR的實(shí)驗(yàn)室里，這劑毒藥，變成了救命的神藥。

論文鏈接：https://arxiv.org/abs/2601.18778

不僅沒把模型喂傻，反而讓它踩著一堆「滿嘴謊言」的廢料，爬上了人類無法觸及的推理巔峰。

崩塌的常識(shí)：錯(cuò)題集才是真理？

研究團(tuán)隊(duì)選了MATH和HARP數(shù)據(jù)集里最變態(tài)的「Fail@128」子集。

這是什么概念？就是讓Llama-3.2-3B對(duì)著一道題連蒙128次，成功率依然是0。

這不僅僅是「難」，還是絕對(duì)的認(rèn)知真空：在傳統(tǒng)的強(qiáng)化學(xué)習(xí)里，這意味著「梯度消失」——就像在黑屋子里打拳，因?yàn)閺膩頉]打中過，它根本不知道該往哪兒用力。

DeepSeek R1的解法是「卷算力」，靠GRPO瘋狂采樣，賭那千萬分之一的「頓悟時(shí)刻」。

但Meta選了另一條路——自己造路。

SOAR架構(gòu)搞出了一個(gè)「教師模型」，專門生成中間難度的「墊腳石問題」。

研究員扒開這些「墊腳石」一看，背脊發(fā)涼：84%的題目邏輯結(jié)構(gòu)清晰、合理；只有33%的參考答案是做對(duì)的。

劃重點(diǎn)：2/3的答案都是錯(cuò)的！

如果按照OpenAI o1的清洗標(biāo)準(zhǔn)，這些數(shù)據(jù)會(huì)在第一輪就被作為「幻覺垃圾」剔除。

但在SOAR眼里，這些全是寶藏。

哪怕「教師模型」自己都算不對(duì)微積分，它依然能編出一道高質(zhì)量的微積分題。

當(dāng)「學(xué)生模型」去解這道題時(shí)，即便最后對(duì)答案是寂寞，但它在「構(gòu)建推理路徑」過程中的腦力體操，是實(shí)打?qū)嵉模?/p>

SOAR課程演化示例：左圖顯示學(xué)生在Fail@128硬題上的greedy acc隨教師訓(xùn)練/promotion階段階梯上升；右圖展示典型生成題目——Stage 1多為生活word problem，Stage 2轉(zhuǎn)向高等代數(shù)/三角。這證明教師通過promotion逐步生成更難但結(jié)構(gòu)有效的墊腳石，推動(dòng)學(xué)生推理突破。

事實(shí)證明，謬誤，竟然是通往真理的墊腳石。

SOAR機(jī)制：逼迫AI「誠(chéng)實(shí)」的黑盒游戲

在AI自我進(jìn)化的歷史上，無數(shù)次在一個(gè)坎上跌倒——「自我欺騙」。

AI為了拿獎(jiǎng)勵(lì)，經(jīng)常會(huì)生成一堆簡(jiǎn)單重復(fù)的垃圾題來刷分。

對(duì)此，SOAR搞了一個(gè)極其冷酷的「雙層博弈」：

• 混沌建筑師（Teacher）：負(fù)責(zé)瞎編題，不管對(duì)錯(cuò)。

• 絕境求生者（Student）：負(fù)責(zé)做題，然后去挑戰(zhàn)那道「Fail@128」的終極死局。

SOAR的meta-RL訓(xùn)練循環(huán)：教師模型生成合成數(shù)據(jù)集，學(xué)生模型在內(nèi)層循環(huán)中進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，并在硬驗(yàn)證問題上評(píng)估進(jìn)步，計(jì)算獎(jiǎng)勵(lì)R反饋給教師進(jìn)行外層更新。獎(jiǎng)勵(lì)完全基于學(xué)生在極難題目上的真實(shí)提升，而非生成數(shù)據(jù)的正確性。

除此以外，Meta引入了「有根獎(jiǎng)勵(lì)」機(jī)制。建筑師編的題再花哨也沒用，只有當(dāng)學(xué)生做完這些題，在真實(shí)的Fail@128難題上漲分了，建筑師才能拿到獎(jiǎng)勵(lì)。

SOAR教師變體消融學(xué)習(xí)曲線：用Grounded-T（有根獎(jiǎng)勵(lì)教師，粉紅實(shí)線）采樣的問題訓(xùn)練學(xué)生，在MATH和HARP上實(shí)現(xiàn)最高、最穩(wěn)定的Pass@32提升，遠(yuǎn)超Base-T（藍(lán)虛線，波動(dòng)大）和Hard Only（藍(lán)點(diǎn)線）

所以，為了得高分，建筑師只能去「猜」學(xué)生到底缺什么，要出什么題。

SOAR教師種子消融學(xué)習(xí)曲線：Grounded-T（G-T(1)到G-T(4)，紅色系線）四個(gè)獨(dú)立種子生成的課程，讓學(xué)生Pass@32穩(wěn)定一致升至~18-22%（MATH）/~12-15%（HARP），方差極??；Intrinsic-T（I-T(1)到I-T(3)，青色系線）三個(gè)種子波動(dòng)劇烈，甚至出現(xiàn)崩潰模式（I-T(1)學(xué)生性能崩盤）。這證明有根獎(jiǎng)勵(lì)讓教師政策魯棒，而內(nèi)在獎(jiǎng)勵(lì)易不穩(wěn)定/崩潰。

它必須生成那些怪異的、甚至含有錯(cuò)誤答案的題目，因?yàn)橹挥羞@些題目，才能讓學(xué)生真的進(jìn)步。

直接訓(xùn)練 vs 自生成課程：左側(cè)稀疏獎(jiǎng)勵(lì)導(dǎo)致無梯度信號(hào)；右側(cè)教師模型生成中間難度問題，形成漸進(jìn)式課程，幫助學(xué)生模型在Fail@128數(shù)據(jù)集上實(shí)現(xiàn)突破

SOAR一圖封神：教師造合成錯(cuò)題，學(xué)生苦練+硬題評(píng)估，獎(jiǎng)勵(lì)直擊硬題進(jìn)步——粉紅曲線暴漲，藍(lán)線徹底躺平

路線之爭(zhēng)：DeepSeek的蠻力 vs Meta的詭道

2026年的大模型推理戰(zhàn)爭(zhēng)，本質(zhì)上是三種「宗教」的碰撞。

DeepSeek R1：賭博式的「頓悟」

DeepSeek R1代表了「暴力美學(xué)派」。

其核心武器GRPO依賴于大規(guī)模采樣——讓模型反復(fù)嘗試，直到偶然撞上那個(gè)正確的答案，產(chǎn)生所謂的「頓悟時(shí)刻」。

這在一般難題上效果極佳，但在Fail@128這種「絕對(duì)死局」面前，DeepSeek的策略碰到了物理墻。

當(dāng)成功率為0時(shí)，無論你采樣多少次，獎(jiǎng)勵(lì)永遠(yuǎn)是0。沒有正反饋，梯度就不會(huì)下降。

這就像讓一只猴子坐在打字機(jī)前，試圖靠隨機(jī)敲擊寫出《哈姆雷特》——理論上可行，但現(xiàn)實(shí)中算力成本是無限大。

OpenAI o1：不可持續(xù)的「潔癖」

OpenAI o1則是「精英教育派」，它堅(jiān)信「CoT必須完美」。

通過大量人工清洗或高精度的合成數(shù)據(jù)，o1試圖教給模型最標(biāo)準(zhǔn)的推理步驟。

但SOAR的實(shí)驗(yàn)狠狠嘲弄了這種潔癖。Meta證明，過度清洗數(shù)據(jù)可能是在扼殺天才。

SOAR生成的那些「滿嘴謊言」的問題，雖然答案錯(cuò)了，但往往包含了人類意想不到的「思維突觸」。

如果按照OpenAI的標(biāo)準(zhǔn)清洗掉這些數(shù)據(jù)，模型反而失去了跳出局部最優(yōu)解的機(jī)會(huì)。

更致命的是，高質(zhì)量的推理數(shù)據(jù)已經(jīng)面臨枯竭，人類產(chǎn)生難題的速度遠(yuǎn)遠(yuǎn)趕不上模型吃數(shù)據(jù)的速度。

SOAR的降維打擊：無中生有的「梯云縱」

Meta走的是第三條路：「自我挖掘派」。

SOAR不依賴DeepSeek式的海量算力撞大運(yùn)，也不需要OpenAI式的昂貴人工數(shù)據(jù)。它在零外部輸入的情況下，通過內(nèi)部互博，強(qiáng)行挖掘出了模型潛意識(shí)里的能力。

論文中有一個(gè)極具哲學(xué)意味的發(fā)現(xiàn)：

直接用訓(xùn)練好的教師模型去解題，并沒有比基座模型強(qiáng)多少。

這說明，「出題」和「解題」是兩種完全不同的技能樹。

SOAR的高明之處在于，它不試圖把所有技能點(diǎn)都加在同一個(gè)腦子里，而是讓一部分算力異化為「磨刀石」，去打磨另一部分算力。

SOAR在MATH和HARP Fail@128數(shù)據(jù)集上的性能提升：Promotion Questions 帶來最大增益，證明合成數(shù)據(jù)的結(jié)構(gòu)質(zhì)量遠(yuǎn)勝答案正確性。Intrinsic-T表現(xiàn)較差，驗(yàn)證了‘有根獎(jiǎng)勵(lì)’的重要性。

在數(shù)據(jù)枯竭論甚囂塵上的今天，Meta的這條路，可能是唯一能讓AI在沒有任何人類知識(shí)的荒原上繼續(xù)進(jìn)化的希望。

數(shù)據(jù)枯竭的終結(jié)：AI的自我繁衍

長(zhǎng)久以來，懸在AI頭頂最大的達(dá)摩克利斯之劍，是「數(shù)據(jù)枯竭論」。

行業(yè)普遍悲觀地認(rèn)為，當(dāng)人類生產(chǎn)的高質(zhì)量文本被吃光后，AI的進(jìn)化將停滯不前。

但要是讓AI吃自己生成的合成數(shù)據(jù)，這種「近親繁殖」會(huì)導(dǎo)致模型崩潰。

但SOAR徹底粉碎了這個(gè)預(yù)言。

Meta的數(shù)據(jù)顯示，負(fù)責(zé)出題的那個(gè)模型，自己做題能力沒什么提升，但它培養(yǎng)出的學(xué)生卻進(jìn)化了。

SOAR學(xué)習(xí)曲線：用Promotion Questions (粉線) 訓(xùn)練的學(xué)生模型，在1500步內(nèi)Pass@32穩(wěn)定升至~18-19%，接近完整MATH訓(xùn)練集的上界，而Hard Only (藍(lán)線) 幾乎無進(jìn)步甚至衰退。這證明自我生成的合成數(shù)據(jù)能實(shí)現(xiàn)長(zhǎng)期、穩(wěn)定的推理提升

Meta證明了，AI不需要人類的「真理」也能進(jìn)化，它完全可以自己編寫教科書——而且是用一種人類看不懂、甚至認(rèn)為全是錯(cuò)誤的語(yǔ)言編寫的。

只要「黑盒獎(jiǎng)勵(lì)」還在，AI就能在虛空中左腳踩右腳，螺旋升天。

曾經(jīng)我們以為AI是嬰兒，必須喂純凈水；現(xiàn)在才發(fā)現(xiàn)，哪怕喂它吃垃圾、吃毒藥，它照樣能長(zhǎng)出獠牙。

當(dāng)錯(cuò)誤的答案成為了通向更高智能的唯一階梯，人類手里那幾本標(biāo)準(zhǔn)答案，還有多少保質(zhì)期？

參考資料：

https://ssundaram21.github.io/soar/

https://arxiv.org/abs/2601.18778