大數(shù)據(jù)文摘出品

一個(gè)不再依賴人類數(shù)據(jù)標(biāo)注的大模型訓(xùn)練框架，它來(lái)了！

由騰訊AI Lab與美國(guó)圣路易斯華盛頓大學(xué)聯(lián)合開(kāi)發(fā)的新框架“R-Zero”，成功展示出大語(yǔ)言模型（LLM）如何靠自己訓(xùn)練自己，不再需要人類提供任務(wù)或答案。

論文地址： https://www.arxiv.org/pdf/2508.05004

這個(gè)突破的核心，是徹底擺脫人類標(biāo)注數(shù)據(jù)的依賴，靠模型之間的博弈，自動(dòng)生成、篩選和吸收新的訓(xùn)練內(nèi)容。

他們用強(qiáng)化學(xué)習(xí)的方法，讓兩個(gè)AI模型互相挑戰(zhàn)、不斷進(jìn)化，從零開(kāi)始構(gòu)建出一個(gè)高質(zhì)量的訓(xùn)練體系。

R-Zero采用的結(jié)構(gòu)，是將一個(gè)基礎(chǔ)模型一分為二，分別扮演“挑戰(zhàn)者”和“解答者”兩個(gè)角色，分別訓(xùn)練，但共同進(jìn)化。

挑戰(zhàn)者的目標(biāo)是設(shè)計(jì)剛好夠難的問(wèn)題，逼迫解答者必須進(jìn)步；而解答者在解決這些問(wèn)題中獲得獎(jiǎng)勵(lì)和提升。

“不是找到答案難，而是提出好問(wèn)題難?！?/strong>顯然，真正稀缺的是“好老師”，而不是“好學(xué)生”。

R-Zero就是通過(guò)自動(dòng)化產(chǎn)生“老師”，讓模型不斷面對(duì)新的、更難的考題，從而不斷突破原有水平。

01 R-Zero的實(shí)驗(yàn)結(jié)果

R-Zero的實(shí)驗(yàn)效果遠(yuǎn)超預(yù)期，尤其是在推理能力方面，不同規(guī)模的開(kāi)源大模型均出現(xiàn)明顯性能躍升。

騰訊測(cè)試了多個(gè)模型家族，包括Qwen3系列和OctoThinker，在基礎(chǔ)模型上僅通過(guò)R-Zero訓(xùn)練，就讓推理能力顯著提升。

例如，Qwen3-4B-Base在數(shù)學(xué)推理測(cè)試中得分平均提升+6.49分；Qwen3-8B-Base在三輪訓(xùn)練后得分也提升了+5.51分。

更重要的是，這種通過(guò)數(shù)學(xué)任務(wù)訓(xùn)練得到的推理能力，可以成功遷移到通用推理任務(wù)上。

在MMLU-Pro和SuperGPQA等通用領(lǐng)域測(cè)試中，Qwen3-4B-Base同樣表現(xiàn)出+7.54分的躍升，說(shuō)明R-Zero訓(xùn)練的不只是技巧，而是底層能力。

甚至在后續(xù)再用傳統(tǒng)標(biāo)注數(shù)據(jù)微調(diào)時(shí)，經(jīng)過(guò)R-Zero預(yù)訓(xùn)練的模型也能表現(xiàn)得更好。

對(duì)企業(yè)而言，R-Zero的“從零數(shù)據(jù)”方式尤其具有吸引力，因?yàn)樵S多垂直行業(yè)領(lǐng)域，壓根沒(méi)有高質(zhì)量的大規(guī)模數(shù)據(jù)集可供使用。

騰訊的這項(xiàng)研究直接繞開(kāi)了數(shù)據(jù)收集、人工標(biāo)注這些最昂貴、最耗時(shí)的流程，變相打破了AI發(fā)展的最大天花板：人類知識(shí)和數(shù)據(jù)的邊界。

02 但問(wèn)題同樣存在

盡管R-Zero在性能上令人振奮，但它也暴露出自我進(jìn)化AI的核心風(fēng)險(xiǎn)：數(shù)據(jù)質(zhì)量的失控。

研究者發(fā)現(xiàn)，隨著挑戰(zhàn)者不斷提出更復(fù)雜的問(wèn)題，解答者給出的“多數(shù)票答案”正確率開(kāi)始下降。

第一輪訓(xùn)練中，自動(dòng)生成數(shù)據(jù)的準(zhǔn)確率為79%，而到第三輪下降至63%。

相比之下，一個(gè)“強(qiáng)大而理想”的大模型如GPT-4，可以保持更高的正確率，這種落差說(shuō)明自我進(jìn)化的過(guò)程可能存在精度塌陷的風(fēng)險(xiǎn)。這是這個(gè)新范式面臨的最大瓶頸。

目前論文成果只是概念驗(yàn)證，要真正做到持續(xù)穩(wěn)定進(jìn)化，不出現(xiàn)性能平臺(tái)期，是接下來(lái)整個(gè)研究社區(qū)要攻克的難關(guān)。

此外，R-Zero目前僅適用于“答案可驗(yàn)證”的任務(wù)，如數(shù)學(xué)推理、科學(xué)問(wèn)答等，其優(yōu)勢(shì)來(lái)自于能夠清晰判斷“對(duì)”與“錯(cuò)”。

那在沒(méi)有“標(biāo)準(zhǔn)答案”的領(lǐng)域怎么辦？比如營(yíng)銷文案、情感寫(xiě)作、摘要生成？

騰訊提出了未來(lái)的一種可能方向：引入第三個(gè)模型角色“驗(yàn)證者”或“評(píng)論員”。

驗(yàn)證者將不再判斷對(duì)錯(cuò)，而是評(píng)價(jià)內(nèi)容的質(zhì)量，從多個(gè)維度給予評(píng)分。

如此一來(lái)，挑戰(zhàn)者繼續(xù)生成題目，解答者負(fù)責(zé)作答，而驗(yàn)證者則提供反饋。三方協(xié)同進(jìn)化，形成更復(fù)雜、更全面的智能結(jié)構(gòu)。

或許會(huì)推動(dòng)AI從“邏輯能力”邁向“主觀判斷”，不僅懂計(jì)算，更懂人類世界的模糊與語(yǔ)境。

注：頭圖AI生成

作者長(zhǎng)期關(guān)注 AI 產(chǎn)業(yè)與學(xué)術(shù)，歡迎對(duì)這些方向感興趣的朋友添加微信Q1yezi，共同交流行業(yè)動(dòng)態(tài)與技術(shù)趨勢(shì)！

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開(kāi)支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！