這項由騰訊AI實驗室與香港科技大學(xué)（廣州）聯(lián)合開展的研究，以預(yù)印本形式發(fā)布于2026年4月，論文編號為arXiv:2604.18131。有興趣深入了解技術(shù)細節(jié)的讀者，可以通過該編號在arXiv平臺查閱完整原文。

一個讓人有些不舒服的現(xiàn)實：今天的AI"自我進化"，其實是個假象

先拋出一個問題：你有沒有想過，當(dāng)AI公司宣稱他們的智能體（AI Agent，也就是能自主完成任務(wù)的AI）具備"自我學(xué)習(xí)、自我進化"能力時，這究竟意味著什么？

答案可能讓你有些失望。絕大多數(shù)所謂的"自我進化"AI，其實都像一個必須靠老師發(fā)作業(yè)才能學(xué)習(xí)的學(xué)生——沒有老師布置題目、沒有標(biāo)準答案、沒有打分機制，它就什么也學(xué)不了。一旦人類工程師撤走了精心設(shè)計的"獎勵信號"和"任務(wù)流程"，這些AI立刻停止進步，就像斷電的機器。

研究團隊把這個問題說得非常直白：目前的"自我進化"本質(zhì)上是一種幻覺。智能體并沒有真正在自主探索，它們只是在人類預(yù)先鋪好的軌道上跑步而已。

這和人類的學(xué)習(xí)方式截然不同。當(dāng)你搬到一座陌生城市，沒有人給你布置"認識城市"的任務(wù)，也沒有人會在你找到好吃的餐館后給你打個滿分——你只是自然而然地開始逛街、觀察、記錄，慢慢在腦海里建立起一張城市地圖。這種學(xué)習(xí)完全出于內(nèi)驅(qū)力，不依賴任何外部獎勵。

研究團隊想要賦予AI同樣的能力——他們把這種能力稱為"原生主體性"（Native Agency）。簡單說，就是讓AI在沒有任何任務(wù)、沒有任何獎勵的情況下，主動去了解一個陌生環(huán)境，把觀察到的一切整理成有用的知識，等到真正需要完成任務(wù)時，再把這些知識調(diào)出來用。

一、現(xiàn)有方法的困境：人類總是繞不開的那根拐杖

要理解這項研究的價值，需要先看清楚目前AI進化方式的兩條主流路線，以及它們各自的問題所在。

第一條路線可以叫做"經(jīng)驗驅(qū)動進化"。這類方法的運作方式，很像傳統(tǒng)的學(xué)校教育：人類工程師先精心設(shè)計一批題目，再設(shè)計一套打分標(biāo)準，AI反復(fù)做題、拿分、改進。它積累的"經(jīng)驗"就是這些題目-分數(shù)的組合。通過分析這些經(jīng)驗，AI學(xué)會如何在特定任務(wù)上做得更好。這套方法效果不錯，但代價極高——每進入一個新環(huán)境，人類就得重新設(shè)計一套專屬的題目和打分系統(tǒng)。AI表面上在"自我進化"，實質(zhì)上是在讀人類寫的教科書。

第二條路線稍微聰明一些，叫做"對抗進化"。這里不需要人類出題，而是讓兩個AI互相博弈：一個AI（挑戰(zhàn)者）專門負責(zé)出越來越難的題目，另一個AI（解題者）專門負責(zé)解題。通過這種你追我趕的競爭，解題者的能力不斷提升。這個方法減少了人類出題的工作量，但它的問題在于：設(shè)計這個對抗框架本身就需要大量人工，而且AI始終被困在"做練習(xí)題"的循環(huán)里，從來沒有機會真正走出去自由探索世界。

研究團隊把這兩種方式和自己的方法做了對比。他們提出的是第三條路線，叫做"元學(xué)習(xí)驅(qū)動進化"（Meta-Learning-Driven Evolution）。在這個框架下，AI會主動進入一個陌生環(huán)境，像一個好奇的探險家一樣四處觀察，然后把所有觀察壓縮成一份結(jié)構(gòu)化的"世界知識"文檔。這份文檔就像AI自己畫的一張地圖，等到具體任務(wù)來了，AI就拿著這張地圖指路，而不是從頭開始盲目探索。

二、核心突破：如何在沒有老師的情況下，教會AI"探索"這件事本身

這里有一個相當(dāng)棘手的技術(shù)難題。如果AI進化的過程是完全自由、沒有任務(wù)的，那用什么來判斷AI探索得好不好？沒有判斷標(biāo)準，就沒辦法訓(xùn)練。

研究團隊的解法非常巧妙，他們稱之為"基于結(jié)果的獎勵機制"（Outcome-Based Reward）。核心思路是：不直接評價AI的探索過程，而是評價探索結(jié)果的"實用價值"。

具體來說，評價方式是這樣的：讓AI先對某個環(huán)境進行自由探索，生成一份"世界知識"文檔。然后，把這份文檔交給另一個AI去完成一批測試任務(wù)，看看有了這份文檔之后，任務(wù)完成率比沒有文檔時提高了多少。提高得越多，說明這份文檔的質(zhì)量越高，AI的探索就越有價值。

用一個通俗的類比來理解：假設(shè)你要評價一名向?qū)У墓ぷ髻|(zhì)量，不需要全程跟著他觀察他怎么收集信息，只需要在他結(jié)束考察后，讓一批旅行者拿著他寫的旅行指南去游覽，看看旅行者能順利完成行程的比例就夠了。指南越實用，向?qū)У墓ぷ骶驮匠錾?/p>

關(guān)鍵在于，這個獎勵信號只在訓(xùn)練階段使用。訓(xùn)練完成后，AI已經(jīng)內(nèi)化了"如何有效探索"的能力，在實際使用時完全不需要任何外部獎勵或人類指導(dǎo)。

三、訓(xùn)練流程：分兩步教會AI成為合格的探險家

整個訓(xùn)練過程分為兩個階段，兩個階段相互銜接，共同塑造AI的探索能力。

第一階段叫做"監(jiān)督微調(diào)"（SFT）。在這個階段，研究團隊請出了目前最強大的AI之一——Gemini-2.5-Pro——作為"教學(xué)示范者"。他們讓這個頂級AI去探索各種不同的網(wǎng)站，觀察它如何制定探索計劃、如何決定先看哪些頁面、如何把散亂的信息整理成結(jié)構(gòu)化文檔。這些示范過程被完整記錄下來，形成高質(zhì)量的訓(xùn)練數(shù)據(jù)。

在篩選訓(xùn)練數(shù)據(jù)時，研究團隊引入了前面提到的"實用價值"評分機制：讓Gemini-2.5-Pro對每個網(wǎng)站生成三份不同的世界知識文檔，然后分別測試這三份文檔對實際任務(wù)的幫助程度，選出表現(xiàn)最好的那一份作為訓(xùn)練樣本。實驗數(shù)據(jù)顯示，Gemini生成的優(yōu)質(zhì)世界知識，平均能讓基礎(chǔ)AI模型的任務(wù)完成率提高10.72個百分點，充分證明了這些訓(xùn)練數(shù)據(jù)的含金量。

這些訓(xùn)練樣本的體量相當(dāng)驚人：平均每份探索記錄長達374.8步，每步包含的信息量平均高達3322.4個詞語單位，涵蓋了大量網(wǎng)頁觀察和操作動作。通過這批數(shù)據(jù)的訓(xùn)練，基礎(chǔ)模型獲得了初步的探索本能。

第二階段叫做"強化拒絕采樣"（RFT）。經(jīng)過第一階段訓(xùn)練的模型，已經(jīng)具備了基本的探索能力，但仍有提升空間。在第二階段，模型不再模仿老師，而是開始自己練習(xí)：對同一個環(huán)境獨立生成多份世界知識文檔，用實用價值評分篩選出最好的，再用這些高質(zhì)量的自產(chǎn)數(shù)據(jù)繼續(xù)訓(xùn)練自己。這個過程重復(fù)兩輪。

研究團隊沒有采用更常見的強化學(xué)習(xí)算法（如GRPO），原因是這類方法在當(dāng)前場景下計算代價過于高昂——探索一個環(huán)境需要數(shù)百步，每步都需要巨大內(nèi)存，而且每次評估獎勵都需要運行完整的下游任務(wù)測試，訓(xùn)練周期內(nèi)根本無法實時完成。拒絕采樣的方式把生成過程和訓(xùn)練過程分開，大幅降低了計算壓力。

研究團隊用來訓(xùn)練的數(shù)據(jù)集包括600道深度搜索問題，覆蓋20個不同領(lǐng)域的網(wǎng)站，為模型提供了足夠多樣的探索經(jīng)驗。

四、實驗結(jié)果：數(shù)字背后的真實突破

研究團隊選擇了兩個業(yè)內(nèi)公認的網(wǎng)頁操作基準測試來驗證效果，分別是WebVoyager和WebWalker。前者測試AI在具體網(wǎng)站上的信息查找能力，后者覆蓋會議、游戲、組織、教育四個不同領(lǐng)域的網(wǎng)站。為了確保測試的嚴謹性，他們還專門過濾掉了那些AI可以直接用"背誦"的內(nèi)置知識回答的問題，只保留真正需要在線探索才能解答的問題，最終形成了包含1427道題目的評估集。

結(jié)果出乎意料地令人振奮。以Qwen3-30B這個基礎(chǔ)模型為例：在完全沒有世界知識的情況下，它在WebWalker上的平均正確率只有22.04%；而經(jīng)過完整訓(xùn)練（SFT+RFT兩個階段）后，同一個模型生成的世界知識，能把正確率推高到40.91%，提升幅度接近19個百分點。這個數(shù)字不僅遠超基礎(chǔ)水平，甚至超過了用Gemini-2.5-Pro直接生成世界知識的效果（29.85%）——換句話說，經(jīng)過專門訓(xùn)練的學(xué)生，在這項特定任務(wù)上超越了它的老師。

另一個有趣的對照是"未經(jīng)訓(xùn)練的模型直接嘗試探索"的結(jié)果。研究團隊把同樣的探索指令給了未經(jīng)訓(xùn)練的基礎(chǔ)模型，讓它照葫蘆畫瓢去生成世界知識。結(jié)果反而比完全不探索還要糟糕——在WebWalker上的正確率只有19.50%，比不用世界知識的22.04%還低。這說明探索本身是一項需要專門訓(xùn)練的能力：沒有經(jīng)過正確訓(xùn)練的AI，生成的不是有用的地圖，而是一堆把人帶偏的錯誤信息。

除了正確率，研究團隊還測量了AI完成任務(wù)所需的步驟數(shù)。數(shù)據(jù)顯示，有了世界知識，AI完成任務(wù)的平均步驟減少了約17%。這相當(dāng)于你去一座陌生城市辦事，有了一份詳細地圖之后，不需要再漫無目的地繞路，直奔目標(biāo)就好。

五、更驚人的發(fā)現(xiàn)：知識可以"移植"，小模型秒殺大模型

研究中最讓人意外的結(jié)論，來自一個關(guān)于"知識可移植性"的實驗。

研究團隊想驗證一件事：AI生成的世界知識，是否只對生成它的AI自己有用，還是可以拿來給其他AI用？為此，他們把用Seed-OSS-36B或Qwen3-30B生成的世界知識，分別交給了Qwen3-14B、GPT-OSS-120B、Kimi-K2-Turbo和Gemini-2.5-Flash這四個完全不同的模型。

結(jié)論令人信服：世界知識確實具有強烈的通用性。Seed-36B生成的知識，能讓Qwen3-14B的平均準確率在兩個測試領(lǐng)域內(nèi)分別提升18.3%；給Kimi-K2-Turbo使用，正確率更是提升了21%。

更戲劇性的是一個具體對比：Qwen3-14B是一個相對小巧的模型，參數(shù)量只有140億；而Gemini-2.5-Flash則是谷歌推出的旗艦?zāi)Ｐ椭?，在大多?shù)任務(wù)上能力更強。但在獲得了世界知識的加持之后，14B的Qwen3在會議領(lǐng)域網(wǎng)站上取得了35.6%的正確率，而沒有世界知識輔助的Gemini-2.5-Flash只達到了31.3%；在游戲領(lǐng)域，前者30.5%，后者25.7%。一個"小個子"憑借更精準的環(huán)境認知，在特定任務(wù)上超過了參數(shù)量更大的"大塊頭"。

類似的現(xiàn)象在其他模型對比中也出現(xiàn)了：裝備了移植來的世界知識之后，Kimi-K2-Turbo和Gemini-2.5-Flash甚至能超越它們各自未加輔助的"上級版本"Kimi-K2.5和Gemini-2.5-Pro。

這個發(fā)現(xiàn)指向一個很有沖擊力的結(jié)論：在特定環(huán)境下完成任務(wù)時，"知道這個環(huán)境的詳細信息"比"模型本身有多大"更重要。蠻力堆參數(shù)，有時不如一份好地圖。

六、消融實驗與敏感性分析：訓(xùn)練每一步都有意義，知識長度有甜蜜點

研究團隊還做了兩組細節(jié)實驗，驗證訓(xùn)練流程的設(shè)計合理性。

第一組實驗追蹤了模型在不同訓(xùn)練階段的表現(xiàn)變化：從未訓(xùn)練的基礎(chǔ)狀態(tài)，到經(jīng)過第一階段監(jiān)督微調(diào)之后，再到第一輪強化拒絕采樣之后，最后到第二輪強化拒絕采樣之后。實驗覆蓋了會議、游戲、組織、教育四個領(lǐng)域，使用了Qwen3-30B和Seed-OSS-36B兩個骨干模型。

結(jié)果顯示，模型性能隨訓(xùn)練推進呈現(xiàn)出清晰的上升趨勢。第一階段監(jiān)督微調(diào)帶來了最顯著的跳躍，第一輪強化采樣繼續(xù)推動了較大幅度的提升，而第二輪強化采樣的邊際效益相對有限，有時甚至出現(xiàn)輕微波動。這說明扎實的基礎(chǔ)訓(xùn)練（SFT和第一輪RFT）是整個框架效果的核心基礎(chǔ)。

第二組實驗專門研究世界知識的"最佳長度"問題。研究團隊固定使用Qwen3-30B，測試了五種不同長度的世界知識：不用世界知識（0詞）、4000-8000詞、8000-16000詞、16000-32000詞、32000-64000詞，分別在會議類和游戲類網(wǎng)站上評估效果。

規(guī)律非常清晰：從短到中等長度，正確率的提升非常顯著。以游戲網(wǎng)站為例，從4000-8000詞的30.74%跳升到8000-16000詞的39.71%，漲幅將近9個百分點。但繼續(xù)拉長之后，收益開始遞減——從16000-32000詞的41.56%到32000-64000詞，正確率反而略微下滑到40.72%。

原因并不難理解：太短的世界知識無法涵蓋關(guān)鍵信息，等于地圖上少畫了幾條重要的路；太長的世界知識則引入了大量冗余內(nèi)容，反而讓AI在執(zhí)行任務(wù)時分心，把注意力浪費在不相關(guān)的信息上。最優(yōu)區(qū)間大約在8000-32000詞之間，這是信息密度與信息噪聲之間的甜蜜平衡點。

七、實際案例：一道真實問題，兩種截然不同的解題旅程

為了讓抽象的結(jié)論變得具體，研究團隊展示了一個生動的對比案例，問題來自ACL 2024學(xué)術(shù)會議的官方網(wǎng)站：

"ACL 2024會議中，印刷服務(wù)的注冊截止日期與主會場地點更新公告之間，相差幾天？"

沒有世界知識的AI，從網(wǎng)站首頁開始漫無目的地瀏覽。第四步才找到印刷服務(wù)的截止日期（2024年8月9日）。然而，找到場地更新公告的日期卻遇到了麻煩——AI無法定位到那個具體頁面，于是采用了一個危險的做法：根據(jù)歷史規(guī)律推斷，"ACL會議的場地公告通常在注冊截止日前3到6個月發(fā)出"，由此估算出一個2024年2月1日的假設(shè)日期，最終算出190天——錯誤答案。整個過程走了7步。

有了世界知識的AI，在第一步就從文檔里讀到了相關(guān)信息：印刷服務(wù)截止日期是2024年8月9日，場地頁面確實有記錄，但場地更新公告的具體日期沒有在文檔中出現(xiàn)。AI判斷需要去具體頁面查找，直奔相關(guān)鏈接。第二步就找到了場地更新公告的日期（2024年5月5日），計算出正確答案96天。整個過程只用了2步。

兩種結(jié)果，同一臺AI，唯一的區(qū)別是有沒有那份預(yù)先準備好的世界知識地圖。

結(jié)語：參數(shù)大小不再是唯一答案

說到底，這項研究提出的核心問題非常簡單：我們是否一直在用錯誤的方式衡量AI的能力？

長期以來，AI領(lǐng)域幾乎有一個不成文的共識——模型越大，參數(shù)越多，能力就越強。但這項研究用清晰的實驗數(shù)據(jù)說明，至少在"完成特定環(huán)境下的具體任務(wù)"這件事上，"對環(huán)境了解多少"遠比"模型有多大"更重要。

更深層的意義在于，研究團隊展示了一種訓(xùn)練思路的轉(zhuǎn)變：不是教AI如何完成某類特定任務(wù)，而是教AI如何學(xué)習(xí)如何去學(xué)習(xí)。這個能力一旦內(nèi)化，AI就可以自主應(yīng)對任何新環(huán)境，不需要人類為每個環(huán)境單獨設(shè)計訓(xùn)練方案。

當(dāng)然，這項研究目前的驗證范圍主要集中在網(wǎng)頁瀏覽這一類任務(wù)上，世界知識的生成仍然需要相當(dāng)多的計算資源，訓(xùn)練數(shù)據(jù)的覆蓋范圍和多樣性也有進一步擴展的空間。但這些都是工程層面的挑戰(zhàn)，核心方向已經(jīng)得到了充分驗證。

如果你對AI學(xué)習(xí)機制、智能體設(shè)計或者AI與人類學(xué)習(xí)方式的異同感興趣，完整的研究內(nèi)容可以通過arXiv編號2604.18131找到原文，研究團隊也同步開放了代碼、模型和數(shù)據(jù)，供感興趣的讀者進一步探索。

Q&A

Q1：什么是"世界知識"，AI生成的世界知識和人類寫的說明文檔有什么區(qū)別？

A：在這項研究中，"世界知識"是AI自主探索某個網(wǎng)站之后生成的一份結(jié)構(gòu)化Markdown文檔，包含該網(wǎng)站各個頁面的內(nèi)容摘要、鏈接結(jié)構(gòu)和關(guān)鍵信息。與人工撰寫的說明文檔不同，它是AI通過實際抓取和閱讀頁面內(nèi)容后自動提煉的，不依賴人工干預(yù)，且專門針對該網(wǎng)站的具體內(nèi)容，而非通用知識。

Q2：基于結(jié)果的獎勵機制在訓(xùn)練結(jié)束后還會繼續(xù)使用嗎？

A：不會。這個獎勵機制僅在訓(xùn)練階段使用，作為"元學(xué)習(xí)信號"教會模型如何有效探索和整理信息。訓(xùn)練完成后，模型已經(jīng)將這種能力內(nèi)化為參數(shù)，在實際使用時完全不需要任何獎勵信號或外部反饋，直接自主生成世界知識即可。

Q3：WebWalker和WebVoyager測試中小模型超過大模型的結(jié)論，在其他類型任務(wù)上也適用嗎？

A：目前的實驗結(jié)果僅針對網(wǎng)頁信息檢索類任務(wù)進行了驗證。研究團隊也指出，這一結(jié)論的核心前提是"任務(wù)所需的關(guān)鍵信息已被世界知識文檔充分覆蓋"。對于需要復(fù)雜推理、創(chuàng)意生成或跨領(lǐng)域綜合判斷的任務(wù)，模型本身的參數(shù)規(guī)模仍然是重要因素，世界知識帶來的增益幅度可能會有所不同。