這項(xiàng)研究由中國人民大學(xué)高嶺人工智能學(xué)院聯(lián)合獨(dú)立研究機(jī)構(gòu)及AweAI團(tuán)隊(duì)共同完成，于2026年4月14日以預(yù)印本形式發(fā)布，論文編號為arXiv:2604.13018。有興趣深入了解的讀者可通過該編號查詢完整論文。

一、從"寫代碼的AI"到"做科研的AI"，這一步有多難？

科研工作在很多人眼里是一項(xiàng)需要高度專注和持續(xù)推進(jìn)的復(fù)雜工作。一位機(jī)器學(xué)習(xí)方向的博士生，拿到一篇論文后，需要先讀懂它，再搭建運(yùn)行環(huán)境，接著動手寫代碼，然后跑實(shí)驗(yàn)、看結(jié)果、發(fā)現(xiàn)問題、修改代碼、再跑……這個(gè)循環(huán)往往持續(xù)好幾天，中間任何一步出了岔子，都可能前功盡棄。

現(xiàn)在，有人想讓AI代替人類完成這整套工作，而且是從頭到尾、不依賴人類干預(yù)，連續(xù)工作幾十個(gè)小時(shí)。這就是這篇論文要解決的問題所在——不是讓AI寫一段代碼，也不是讓AI回答一道題，而是讓AI像一名真正的科研工程師那樣，端到端地完成整個(gè)機(jī)器學(xué)習(xí)研究的復(fù)現(xiàn)與優(yōu)化流程。

中國人民大學(xué)的研究團(tuán)隊(duì)將這類任務(wù)稱為"長周期機(jī)器學(xué)習(xí)研究工程"。他們開發(fā)了一個(gè)叫做AiScientist（以下簡稱"AI科學(xué)家"）的系統(tǒng)，并在兩個(gè)業(yè)界公認(rèn)頗具挑戰(zhàn)性的測試基準(zhǔn)上驗(yàn)證了它的能力。結(jié)果相當(dāng)值得關(guān)注：在第一個(gè)基準(zhǔn)PaperBench上，AI科學(xué)家的平均得分比此前最強(qiáng)的AI基線系統(tǒng)高出10.54分；在第二個(gè)基準(zhǔn)MLE-Bench Lite上，它以81.82%的"獲獎率"超越了所有有記錄的對比系統(tǒng)，其中包括多個(gè)已公開發(fā)布的知名商業(yè)和研究機(jī)構(gòu)系統(tǒng)。

二、讓AI完成科研的四道關(guān)卡：為什么這件事比看起來難得多？

要理解AI科學(xué)家的設(shè)計(jì)思路，首先得明白這項(xiàng)任務(wù)到底難在哪里。研究團(tuán)隊(duì)將挑戰(zhàn)歸納為四個(gè)層面，每一個(gè)單獨(dú)拿出來都不簡單，而它們疊加在一起，就構(gòu)成了一道極為復(fù)雜的難題。

第一道關(guān)卡是"信息不全"。現(xiàn)實(shí)中，一篇機(jī)器學(xué)習(xí)論文往往不是一份完整的操作手冊。作者可能只寫了主要思路，很多實(shí)現(xiàn)細(xì)節(jié)散落在各個(gè)章節(jié)，甚至完全沒有提及。AI必須像一個(gè)經(jīng)驗(yàn)豐富的工程師一樣，從不完整的描述中推斷出缺失的決策，必要時(shí)還得查閱相關(guān)文獻(xiàn)或公開資源來補(bǔ)全。

第二道關(guān)卡是"環(huán)境搭建負(fù)擔(dān)"。光有算法還不夠。要讓代碼真正跑起來，需要配置運(yùn)行環(huán)境、下載數(shù)據(jù)集、獲取預(yù)訓(xùn)練模型，并將所有這些資源拼接成一個(gè)可運(yùn)行的完整系統(tǒng)。這部分工作在實(shí)際工程中常常耗時(shí)最多，卻最容易被忽視。

第三道關(guān)卡是"延遲反饋"。AI提交的代碼不會立即報(bào)告"這里有一個(gè)邏輯錯誤"。真正的信息要等到實(shí)驗(yàn)跑完才能看到：結(jié)果對不上論文中的數(shù)字，但是到底是哪里出了問題——是數(shù)據(jù)預(yù)處理、模型結(jié)構(gòu)、超參數(shù)設(shè)置，還是環(huán)境配置——很難一眼判斷。AI必須在這種模糊的反饋中做出合理的判斷。

第四道關(guān)卡是"狀態(tài)連續(xù)性"。每一輪實(shí)驗(yàn)都會產(chǎn)生代碼、日志、結(jié)果、診斷記錄。下一輪工作必須正確理解并建立在前一輪的基礎(chǔ)之上。如果AI每次都"忘記"之前做了什么、發(fā)現(xiàn)了什么，它就會一直在原地打轉(zhuǎn)，反復(fù)踩同樣的坑。

正是第四個(gè)挑戰(zhàn)，成為了AI科學(xué)家整個(gè)設(shè)計(jì)哲學(xué)的核心出發(fā)點(diǎn)。

三、"薄控制、厚狀態(tài)"：一套聽起來奇怪但非常有效的工作方式

研究團(tuán)隊(duì)用一句話概括了AI科學(xué)家的設(shè)計(jì)核心："薄控制，厚狀態(tài)"。這句話乍聽有些抽象，但用一個(gè)具體的比方來理解就清晰多了。

假設(shè)你是一個(gè)大型建筑項(xiàng)目的總監(jiān)。你不可能親自去工地搬磚、測量、焊接，但你需要知道每棟樓蓋到什么階段了，下一步應(yīng)該安排哪個(gè)專業(yè)隊(duì)進(jìn)場。你的管理方式是：讓每個(gè)專業(yè)隊(duì)把工作記錄寫在一個(gè)共享的項(xiàng)目文件夾里，你通過翻閱這個(gè)文件夾上的目錄（而不是每一份詳細(xì)記錄）來做決策。需要看具體情況時(shí)，你再去翻對應(yīng)的文件。

這里，"薄控制"說的就是你這個(gè)總監(jiān)——他對每件事只需要了解概要，不需要把所有細(xì)節(jié)裝進(jìn)自己腦子里。"厚狀態(tài)"說的就是那個(gè)共享文件夾——它積累了所有真實(shí)的工作記錄、設(shè)計(jì)圖紙、問題診斷，是整個(gè)項(xiàng)目真正的"記憶"所在。

AI科學(xué)家正是按照這個(gè)邏輯構(gòu)建的。系統(tǒng)的頂層有一個(gè)"指揮官"（Orchestrator），它不需要隨時(shí)掌握所有細(xì)節(jié)，只需要知道項(xiàng)目走到哪個(gè)階段了，下一步該交給哪個(gè)專業(yè)團(tuán)隊(duì)。真正的工作細(xì)節(jié)——論文分析、代碼、實(shí)驗(yàn)記錄、錯誤日志——都保存在一個(gè)結(jié)構(gòu)化的共享工作區(qū)里，任何專業(yè)代理在需要時(shí)都可以去讀，而不是靠著"上一輪對話的記憶"來續(xù)接工作。

四、"文件即通道"：AI團(tuán)隊(duì)如何不靠聊天傳遞信息

在AI科學(xué)家的工作方式中，有一個(gè)具體的機(jī)制叫做"File-as-Bus"，翻譯過來大約是"以文件為信息通道"。這個(gè)概念是整個(gè)系統(tǒng)的技術(shù)基石，也是它與其他AI系統(tǒng)最顯著的區(qū)別之一。

大部分多智能體系統(tǒng)（也就是由多個(gè)AI代理協(xié)作完成任務(wù)的系統(tǒng)）依賴的是"對話接力"：一個(gè)AI完成一段工作后，把結(jié)論用語言描述給下一個(gè)AI，下一個(gè)AI基于這段描述繼續(xù)工作。這就像打電話傳話——每傳一次，信息就可能失真一次。而且一旦某個(gè)AI的"記憶窗口"裝滿了，之前的信息就會被丟棄，再也無法追溯。

AI科學(xué)家的做法完全不同。它把所有中間成果都以文件形式保存在一個(gè)有權(quán)限管理的共享工作區(qū)里。這個(gè)工作區(qū)被劃分成三個(gè)區(qū)域：一是"論文分析區(qū)"，存放對目標(biāo)論文的結(jié)構(gòu)化理解、關(guān)鍵指標(biāo)、實(shí)現(xiàn)細(xì)節(jié)和存疑之處；二是"提交區(qū)"，存放可運(yùn)行的代碼倉庫，包括環(huán)境配置腳本、資源下載邏輯，以及最終執(zhí)行入口文件；三是"代理工作區(qū)"，存放任務(wù)優(yōu)先級計(jì)劃、實(shí)現(xiàn)日志（只能追加，不能修改）、實(shí)驗(yàn)日志和每次具體實(shí)驗(yàn)的詳細(xì)輸出。

每一個(gè)專業(yè)代理在開始工作時(shí)，不是靠"回憶上一輪對話說了什么"，而是先看一眼整個(gè)工作區(qū)的目錄索引（一個(gè)輕量的"地圖"），然后按需讀取與自己任務(wù)相關(guān)的文件，完成工作后再把結(jié)果寫回對應(yīng)文件。這樣，每一輪工作的成果都真實(shí)地沉淀下來，后續(xù)的代理可以站在前人工作的肩膀上繼續(xù)推進(jìn)，而不是每次都從零開始。

權(quán)限管理也是這套機(jī)制的重要組成部分。每個(gè)專業(yè)代理只能寫它職責(zé)范圍內(nèi)的文件，共享日志只能追加不能覆蓋。這避免了不同代理之間相互干擾，也保證了工作記錄的可追溯性。

五、四個(gè)專家加一個(gè)指揮官：AI科研團(tuán)隊(duì)的內(nèi)部分工

AI科學(xué)家并不是一個(gè)單一的"大腦"，而是一個(gè)由多層次代理組成的協(xié)作團(tuán)隊(duì)。頂層是"指揮官"，中間層是四個(gè)專業(yè)領(lǐng)域的"專家代理"，必要時(shí)每個(gè)專家還可以召喚更專注的"子代理"來處理具體小任務(wù)。

指揮官的職責(zé)是做階段性決策：現(xiàn)在應(yīng)該推進(jìn)哪個(gè)階段的工作，應(yīng)該把任務(wù)交給哪個(gè)專家。它通過閱讀工作區(qū)目錄和各代理返回的簡短摘要來了解項(xiàng)目進(jìn)展，不需要把所有細(xì)節(jié)裝進(jìn)自己的"腦袋"。這種安排使得指揮官的"工作記憶"始終保持輕盈，從而能在整個(gè)幾十小時(shí)的任務(wù)周期內(nèi)持續(xù)穩(wěn)定地發(fā)揮協(xié)調(diào)作用。

專家代理各有分工。"論文理解專家"負(fù)責(zé)讀懂目標(biāo)論文，將其分解為結(jié)構(gòu)、算法、實(shí)驗(yàn)設(shè)計(jì)、基線方法等維度，并將結(jié)果寫入論文分析區(qū)。它可以同時(shí)召喚多個(gè)子代理并行處理不同維度，再匯總成完整的分析文件，供后續(xù)所有代理參考。

"任務(wù)優(yōu)先級專家"則讀取論文分析結(jié)果，識別各項(xiàng)實(shí)現(xiàn)任務(wù)之間的依賴關(guān)系，按照重要性和可行性排列順序，生成一份明確的執(zhí)行計(jì)劃文件。這份文件就是整個(gè)項(xiàng)目實(shí)施階段的"行動綱領(lǐng)"。

"實(shí)現(xiàn)專家"是代碼工作的主力。它有兩種工作模式：當(dāng)系統(tǒng)還沒有可運(yùn)行代碼時(shí)，它從分析文件和執(zhí)行計(jì)劃出發(fā)，從頭搭建整個(gè)代碼倉庫；當(dāng)已經(jīng)有代碼但實(shí)驗(yàn)出了問題時(shí)，它切換到修復(fù)模式，根據(jù)實(shí)驗(yàn)日志中記錄的錯誤，有針對性地修改代碼，并把每次重要的代碼決策記錄在實(shí)現(xiàn)日志中。

"實(shí)驗(yàn)專家"負(fù)責(zé)運(yùn)行代碼、觀察結(jié)果，將實(shí)際產(chǎn)生的指標(biāo)與論文中報(bào)告的目標(biāo)值進(jìn)行對比，記錄差異和問題，并在遇到簡單錯誤（如導(dǎo)入路徑錯誤、配置文件格式問題）時(shí)直接修復(fù)，而將需要深度代碼改動的問題提交給指揮官，由指揮官再次調(diào)度實(shí)現(xiàn)專家處理。

此外，系統(tǒng)還設(shè)有一個(gè)"通用助手接口"，用于處理探索、規(guī)劃或一次性輔助任務(wù)，這些任務(wù)不需要專門的專家流程，但也值得有一個(gè)專門的代理去完成。

六、實(shí)驗(yàn)結(jié)果：兩個(gè)基準(zhǔn)上的表現(xiàn)如何？

研究團(tuán)隊(duì)選擇了兩個(gè)互補(bǔ)的評測基準(zhǔn)來全面考察AI科學(xué)家的能力。

第一個(gè)是PaperBench，由OpenAI參與設(shè)計(jì)，專門用來測試AI從頭復(fù)現(xiàn)頂級機(jī)器學(xué)習(xí)會議論文的能力。任務(wù)規(guī)則非常嚴(yán)格：給AI一篇論文、一個(gè)配有GPU的空白Docker容器和24小時(shí)時(shí)間，不能使用作者的原始代碼，必須自己從零開始搭建、運(yùn)行并得出與論文匹配的實(shí)驗(yàn)結(jié)果。評分維度包括代碼質(zhì)量、能否成功運(yùn)行，以及結(jié)果與論文的吻合程度。這個(gè)基準(zhǔn)出了名地難——此前最好的AI系統(tǒng)只能完成約21%的評分要求，而頂尖的機(jī)器學(xué)習(xí)博士生在48小時(shí)內(nèi)能完成約41%。

AI科學(xué)家在使用Gemini-3-Flash作為底層語言模型時(shí)，平均得分達(dá)到30.52分，比同條件下最強(qiáng)的基線系統(tǒng)高出9.92分；使用GLM-5時(shí)，平均得分達(dá)到33.73分，比最強(qiáng)基線高出11.15分。在20個(gè)不同的論文復(fù)現(xiàn)任務(wù)中，幾乎每一個(gè)任務(wù)上AI科學(xué)家都有明顯提升，其中最顯著的一個(gè)任務(wù)（pinn）在GLM-5下提升了32.99分。

值得特別關(guān)注的是成本對比。此前表現(xiàn)相對較好的"迭代代理"系統(tǒng)（IterativeAgent）在Gemini-3-Flash下每個(gè)任務(wù)平均花費(fèi)27.44美元，而AI科學(xué)家只需15.67美元，卻能取得更高的分?jǐn)?shù)。在GLM-5下差距更懸殊：迭代代理每任務(wù)花費(fèi)54.90美元，AI科學(xué)家只需12.20美元。這說明單純"多做幾輪交互"并不等于更好的結(jié)果，關(guān)鍵在于每一輪交互是否真正建立在之前積累的成果之上。

第二個(gè)基準(zhǔn)是MLE-Bench Lite，這個(gè)基準(zhǔn)更接近Kaggle競賽的形式——AI需要在現(xiàn)有數(shù)據(jù)集上持續(xù)優(yōu)化機(jī)器學(xué)習(xí)方案，爭取在模擬的競賽排行榜上獲得銅牌、銀牌或金牌。主要評估指標(biāo)是"任意獎牌獲取率"（Any Medal%），即在全部測試任務(wù)中，有多少比例能至少獲得一枚獎牌。

在受控對比實(shí)驗(yàn)中，AI科學(xué)家使用兩種底層模型均達(dá)到了81.82%的任意獎牌率，分別比最強(qiáng)對比系統(tǒng)高出4.55和18.18個(gè)百分點(diǎn)。在官方排行榜上，AI科學(xué)家的81.82%超過了所有已公開記錄的系統(tǒng)，其中最高的是75.76%。

圖1展示了一個(gè)具體案例：在"侮辱性言論檢測"這一任務(wù)上，AI科學(xué)家在23小時(shí)內(nèi)自主完成了74輪實(shí)驗(yàn)，將模型的驗(yàn)證集AUC（一種衡量分類模型好壞的指標(biāo)，越接近1越好）從0.903提升到了0.982，期間經(jīng)歷了18次"找到更好方案并保留"的關(guān)鍵節(jié)點(diǎn)，同時(shí)也經(jīng)歷了大量"嘗試無效果而丟棄"的探索過程，全程無需人工干預(yù)。

七、關(guān)鍵機(jī)制驗(yàn)證：去掉"文件通道"會發(fā)生什么？

為了弄清楚AI科學(xué)家的效果到底來自哪里，研究團(tuán)隊(duì)做了一系列對照實(shí)驗(yàn)，重點(diǎn)檢驗(yàn)兩個(gè)問題：去掉"文件即通道"機(jī)制后系統(tǒng)表現(xiàn)如何下降？與更簡單的非層級化代理相比，層級化編排貢獻(xiàn)了多少？

去掉文件即通道機(jī)制的實(shí)驗(yàn)結(jié)果相當(dāng)直觀。在PaperBench上，平均分下降了6.41分；在MLE-Bench Lite上，任意獎牌率下降了31.82個(gè)百分點(diǎn)。后者的下降尤為值得關(guān)注——去掉這個(gè)機(jī)制后，系統(tǒng)仍然能產(chǎn)生有效提交，也還能獲得一些銅牌，但銀牌、金牌這類需要多輪精細(xì)優(yōu)化才能達(dá)到的成績大幅下滑。這個(gè)模式揭示了一個(gè)關(guān)鍵規(guī)律：文件即通道機(jī)制的價(jià)值不在于幫助AI"入門"，而在于幫助它在已經(jīng)有基礎(chǔ)的情況下"持續(xù)進(jìn)步"。換句話說，當(dāng)任務(wù)需要跨越多輪實(shí)驗(yàn)、不斷從之前的診斷中學(xué)習(xí)時(shí)，丟失中間狀態(tài)的代價(jià)就會急劇放大。

與更簡單代理的對比同樣說明了問題。研究團(tuán)隊(duì)將AI科學(xué)家與非層級化的簡單代理（在PaperBench上對應(yīng)BasicAgent，在MLE-Bench Lite上對應(yīng)AIDE）進(jìn)行比較，發(fā)現(xiàn)即使是去掉文件即通道機(jī)制的"殘缺版"AI科學(xué)家，在PaperBench上仍比BasicAgent高出4.74分，在MLE-Bench Lite上的"高于中位數(shù)率"和任意獎牌率也分別高出22.73和9.09個(gè)百分點(diǎn)。這說明層級化編排本身就帶來了獨(dú)立的貢獻(xiàn)，而不是全部效果都來自文件持久化。此前的迭代代理系統(tǒng)盡管比BasicAgent多了更多交互輪次，卻仍然遠(yuǎn)不如AI科學(xué)家（甚至不如去掉文件通道的AI科學(xué)家），進(jìn)一步印證了"更多交互"和"在積累狀態(tài)上的持續(xù)推進(jìn)"是兩件完全不同的事。

八、這項(xiàng)研究告訴我們什么？

歸根結(jié)底，AI科學(xué)家這個(gè)系統(tǒng)傳遞的最核心信息，是對"AI如何做長周期任務(wù)"這一問題的一次重新定性。

研究團(tuán)隊(duì)認(rèn)為，自主長周期機(jī)器學(xué)習(xí)研究工程本質(zhì)上是一個(gè)**系統(tǒng)協(xié)調(diào)問題**，而不僅僅是一個(gè)**局部推理問題**。過去很多人認(rèn)為，只要語言模型足夠強(qiáng)大，給它更多時(shí)間和更多"思考"機(jī)會，它就能自然而然地完成更復(fù)雜的任務(wù)。但這項(xiàng)研究的實(shí)驗(yàn)結(jié)果表明，單純增加交互輪次并不能帶來持續(xù)的進(jìn)步，因?yàn)槊恳惠喰碌墓ぷ魅绻荒芙⒃谥肮ぷ鞯幕A(chǔ)上，就只是在重復(fù)勞動，而不是在積累。

真正讓AI能夠跨越幾十小時(shí)、跨越幾十輪實(shí)驗(yàn)持續(xù)進(jìn)步的，是一套讓"歷史工作成果"始終可訪問、可信賴、可建立的機(jī)制設(shè)計(jì)。文件即通道協(xié)議做到了這一點(diǎn)，而層級化編排則確保了這些積累下來的狀態(tài)能夠被正確地路由給有能力處理它們的專業(yè)代理。

當(dāng)然，這個(gè)系統(tǒng)離人類頂尖研究人員的水平還有距離——在PaperBench上，頂尖機(jī)器學(xué)習(xí)博士生在48小時(shí)內(nèi)能完成約41%的評分要求，而AI科學(xué)家目前達(dá)到的是約33.73%。但這個(gè)差距已經(jīng)比之前任何AI系統(tǒng)小得多，而且研究團(tuán)隊(duì)在這個(gè)方向上的設(shè)計(jì)思路，為進(jìn)一步縮小這一差距提供了一個(gè)清晰可擴(kuò)展的框架。

值得思考的是，隨著這類系統(tǒng)的能力不斷提升，科研流程的加速和民主化可能比我們預(yù)期的更快到來——不僅是頂尖機(jī)構(gòu)，普通研究者也可能借助類似的系統(tǒng)，以更低的成本完成更高質(zhì)量的實(shí)驗(yàn)性研究工作。

對這個(gè)話題有興趣的讀者，可以通過arXiv編號2604.13018查閱完整論文，獲取更多技術(shù)細(xì)節(jié)和實(shí)驗(yàn)數(shù)據(jù)。

Q&A

Q1：AiScientist系統(tǒng)的"文件即通道"機(jī)制是什么意思，為什么重要？

A：文件即通道（File-as-Bus）是指AI科學(xué)家系統(tǒng)中各個(gè)代理不通過對話傳遞信息，而是把所有中間成果（如論文分析、代碼、實(shí)驗(yàn)日志）寫入一個(gè)共享工作區(qū)的文件里，后續(xù)代理直接讀文件來續(xù)接工作。這避免了信息在反復(fù)"傳話"中失真或丟失，使每輪工作都能真正建立在之前積累的基礎(chǔ)上。實(shí)驗(yàn)表明去掉這個(gè)機(jī)制后，MLE-Bench Lite的獲獎率會下降近32個(gè)百分點(diǎn)。

Q2：PaperBench測試的是什么，AI科學(xué)家的表現(xiàn)如何？

A：PaperBench要求AI在24小時(shí)內(nèi)，從一篇機(jī)器學(xué)習(xí)論文出發(fā)，在沒有原始代碼的情況下從零搭建、運(yùn)行并復(fù)現(xiàn)論文的核心實(shí)驗(yàn)結(jié)果。此前最好的AI系統(tǒng)只能完成約21%的評分要求，而頂尖博士生能完成約41%。AI科學(xué)家使用GLM-5模型時(shí)達(dá)到了平均33.73分，比此前最強(qiáng)AI基線高出11.15分，并顯著縮小了與人類博士生的差距。

Q3：AI科學(xué)家系統(tǒng)與其他AI代理系統(tǒng)最大的區(qū)別是什么？

A：最大區(qū)別在于AI科學(xué)家通過"文件即通道"機(jī)制實(shí)現(xiàn)了跨輪次的持久狀態(tài)積累，而不是依賴對話接力傳遞信息。此外，它采用層級化編排，由一個(gè)輕量的指揮官調(diào)度多個(gè)專業(yè)代理（論文理解、任務(wù)規(guī)劃、代碼實(shí)現(xiàn)、實(shí)驗(yàn)執(zhí)行），每個(gè)代理只負(fù)責(zé)自己的領(lǐng)域，避免了單一代理承擔(dān)過多任務(wù)導(dǎo)致的失控問題。兩者共同作用，使系統(tǒng)能在幾十小時(shí)內(nèi)持續(xù)有效地推進(jìn)工作。