AI 的「自我制造」 時代正在到來。

如果你用過 Cursor、Copilot、CodeBuddy、Claude Code 這類 LLM Agent 產(chǎn)品，很快就會有這樣的感受：強(qiáng)大的基座模型固然重要，而優(yōu)質(zhì)的智能體才是把模型能力兌現(xiàn)成 “可靠交付” 的關(guān)鍵。

智能體往往通過搭建一套腳手架來實現(xiàn)—— 它包含提示詞設(shè)計、工作流編排、工具設(shè)計、失敗反思機(jī)制、記憶組織方式等關(guān)鍵模塊。正是這套看不見的 “底層架構(gòu)”，決定了智能體的行為模式：在一套成熟的腳手架支撐下，同一個基座模型能按部就班完成復(fù)雜任務(wù)：讀 repo → 跑測試 → 定位失敗 → 輸出最小補(bǔ)?。欢鴵Q一套粗糙的腳手架，模型就可能陷入盲目修改、重復(fù)試錯的困境，甚至越做越偏。

提示詞怎么寫、工作流怎么編排、工具怎么調(diào)用、失敗后如何反思、記憶如何組織 —— 這些智能體腳手架的實現(xiàn)細(xì)節(jié)，直接決定了這個智能體是 “高效助手” 還是 “麻煩制造者”。

但現(xiàn)實是，這些腳手架幾乎全靠手工打磨，這帶來兩方面的問題。

1、成本方面：對于每個細(xì)分領(lǐng)域，都要投入若干智能體研發(fā)工程師長期跟進(jìn)效果，帶來高昂的成本，這阻礙了智能體向更多細(xì)分領(lǐng)域的普及；

2、性能方面：現(xiàn)實場景中，智能體研發(fā)工程師對智能體細(xì)節(jié)優(yōu)化能力良莠不齊，導(dǎo)致無法長期對智能體優(yōu)化做出有效的迭代。一個好的智能體腳手架和差的腳手架的差別很大；例如，測試發(fā)現(xiàn)， SWE-bench Verified 中 37% 的錯誤換個腳手架就能夠被解決。

想象一下：如果 AI 能像人類工程師一樣，從一次次試錯中摸清門道，自己設(shè)計出適配特定領(lǐng)域的智能體，而不是靠人類從零開始搭建 —— 這會不會徹底改變我們使用大模型的方式？

為了探索這種范式的可能性，來自浙大、騰訊等機(jī)構(gòu)的研究者提出了ReCreate框架：它不依賴人類手工設(shè)計，而是讓智能體自主分析交互經(jīng)驗、定位優(yōu)化方向、迭代完善腳手架，最終實現(xiàn) “用智能體構(gòu)建智能體” 的全新范式。

01
核心觀念：從 “看結(jié)果” 到 “學(xué)過程”

傳統(tǒng)方法的致命缺陷，在于把智能體的執(zhí)行過程壓縮成了一個冰冷的性能數(shù)值 —— 就像只看考試分?jǐn)?shù)，卻不管學(xué)生哪個題沒做對、也不管學(xué)生如何思考的，自然無法精準(zhǔn)改進(jìn)。而 ReCreate 的核心洞察是：交互經(jīng)驗里藏著成功與失敗的全部密碼。

智能體在解決任務(wù)時留下的每一步推理、每一次工具調(diào)用、每一次環(huán)境反饋，甚至是那些看似無用的嘗試，都是寶貴的教學(xué)素材。比如在數(shù)據(jù)科學(xué)任務(wù)中，智能體可能會直接用訓(xùn)練集評估模型性能，導(dǎo)致誤以為模型效果很好；在軟件工程任務(wù)中，可能因為提交前的操作順序錯誤，導(dǎo)致生成的補(bǔ)丁為空。這些細(xì)節(jié)，光看最終分?jǐn)?shù)永遠(yuǎn)無法發(fā)現(xiàn)，但恰恰是優(yōu)化腳手架的關(guān)鍵。

ReCreate 的優(yōu)越性，就在于把 “黑箱優(yōu)化” 變成了 “白箱調(diào)試”—— 它不依賴抽象的性能指標(biāo)，而是直接剖析智能體的交互軌跡、執(zhí)行日志和環(huán)境狀態(tài)，從中提煉出可落地的改進(jìn)方案。這就像醫(yī)生不再只看體檢報告上的異常數(shù)值，而是通過完整病歷和癥狀軌跡精準(zhǔn)診斷病因，治療自然更有效。

這里的圖示能直觀展示ReCreate框架的雙循環(huán)結(jié)構(gòu)——Agent在內(nèi)層循環(huán)解決問題，ReCreate-Agent 在外層循環(huán)分析經(jīng)驗并優(yōu)化自身?，F(xiàn)有Agent搜索的方法只依賴于Agent的執(zhí)行分?jǐn)?shù)（Scores），而ReCreate通過分析完整的交互經(jīng)驗（Experience）來找到Agent優(yōu)化的方向。

02
技術(shù)內(nèi)核：Agent as Optimizer的三重設(shè)計

要實現(xiàn)從交互經(jīng)驗到腳手架改進(jìn)的跨越，ReCreate 搭建了一套 “Agent as Optimizer” 的架構(gòu)，靠三個核心組件打通了 “經(jīng)驗提取 - 推理歸因 - 迭代優(yōu)化” 的閉環(huán)：

1、經(jīng)驗存儲與檢索：在海量日志中精準(zhǔn)定位關(guān)鍵線索

智能體的交互數(shù)據(jù)往往龐大且雜亂，直接投喂給 LLM 會造成信息過載。ReCreate 把每一次任務(wù)交互都整理成一系列可檢索的文件，這個文件系統(tǒng)構(gòu)成了ReCreate-Agent的環(huán)境，專門用于檢索和分析軌跡中的證據(jù)。

這個由交互經(jīng)驗構(gòu)成的環(huán)境中還內(nèi)置了證據(jù)檢索器 —— 它會自動索引錯誤、測試失敗、文件操作等關(guān)鍵事件，讓ReCreate-Agent能像偵探查案一樣，從最終結(jié)果反向追溯到問題根源。比如發(fā)現(xiàn)一個任務(wù)失敗了，優(yōu)化器可以直接定位到哪一步工具調(diào)用導(dǎo)致失敗，而不用在海量日志里大海撈針。

2、推理歸因 - 把交互經(jīng)驗轉(zhuǎn)化為精準(zhǔn)改進(jìn)

光有經(jīng)驗還不夠，關(guān)鍵是要把交互經(jīng)驗變成腳手架的 “升級包”。ReCreate 的優(yōu)化器會先通過推理環(huán)節(jié)分析經(jīng)驗：這個失敗是因為缺少某個規(guī)則？還是因為重復(fù)操作沒有自動化？或是工作流程順序錯了？然后通過創(chuàng)造環(huán)節(jié)生成針對性改進(jìn)：需要加規(guī)則就補(bǔ)充約束，需要自動化就創(chuàng)建工具，需要調(diào)整流程就優(yōu)化步驟。

除此之外，ReCreate-Agent還配有“行動路由器”，能根據(jù)成功或失敗的證據(jù)決定修改或創(chuàng)造腳手架的哪個部分 —— 是調(diào)整智能體的規(guī)則流程，還是優(yōu)化推理策略；需要新增工具，還是調(diào)整記憶模式。

例如，在成功案例中，如果ReCreate-Agent發(fā)現(xiàn)可復(fù)用的模式，會自動將其提取為skills，作為后續(xù)任務(wù)的工具和經(jīng)驗；在失敗案例中，ReCreate-Agent發(fā)現(xiàn)缺少某種規(guī)則而導(dǎo)致失敗，則會更新規(guī)則庫，加入可以規(guī)避這類失敗的規(guī)則。

這就像一位精準(zhǔn)的工匠，不會對著作品盲目敲打，而是哪里有問題就針對性修補(bǔ)。

3、分層更新機(jī)制：從個體經(jīng)驗到通用規(guī)律

如果只針對單個任務(wù)優(yōu)化，智能體很容易 “學(xué)死” —— 在這個任務(wù)上表現(xiàn)很好，換個任務(wù)就失靈。ReCreate 的分層更新機(jī)制解決了這個問題：首先收集多個任務(wù)的實例級改進(jìn)建議，再通過領(lǐng)域級更新提煉出通用模式。

比如多個數(shù)據(jù)科學(xué)任務(wù)都出現(xiàn)了 “未劃分驗證集” 的問題，就會把 “必須使用訓(xùn)練 - 驗證分割進(jìn)行評估” 變成通用規(guī)則，而不是只在某個任務(wù)中臨時添加。這樣一來，智能體學(xué)到的就是領(lǐng)域通用知識，而不是單個任務(wù)的 “特化技巧”。

值得注意的是，ReCreate 和同類方法完全不同：它不依賴粗粒度性能指標(biāo)，也不用預(yù)定義模塊池（區(qū)別于現(xiàn)有的ADAS、AgentSquare），更能從 0 開始創(chuàng)建智能體（區(qū)別于只能現(xiàn)有Self-Evolve方法），真正實現(xiàn)了 “經(jīng)驗驅(qū)動的白箱優(yōu)化”。

另外，ReCreate的工具實現(xiàn)方式采用skills，完全可以實現(xiàn)在不同智能體之間的遷移和組合。

03
實驗結(jié)果：小成本，大提升

為驗證 ReCreate 框架的實際效能，研究者在軟件工程（SWE）、數(shù)據(jù)科學(xué)（DS）、數(shù)學(xué)（Math）、數(shù)字助理（Digital）四大核心領(lǐng)域，選取 13 個權(quán)威基準(zhǔn)測試集展開全面評估。實驗不僅對比了傳統(tǒng)手工設(shè)計方案、自進(jìn)化方法及自動化智能體生成技術(shù)，還通過消融實驗、成本分析等多維度驗證。

1、相比于傳統(tǒng)方案，多個領(lǐng)域任務(wù)通過率大幅提升

在所有測試場景中，ReCreate 的平均性能較當(dāng)前最強(qiáng)對比方法提升超 5%，多個核心任務(wù)實現(xiàn)大幅提升：

? 數(shù)據(jù)科學(xué)領(lǐng)域的 NumPy 任務(wù)，通過率從 62% 提升至 77%，解決了數(shù)據(jù)處理中工具調(diào)用不規(guī)范、流程缺失等關(guān)鍵問題；

? 數(shù)學(xué)領(lǐng)域表現(xiàn)尤為突出，代數(shù)任務(wù)通過率從 81.45% 提升至 92.74%，數(shù)論與概率統(tǒng)計任務(wù)更是實現(xiàn) 100% 通過率，展現(xiàn)了對復(fù)雜推理場景的強(qiáng)大適配能力；

? 數(shù)據(jù)科學(xué)下的機(jī)器學(xué)習(xí)子任務(wù)，通過率從 34.32% 提升至 42.88%，成功規(guī)避了模型評估無驗證集、特征工程不規(guī)范等常見陷阱。

2、突破手工腳手架性能壁壘，超越人類專家設(shè)計

長期以來，手工設(shè)計的腳手架被視為領(lǐng)域智能體的通用范式，但ReCreate 憑借經(jīng)驗驅(qū)動的迭代優(yōu)化實現(xiàn)了突破：

? 數(shù)據(jù)科學(xué)領(lǐng)域的 Data Wrangling 任務(wù)，手工方案通過率僅 42.81%，ReCreate 優(yōu)化后達(dá)到 51.94%，成功解決了數(shù)據(jù)清洗、格式轉(zhuǎn)換中的流程混亂問題；

? 可視化任務(wù) Matplotlib 中，ReCreate 將通過率從 78.52% 提升至 85.19%，自動生成的圖表優(yōu)化工具和流程規(guī)范大幅降低了語法錯誤和邏輯偏差。

? 在軟件工程領(lǐng)域的 Django 項目測試中，人類專家設(shè)計的腳手架通過率為 58.29%，而 ReCreate 將這一數(shù)值提升至 60.19%；

3、成本指數(shù)級下降，無需大規(guī)模評估快速收斂

與 ADAS 等依賴預(yù)定義模塊池和大規(guī)模重復(fù)評估的自動化生成方法相比，ReCreate 憑借精準(zhǔn)的經(jīng)驗歸因機(jī)制，實現(xiàn)了成本與性能的平衡：

? 成本較 ADAS 降低 36%-82%，在相同大小的開發(fā)集下，ADAS 單次智能體生成15輪以上的迭代，而 ReCreate 僅需 2 輪開發(fā)集上的迭代即可實現(xiàn)更優(yōu)的性能；

? 迭代效率顯著提升，無需海量任務(wù)試錯，僅通過分析關(guān)鍵交互軌跡就能定位優(yōu)化方向，在 Django 項目中，從初始腳手架到最優(yōu)狀態(tài)僅需 4 個任務(wù)批次的經(jīng)驗積累；

04
進(jìn)一步驗證：消融實驗與分析實驗

1、消融實驗：經(jīng)驗組件的不可替代性

為明確各核心組件的作用，研究者開展了針對性消融實驗，結(jié)果顯示：

? 移除完整交互軌跡后，性能平均下降 8.3%，證明 step-by-step 的推理過程、工具調(diào)用記錄是精準(zhǔn)診斷失敗原因的關(guān)鍵，缺失后無法定位流程順序錯誤、重復(fù)操作等隱性問題；

? 去除執(zhí)行結(jié)果與評估反饋后，性能下降 6.7%，說明任務(wù)執(zhí)行結(jié)果、測試結(jié)果等具象反饋是錨定優(yōu)化方向的核心依據(jù)，缺少后易導(dǎo)致優(yōu)化脫離實際場景；

? 關(guān)閉環(huán)境狀態(tài)訪問后，性能下降 3.2%，驗證了 Docker 沙箱中的代碼庫狀態(tài)、文件系統(tǒng)信息等環(huán)境數(shù)據(jù)，對解決 “提交空補(bǔ)丁”” 文件路徑錯誤 “ 等場景化問題的重要性。

2、領(lǐng)域適配性：不同領(lǐng)域的優(yōu)化路徑差異化展現(xiàn)

ReCreate 在不同領(lǐng)域展現(xiàn)出高度自適應(yīng)的優(yōu)化能力，其行為模式與領(lǐng)域特性深度匹配：

? 軟件工程領(lǐng)域：ReCreate重點優(yōu)化代碼編輯工具與提交流程，自動創(chuàng)建 “方法替換工具”（replace_method.py）等工具，避免手工修改的語法錯誤，同時明確”提交前必須運(yùn)行特定測試” 等流程和記憶；

? 數(shù)據(jù)科學(xué)領(lǐng)域：ReCreate聚焦評估流程規(guī)范與特征工程工具，自動添加多個特征工程skills，把領(lǐng)域內(nèi)可泛化的成功案例提煉成為可復(fù)用的skills；

? 數(shù)字助理領(lǐng)域：ReCreate傾向于進(jìn)行軌跡分析與記憶更新，針對多步驟工具調(diào)用場景優(yōu)化流程順序，挑戰(zhàn)級任務(wù)通過率從 34.05% 提升至 40.29%，復(fù)雜指令理解準(zhǔn)確率顯著提高。

3、推理能力消融：核心能力的決定性作用

ReCreate 的優(yōu)化效果高度依賴 ReCreate-Agent 的推理能力，針對性消融實驗清晰展現(xiàn)了這一核心前提：

? 當(dāng)使用推理能力較弱的 GPT-5-mini 作為 ReCreate-Agent 時，在多數(shù)領(lǐng)域無法超越人類設(shè)計的腳手架。其中軟件工程領(lǐng)域通過率僅 57.09%，數(shù)據(jù)科學(xué)領(lǐng)域 DA-Code 任務(wù)通過率 37.13%，較 Claude-4.5-opus 版本平均下降 8.5%；

? 僅保留初始領(lǐng)域信息、移除 ReCreate-Agent 的推理優(yōu)化環(huán)節(jié)后，除數(shù)學(xué)領(lǐng)域因任務(wù)邏輯相對固定仍有一定表現(xiàn)外，其余領(lǐng)域性能大幅滑坡。數(shù)字助理挑戰(zhàn)級任務(wù)通過率從 40.29% 降至 34.05%，數(shù)據(jù)科學(xué)機(jī)器學(xué)習(xí)任務(wù)從 42.88% 回落至 34.32%，與原始基線持平；

? 采用 Claude-4.5-opus 作為 ReCreate-Agent 時，憑借強(qiáng)大的推理歸因能力，能精準(zhǔn)定位交互軌跡中的各類問題，并轉(zhuǎn)化為針對性優(yōu)化，最終在全領(lǐng)域?qū)崿F(xiàn)對人類設(shè)計腳手架的超越，驗證了強(qiáng)推理能力是 ReCreate 實現(xiàn) “白箱優(yōu)化” 的關(guān)鍵支撐。這說明當(dāng)前最強(qiáng)的模型已經(jīng)可以在設(shè)計Agent這樣的任務(wù)上超越人類了。

4、魯棒性驗證：溫度敏感性與泛化能力測試

? 溫度穩(wěn)定性：在 ReCreate-Agent 的不同采樣溫度（0.0、0.5、1.0）下，平均性能波動不超過 1%，證明前沿大模型的推理能力已足夠支撐穩(wěn)定的智能體優(yōu)化，無需依賴特定的推理方式；

? 泛化能力：通過分層更新機(jī)制，ReCreate 將多個任務(wù)的實例級改進(jìn)提煉為領(lǐng)域通用規(guī)則，在未見過的測試任務(wù)中，性能保持率達(dá) 95% 以上，遠(yuǎn)高于傳統(tǒng)方法的 80%，避免了 “單任務(wù)特化” 陷阱。

更值得關(guān)注的是，在多個Case Study中可以發(fā)現(xiàn)：即使從極其簡陋的初始腳手架開始, ReCreate 也能在交互經(jīng)驗的驅(qū)動下，逐步進(jìn)化出復(fù)雜的工具集、嚴(yán)謹(jǐn)?shù)耐评硪?guī)則和高效的記憶機(jī)制。比如在 Django 任務(wù)中，它會自動創(chuàng)建 “函數(shù)替換”工具，避免手動修改代碼的語法錯誤；還會積累 “提交前必須運(yùn)行特定測試” 的經(jīng)驗記憶，從而降低失敗率。

05
未來啟示：AI 的 “自我制造” 時代正在到來

ReCreate 的價值，核心在于為領(lǐng)域智能體的構(gòu)建提供了一條更務(wù)實的路徑 —— 用經(jīng)驗驅(qū)動的方式解決了手工設(shè)計的痛點。對開發(fā)者而言，這意味著無需投入大量精力從零搭建適配特定領(lǐng)域的腳手架：無論是缺少成熟方案的小眾科研場景，還是需求快速迭代的工業(yè)任務(wù)，只要提供基礎(chǔ)任務(wù)數(shù)據(jù)和環(huán)境，ReCreate 就能自主沉淀規(guī)律、優(yōu)化流程，生成貼合需求的專業(yè)智能體，大幅降低開發(fā)成本和試錯周期。

ReCreate 契合了人類學(xué)習(xí)的本質(zhì)：不是靠他人灌輸?shù)耐昝乐噶睿窃趯嵺`中試錯、在反思中沉淀、在迭代中成長。隨著模型的能力逐漸突破某個邊界，Agent 開始像人類一樣 “從做中學(xué)”，智能體的創(chuàng)造或許將不再是少數(shù)專家的專利，而是Agent自身的本能。這一天，已經(jīng)不再遙遠(yuǎn)。

06
搭建 ReCreate 框架的人

本研究的第一作者郝哲正，現(xiàn)為浙江大學(xué)計算機(jī)學(xué)院2025級博士研究生，研究方向聚焦于 AI Agents 與 LLM RL，導(dǎo)師為陳佳偉研究員。

2023年-2024年，郝哲正曾師從李學(xué)龍、聶飛平教授，在機(jī)器學(xué)習(xí)領(lǐng)域發(fā)表多篇研究工作。2025 年以來，郝哲正從事代碼智能體的研究與構(gòu)建。

本研究的通訊作者為董漢德、陳佳偉。

董漢德，騰訊技術(shù)專家，畢業(yè)于中國科學(xué)技術(shù)大學(xué)，負(fù)責(zé)騰訊CodeBuddy產(chǎn)品大模型研發(fā)。在大模型領(lǐng)域具有豐富的研究和落地經(jīng)驗，包括大模型訓(xùn)練、智能體等細(xì)分領(lǐng)域，谷歌學(xué)術(shù)引用超1500次。當(dāng)下，主要致力于研發(fā)利用AI Agent產(chǎn)品收集到的用戶數(shù)據(jù)訓(xùn)練高質(zhì)量大模型的訓(xùn)練范式。

陳佳偉，浙江大學(xué)計算機(jī)學(xué)院“百人計劃”研究員，博士生導(dǎo)師，于2020年獲得浙江大學(xué)計算機(jī)科學(xué)與技術(shù)博士學(xué)位，曾師從陳純院士、何向南教授，主要致力于推薦系統(tǒng)、大語言模型、智能體等領(lǐng)域的研究，谷歌學(xué)術(shù)引用超5000次，特別是在用戶行為分析與建模方面取得了一系列成果，曾獲SIGIR 2023最佳論文提名獎（CCF-A類）、WSDM 2025最佳論文獎（清華A類），多項成果也在快手、抖音、螞蟻、省公安等企事業(yè)單位落地應(yīng)用，服務(wù)于上億用戶。

Paper: ReCreate: Reasoning and Creating Domain Agents Driven by Experience

Arxiv: https://arxiv.org/pdf/2601.11100

Github: https://github.com/zz-haooo/ReCreate

Huggingface: https://huggingface.co/papers/2601.11100

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。