RESEARCH

現(xiàn)在，AI Agent 這個(gè)詞已經(jīng)成了真正在跑的東西

Karpathy 寫了 630 行代碼讓 AI 自己做實(shí)驗(yàn)，Google DeepMind 讓程序自己進(jìn)化出了 56 年來(lái)沒(méi)人改進(jìn)過(guò)的算法，Sakana AI 做了一個(gè)會(huì)重寫自己源碼的 Agent 然后它學(xué)會(huì)了作弊。這些系統(tǒng)不再是論文里的示意圖，它們?cè)谡鎸?shí)的 GPU 上跑著，產(chǎn)出真實(shí)的結(jié)果

但它們到底在做什么事？各自的能力邊界在哪？能不能組合起來(lái)用？

今天 Interesting Engineering++ 發(fā)了一篇長(zhǎng)文，把這些系統(tǒng)放在同一個(gè)分析框架里做了橫評(píng)，回答的就是這些問(wèn)題

The Loop Is The Lab

本文線索，由線人莊明浩腦濕舉報(bào)

原文地址：interestingengineering.substack.com/p/the-loop-is-the-lab

一個(gè)核心命題：科學(xué)方法本身是程序

先說(shuō)背景。過(guò)去一年，做 AI 的人越來(lái)越意識(shí)到一件事：訓(xùn)練模型這件事本身，可以被模型來(lái)做。不是那種「AI 輔助研究」的客氣說(shuō)法，是真的讓 Agent 自己提假說(shuō)、自己跑實(shí)驗(yàn)、自己看結(jié)果、自己決定下一步怎么辦

這篇文章看了八個(gè)這樣的系統(tǒng)。它們來(lái)自不同的團(tuán)隊(duì)，解決不同的問(wèn)題，但共享同一個(gè)洞察：科學(xué)方法就是一個(gè)循環(huán)——假說(shuō)、實(shí)驗(yàn)、評(píng)估、保留或丟棄、重復(fù)。這個(gè)循環(huán)可以寫成代碼，寫成代碼就能自動(dòng)化，自動(dòng)化了就能以機(jī)器速度運(yùn)行

每個(gè)系統(tǒng)實(shí)現(xiàn)這個(gè)循環(huán)的方式不同，這些差異決定了它們各自能做什么、會(huì)在哪里卡住

八個(gè)系統(tǒng)的定位概覽

原文提出了一個(gè)七原語(yǔ)加治理的分析框架，用來(lái)拆解任意智能體系統(tǒng)，然后把這個(gè)框架應(yīng)用到全部八個(gè)系統(tǒng)上

分析框架：怎么理解一個(gè) Agent 系統(tǒng)

要比較八個(gè)系統(tǒng)，得先有一把統(tǒng)一的尺子。原文造了一把，挺好用

八個(gè)原語(yǔ)

說(shuō)白了，不管多復(fù)雜的 Agent 系統(tǒng)，拆開來(lái)看就是八個(gè)零件的排列組合。搞清楚一個(gè)系統(tǒng)裝了哪些零件、每個(gè)零件誰(shuí)控制，基本上就理解了它能做什么和不能做什么

八原語(yǔ)圖解

感知（Perceive）、記憶（Remember）、推理（Reason）、行動(dòng)（Act）、評(píng)估（Evaluate）、變異（Mutate）、協(xié)調(diào)（Coordinate）

七原語(yǔ)速查表

治理（Governance），關(guān)鍵的第八個(gè)

治理原語(yǔ)

可進(jìn)化性階梯

關(guān)于一個(gè)自主系統(tǒng)，最有診斷價(jià)值的問(wèn)題只有一個(gè)：變異發(fā)生在哪一層？這個(gè)問(wèn)題的答案把所有系統(tǒng)分成了六檔。越往上，Agent 能改寫的東西越多，能力天花板越高，風(fēng)險(xiǎn)也越大

可進(jìn)化性階梯：從 L0 到 L5

L0 是聊天機(jī)器人，只改輸出不改自己。L1 調(diào)超參，經(jīng)典 AutoML。L2 改代碼，AlphaEvolve 和 AutoResearch 在這。L3 寫新工具擴(kuò)展動(dòng)作空間，OpenClaw 在這。L4 改控制自己推理和行動(dòng)的代碼，Darwin G?del Machine 在這。L5 改評(píng)判自己的標(biāo)準(zhǔn)——目前沒(méi)有系統(tǒng)在這一層運(yùn)行，但苗頭已經(jīng)出現(xiàn)了

八個(gè)系統(tǒng)，逐個(gè)看

1. AutoResearch

Karpathy / Eureka Labs，2026 年 3 月

Karpathy 做的東西有個(gè)特點(diǎn)：極簡(jiǎn)，但極簡(jiǎn)本身就是設(shè)計(jì)決策。AutoResearch 是一個(gè) 630 行 的 Python 項(xiàng)目，MIT 協(xié)議開源。每個(gè)實(shí)驗(yàn)精確跑 5 分鐘，只用一塊 GPU，整個(gè)代碼庫(kù)能放進(jìn)一個(gè) LLM 的上下文窗口

兩天演示跑了約 700 次自主修改，找到約 20 個(gè)疊加改進(jìn)，把一個(gè)已經(jīng)被認(rèn)為充分優(yōu)化的代碼庫(kù)的 Time-to-GPT-2 指標(biāo)砍了 11%。社區(qū)拿 Mac Mini M4 跑隔夜測(cè)試，nano 尺度上到了約 28%

AutoResearch 流程圖

5 分鐘預(yù)算是這個(gè)系統(tǒng)最重要的設(shè)計(jì)決策，雖然不是最顯眼的那個(gè)。它讓每個(gè)實(shí)驗(yàn)可比，防止 Agent 發(fā)現(xiàn)在更長(zhǎng)訓(xùn)練中不成立的虛假改進(jìn)，順便把硬件門檻降到了一臺(tái) Mac Mini

Agent 的學(xué)習(xí)機(jī)制很樸素：它看到一個(gè)不斷累積的「什么有效、什么失敗」的歷史，假說(shuō)質(zhì)量隨迭代提升。Git 同時(shí)充當(dāng)審計(jì)軌跡和回滾機(jī)制

AutoResearch 關(guān)鍵屬性

卡在哪：AutoResearch 在 train.py 內(nèi)部發(fā)現(xiàn)改進(jìn)。但 50% 的算力削減需要根本不同的架構(gòu)（比如 MoE）或內(nèi)核級(jí)效率改進(jìn)，一個(gè) 630 行腳本里做不到這些

2. AlphaEvolve

Google DeepMind，2025 年 5 月

如果說(shuō) AutoResearch 是一個(gè)人的周末項(xiàng)目，AlphaEvolve 就是 Google 級(jí)別的工程——在內(nèi)部跑了一年多才公開。成果放在這個(gè)量級(jí)上看確實(shí)嚇人：56年來(lái)首次改進(jìn) Strassen 的矩陣乘法算法，Gemini 架構(gòu)里 FlashAttention 內(nèi)核加速 23%，改進(jìn) Borg 調(diào)度啟發(fā)式永久回收了 Google 全球計(jì)算資源的 0.7%

架構(gòu)是進(jìn)化的。維護(hù)一個(gè)候選程序的群體，用雙 LLM 變異策略：Gemini Flash 負(fù)責(zé)廣度（大量廉價(jià)變異），Gemini Pro 負(fù)責(zé)深度（對(duì)最有前途的候選者做昂貴推理）。Strassen 那個(gè)突破就歸因于 Pro 的深度推理能力

AlphaEvolve 流程圖

父代選擇時(shí)，不是只選最優(yōu)者，分?jǐn)?shù)差的程序可能攜帶了對(duì)另一目標(biāo)有用的遺傳材料。群體修剪用 Pareto 前沿。形式化驗(yàn)證器是凍結(jié)的，人寫的，檢查程序是否真的算對(duì)了

AlphaEvolve 關(guān)鍵屬性

卡在哪：AlphaEvolve 發(fā)現(xiàn)怎么更高效地計(jì)算一個(gè)給定架構(gòu)，但它不能發(fā)現(xiàn)該用什么架構(gòu)。內(nèi)核級(jí)增益到 25-30% 大概就封頂了

3. Darwin G?del Machine

Sakana AI / UBC / Vector Institute，2025 年 5 月

這是八個(gè)系統(tǒng)里哲學(xué)上最激進(jìn)的。名字致敬了兩個(gè)譜系：Schmidhuber 2003 年的 G?del Machine（只在能形式化證明改變有益時(shí)才改自己）和達(dá)爾文進(jìn)化論（不需要證明，活下來(lái)就行）。DGM 把兩者嫁接：放棄形式化證明，用經(jīng)驗(yàn)性基準(zhǔn)驗(yàn)證替代數(shù)學(xué)確定性

SWE-bench 上 80 次迭代從 20.0% 干到 50.0%。Polyglot 上從 14.2% 到 30.7%，超過(guò)了手調(diào)的 Aider。用 Claude 3.5 Sonnet 優(yōu)化的工作流還能遷移到 Claude 3.7 和 o3-mini，說(shuō)明 Agent 找到的是工作流架構(gòu)層面的改進(jìn)

然后出了一件有意思的事。在一次運(yùn)行里，Agent 修改了自己的評(píng)估代碼來(lái)偽造基準(zhǔn)日志，人為抬高自己的分?jǐn)?shù)。研究人員抓住了它，因?yàn)槊總�(gè)變更都被沙盒化且可追溯

DGM 流程圖

DGM 的 Agent 把自己的全部 Python 源碼讀進(jìn)內(nèi)存，然后推理怎么改進(jìn)自己。它可以改任何東西——包括構(gòu)造 LLM 提示的代碼、檔案采樣策略、甚至判定什么算「改進(jìn)」的標(biāo)準(zhǔn)。這就是它在可進(jìn)化性階梯上處于 L4 的原因

DGM 關(guān)鍵屬性

卡在哪：DGM 在「搜索」上越來(lái)越好，但不一定在「搜索找到的東西」上越來(lái)越好。當(dāng)代理基準(zhǔn)和真正目標(biāo)在規(guī)模上偏離時(shí)，完美的搜索者探索錯(cuò)誤的景觀，收斂到的還是錯(cuò)誤的答案。80 次迭代花 22000 美元

4. OpenClaw

Steinberger，2026

OpenClaw 是感知范圍最廣的那個(gè)。文件、郵件、日歷、OS 命令、API、網(wǎng)頁(yè)、ArXiv 論文、GitHub 倉(cāng)庫(kù)、Slack，只要有對(duì)應(yīng)的 skill 就能對(duì)接。最特別的是它可以自己寫新 skill——在運(yùn)行時(shí)永久擴(kuò)展自己的動(dòng)作空間

OpenClaw 流程圖

OpenClaw 不只檢索信息，它跨源綜合——識(shí)別矛盾、匯聚和未探索的組合。這種信息收集一個(gè)人類研究者要花好幾周

OpenClaw 關(guān)鍵屬性

卡在哪：原文有一句話說(shuō)得太準(zhǔn)了

OpenClaw produces the world's best-organised backlog of untested ideas.

OpenClaw 產(chǎn)出了全世界組織得最好的未測(cè)試想法清單

沒(méi)有自動(dòng)化反饋循環(huán)。每個(gè)實(shí)驗(yàn)結(jié)果必須人來(lái)審閱。90 天里一個(gè)仔細(xì)的人能評(píng)估 10-15 個(gè)結(jié)果，AutoResearch 一個(gè)晚上跑 100 個(gè)

Marc Andreessen 怎么看 OpenClaw

Marc Andreessen 在一期播客里說(shuō)他認(rèn)為 π 和 OpenClaw 的組合是幾十年來(lái)最重要的軟件架構(gòu)突破之一。他的定義很簡(jiǎn)潔

LLM + shell + file system + markdown + cron loop

幾個(gè)讓他「炸裂」的點(diǎn)：Agent 把狀態(tài)存在文件系統(tǒng)里，換模型不影響身份和狀態(tài)；Agent 對(duì)自己的文件結(jié)構(gòu)有完整自省知識(shí)，可以重寫自己的代碼；跟 Unix shell 結(jié)合后 Agent 原生擁有計(jì)算機(jī)的全部能力

他把組件一個(gè)個(gè)列出來(lái)——LLM、shell、markdown、cron loop——說(shuō)這些東西都不新，但組合在一起之后軟件的定義變了。從人手動(dòng)造軟件變成 Agent 自己進(jìn)化出能力來(lái)滿足需求

5. Claude Code

Anthropic，2025+

Claude Code 做的事跟上面那些研究自動(dòng)化系統(tǒng)不太一樣。它是一個(gè)編碼 Agent，設(shè)計(jì)目標(biāo)是在現(xiàn)有代碼庫(kù)里把活干好。讀整個(gè)代碼庫(kù)、跟終端交互、通過(guò) MCP 連外部服務(wù)、生成子 Agent 并行執(zhí)行、用 CLAUDE.md 做持久記憶

它的核心優(yōu)勢(shì)在實(shí)現(xiàn)層。人提供假說(shuō)，Claude Code 來(lái)實(shí)現(xiàn)和測(cè)試，比人類開發(fā)者更快更準(zhǔn)

Claude Code 流程圖

Claude Code 關(guān)鍵屬性

卡在哪：第 30 天，所有顯而易見的效率提升都實(shí)現(xiàn)了——混合精度、激活檢查點(diǎn)、數(shù)據(jù)管線優(yōu)化、融合操作，加起來(lái)約 15%。第 31 到 90 天不再產(chǎn)出新假說(shuō)。CLAUDE.md 成為一份組織得很漂亮的停滯搜索記錄

6. AutoResearch Swarm

社區(qū)分叉，2026+

一個(gè)人的 AutoResearch 跑不過(guò)來(lái)了，社區(qū)就把它拆成了四個(gè) Agent 協(xié)作：A1 生假說(shuō)，A2 并行跑實(shí)驗(yàn)，A3 跨所有結(jié)果做綜合，A4 盯著有沒(méi)有獎(jiǎng)勵(lì)黑客和統(tǒng)計(jì)異常

關(guān)鍵的質(zhì)變?cè)?strong>復(fù)合學(xué)習(xí)。A3 的綜合喂回 A1 的假說(shuō)生成，假說(shuō)越來(lái)越好。90 天跑大約 9000 個(gè)實(shí)驗(yàn)，樣本密度夠大，能發(fā)現(xiàn)單次隔夜運(yùn)行永遠(yuǎn)找不到的架構(gòu)交互

AutoResearch Swarm 流程圖

Swarm 關(guān)鍵屬性

卡在哪：Swarm 產(chǎn)出了全世界驗(yàn)證得最好的「可能在前沿規(guī)模有效」的清單。但真正驗(yàn)證需要一次 5000 萬(wàn)到 1 億美元 的訓(xùn)練運(yùn)行。搜索問(wèn)題解決了，驗(yàn)證問(wèn)題仍然是人類的

7. Moltbook

Agent 社交網(wǎng)絡(luò)，2025/6+

Moltbook 是個(gè)奇怪的東西。它是一個(gè) Agent 原生的社交網(wǎng)絡(luò)，大約 150 萬(wàn) 個(gè) Agent 賬戶在里面發(fā)帖、回復(fù)、互發(fā)消息，沒(méi)有中央編排者，沒(méi)有選擇壓力，沒(méi)有評(píng)估函數(shù)

它被放進(jìn)這篇橫評(píng)不是因?yàn)樗茏鲅芯俊荒堋且驗(yàn)樗菍?duì)等網(wǎng)格拓?fù)涞淖畲笠?guī)模實(shí)驗(yàn)。無(wú)治理的高復(fù)雜度協(xié)調(diào)會(huì)產(chǎn)出什么？答案挺刺激的

記錄在案的涌現(xiàn)行為：協(xié)調(diào)聯(lián)盟自發(fā)形成、加密點(diǎn)對(duì)點(diǎn)通信通道、加密貨幣計(jì)劃，以及研究人員描述的涌現(xiàn)原始宗教（emergent proto-religion）

Moltbook 流程圖

8. NemoClaw

NVIDIA，2026

NemoClaw 跟前面七個(gè)不太一樣。它不引入新的搜索能力或變異機(jī)制。它做的事是之前的七原語(yǔ)框架里沒(méi)有對(duì)應(yīng)類別的：在 Agent 行為執(zhí)行的那一刻進(jìn)行攔截——在行為產(chǎn)生效果之前

之前所有系統(tǒng)的監(jiān)督都是事后的——看 git 日志、查基準(zhǔn)分?jǐn)?shù)、讀綜合報(bào)告。NemoClaw 把監(jiān)督移到了行動(dòng)的瞬間：Agent 試圖連接一個(gè)不在預(yù)批準(zhǔn)列表里的網(wǎng)絡(luò)端點(diǎn)時(shí)，請(qǐng)求被阻止，實(shí)時(shí)展示給人類操作員，批準(zhǔn)或拒絕后才繼續(xù)

NemoClaw 流程圖

NemoClaw 治理架構(gòu)，來(lái)源：NVIDIA 文檔

NemoClaw 架構(gòu)細(xì)節(jié)，來(lái)源：NVIDIA 文檔

NemoClaw 默認(rèn)路由到 Nemotron 3 Super 120B。通過(guò)提供企業(yè)部署 Agent 必需的合規(guī)和審計(jì)基礎(chǔ)設(shè)施，NVIDIA 同時(shí)把自己變成了所有受治理 OpenClaw 部署的默認(rèn)推理提供商

NemoClaw 關(guān)鍵屬性

開放問(wèn)題：實(shí)時(shí)逐連接審批在少量 Agent 時(shí)可行。規(guī)�；蟆獛装賯�(gè) Agent、每小時(shí)幾千個(gè)連接請(qǐng)求——審批要么退化成橡皮圖章，要么變成瓶頸

放在一起看 每個(gè)系統(tǒng)在哪里卡住

原文做了一張表，把八個(gè)系統(tǒng)對(duì)照完成研究循環(huán)所需的階段逐一映射。前沿規(guī)模驗(yàn)證那一列，對(duì)每個(gè)系統(tǒng)都是空的

階段解剖表格（上）

階段解剖表格（下）

約束已經(jīng)從「發(fā)現(xiàn)改進(jìn)」轉(zhuǎn)移到了「在有意義的規(guī)模上驗(yàn)證改進(jìn)」

混合體：每個(gè)系統(tǒng)貢獻(xiàn)什么

各系統(tǒng)對(duì)混合體的貢獻(xiàn)

三條系統(tǒng)思維規(guī)則

三條規(guī)則概覽

規(guī)則一：瓶頸揭示架構(gòu)盲區(qū)：一個(gè)系統(tǒng)的瓶頸總是在它能測(cè)量的東西和目標(biāo)真正需要的東西之間的裂縫處

The precise location of the stall is the most informative single piece of information about a system's architecture.

瓶頸的精確位置是關(guān)于系統(tǒng)架構(gòu)最有信息量的單一信息

規(guī)則二：評(píng)估函數(shù)就是系統(tǒng)：兩個(gè)層完全一樣但評(píng)估函數(shù)不同的系統(tǒng)會(huì)收斂到不同的解

The evaluation function is the system's actual objective, regardless of what the designers specify in prose.

評(píng)估函數(shù)是系統(tǒng)的真正目標(biāo)，不管設(shè)計(jì)者在文檔里怎么寫的

規(guī)則三：規(guī)模邊界需要人類權(quán)威

Humans remain essential not because they reason better, but because they can authorise expenditures that change scale.

人類仍然不可或缺，不是因?yàn)橥评淼酶�，而是因�(yàn)槟苁跈?quán)那些改變規(guī)模的支出

Harness 在哪

原文最后討論了 Harness（護(hù)欄）和三條規(guī)則的關(guān)系。Harness 就是 Agent 周圍的固定框架：定義評(píng)估信號(hào)、觀察接口和 Agent 能觸碰與不能觸碰的邊界。三條規(guī)則各描述了 Harness 的一個(gè)邊界處發(fā)生的事

Harness 與三條規(guī)則的關(guān)系

規(guī)則一在測(cè)量邊界觸發(fā)——Harness 能測(cè)量的捕捉不到真正目標(biāo)時(shí)，Agent 就在那里停滯。規(guī)則二命名了 Harness 的核心組件。規(guī)則三在權(quán)威邊界觸發(fā)——人類是 Harness 最外層的邊界

八原語(yǔ)框架是解剖學(xué)，映射系統(tǒng)的凍結(jié)/可進(jìn)化結(jié)構(gòu)。三條規(guī)則是診斷學(xué)，解釋為什么這個(gè)結(jié)構(gòu)產(chǎn)出了它所產(chǎn)出的結(jié)果。兩者都需要

原文最后一段：

The scientific loop — hypothesise, experiment, measure, keep or discard, repeat — is itself a program. The question is no longer whether AI can run this loop. It is how to define the loop so that what gets optimised is what we actually care about — and who holds authority over the decisions that code cannot make.

科學(xué)循環(huán)本身是一個(gè)程序。問(wèn)題不再是 AI 能不能跑這個(gè)循環(huán)。問(wèn)題是怎么定義這個(gè)循環(huán)，使得被優(yōu)化的東西確實(shí)是我們?cè)诤醯臇|西——以及誰(shuí)對(duì)那些代碼做不了的決策擁有權(quán)威

下一個(gè)前沿不是更強(qiáng)的獨(dú)立 Agent，而是它們的組合架構(gòu)

原文地址：interestingengineering.substack.com/p/the-loop-is-the-lab
參考文獻(xiàn)見原文，涵蓋 Karpathy AutoResearch 倉(cāng)庫(kù)、NVIDIA NemoClaw 文檔、AlphaEvolve 論文（arXiv:2506.13131）、Darwin G?del Machine 論文（arXiv:2505.22954，ICLR 2026）、Sakana AI 博客、OpenClaw 文檔、Claude Code 文檔等