機(jī)器之心編輯部

2026 開年已兩個(gè)月，Agent 依然是全球最引人注目的 AI 賽道之一。OpenClaw（原 Clawbot）掀起的那波 Agent 熱潮至今仍在發(fā)酵，甚至讓「一人公司」概念第一次真正有了落地的可能性。

就在近日，OpenClaw 超越了 React、Linux，成為 GitHub 上 Star 量最多的非資源/教程類開源軟件項(xiàng)目。

從 Browser Agent 到 Coding Agent，從個(gè)人到企業(yè)級(jí)工作流 Agent，最直觀的感受是：Agent 能做的事越來越多了。

與此同時(shí)，包括 LangChain、Claude Code、OpenClaw 等在內(nèi)，各類運(yùn)行時(shí)框架不斷拓寬智能體的能力邊界，使它們勝任更復(fù)雜的任務(wù)。雖然這些框架賦予了 Agent 更加廣闊的應(yīng)用潛力，但如何讓它們?cè)谡鎸?shí)環(huán)境中持續(xù)提升并形成自我進(jìn)化能力，仍缺乏成熟的體系支撐。

尤其是被寄予厚望、用于支撐 Agent 在復(fù)雜、多輪、長(zhǎng)程任務(wù)中進(jìn)化的強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練，在工程落地上面臨多重阻力，限制了當(dāng)前 Agent 的能力天花板。

AReaL v1.0 的發(fā)布為行業(yè)帶來了積極的信號(hào)：一個(gè)開箱即用的 Agentic RL 訓(xùn)練底座已經(jīng)成形。

由螞蟻和清華大學(xué)聯(lián)合打造的開源強(qiáng)化學(xué)習(xí)框架 AReaL，經(jīng)過近一年的迭代打磨，迎來了里程碑式的穩(wěn)定版本。作為一整套面向 Agent 的開源全異步強(qiáng)化學(xué)習(xí)訓(xùn)練框架，此次最受矚目的進(jìn)展在于讓「Agent 一鍵接入 RL 訓(xùn)練」成為現(xiàn)實(shí)，重新定義了智能體強(qiáng)化學(xué)習(xí)的范式。

• GitHub 倉庫：https://github.com/inclusionAI/AReaL
• 論文：https://arxiv.org/abs/2505.24298

在 Agentic RL 算法系統(tǒng)協(xié)同創(chuàng)新的加持下，AReaL v1.0 可以兼容任意 Agent 框架，僅需修改一個(gè)接口地址即可無縫接入 RL 訓(xùn)練，包括最近火熱的 OpenClaw，極大降低了強(qiáng)化學(xué)習(xí)的訓(xùn)練門檻。不僅如此，AReaL v1.0 還引入了系統(tǒng)化的 AI 輔助開發(fā)體系，并基于深度定制開發(fā)的 PyTorch 原生訓(xùn)練引擎 Archon 實(shí)現(xiàn)了千億 MoE 模型的端到端訓(xùn)練，引領(lǐng)了下一代 AI Infra 工程范式的革新。

零代碼接入 OpenClaw 訓(xùn)練

傳統(tǒng)的 Agent 強(qiáng)化學(xué)習(xí)訓(xùn)練，往往需要開發(fā)者深入理解底層訓(xùn)練框架、修改 Agent 運(yùn)行時(shí)代碼、甚至重構(gòu)整個(gè)數(shù)據(jù)流水線。而 AReaL v1.0 徹底打破了這一壁壘 ——你的 Agent 框架不需要改動(dòng)一行代碼

視頻鏈接：https://mp.weixin.qq.com/s/w3JxlHsI1B4n3OqthaSQ6Q

讓我們用一個(gè)實(shí)際例子來看看這有多簡(jiǎn)單。

完整案例：https://github.com/inclusionAI/AReaL/tree/main/examples/openclaw

第一步：?jiǎn)?dòng) RL 訓(xùn)練服務(wù)

uv run python3 examples/openclaw/train.py --config examples/openclaw/config.yaml

啟動(dòng)后，你會(huì)看到類似這樣的輸出：

(AReaL) Proxy gateway available at http://x.x.x.x:xx

記下這個(gè)網(wǎng)關(guān)地址，它就是連接你的 Agent 與 RL 訓(xùn)練的橋梁。

第二步：配置你的 Agent

我們以 ZeroClaw 為例，它是 OpenClaw 的一個(gè)變體。只需要修改一個(gè)配置文件，將 API 地址指向 AReaL 網(wǎng)關(guān)：

# ~/.zeroclaw/config.tomldefault_provider = "localhost"api_key = "sk-sess-xxxxxxxxxxxx" # 從AReaL獲取

[model_providers.localhost]base_url = "http://

" # AReaL代理網(wǎng)關(guān)地址

就這樣，配置完成。你的 ZeroClaw Agent 現(xiàn)在每一次 LLM 調(diào)用都會(huì)自動(dòng)被記錄，用于強(qiáng)化學(xué)習(xí)訓(xùn)練。

第三步：正常使用你的 Agent

啟動(dòng)智能體，像往常一樣交互：

zeroclaw channel start # 啟動(dòng)Discord/Slack/CLI等任意交互渠道

你可以讓 Agent 寫代碼、查資料、執(zhí)行任務(wù) ——一切照常。在后臺(tái)，AReaL 悄悄記錄著每一次對(duì)話輪次中用于強(qiáng)化學(xué)習(xí)訓(xùn)練的數(shù)據(jù)。

第四步：打分反饋，讓 Agent 進(jìn)化

當(dāng)一個(gè)任務(wù)完成后，給 Agent 的表現(xiàn)打個(gè)分：

python set_reward.py http://

--api-key sk-sess-xxx --reward 1.0

就這么簡(jiǎn)單。AReaL 會(huì)自動(dòng)將這次交互軌跡與獎(jiǎng)勵(lì)信號(hào)打包，送入訓(xùn)練流水線。

當(dāng)收集到足夠的交互軌跡后（由配置中的 batch_size 控制），系統(tǒng)會(huì)自動(dòng)觸發(fā)一次訓(xùn)練迭代，更新模型權(quán)重。更神奇的是：更新后的權(quán)重會(huì)無縫應(yīng)用到后續(xù)的推理請(qǐng)求中。

你的 Agent 仍在訓(xùn)練過程中運(yùn)行，不需要重啟，不需要重新加載模型 —— 它會(huì)在你不知不覺間變得更聰明

架構(gòu)破局：用「異步訓(xùn)練」與「代理網(wǎng)關(guān)」打通 Agent 自我進(jìn)化

AReaL 是怎么做到讓 OpenClaw 自我進(jìn)化的？這里涉及到兩個(gè)核心的架構(gòu)設(shè)計(jì)：「全異步訓(xùn)練」和「代理網(wǎng)關(guān)」。

AReaL 的核心架構(gòu)創(chuàng)新之一在于強(qiáng)化學(xué)習(xí)中的訓(xùn)練、推理完全解耦。推理引擎流式生成軌跡，訓(xùn)練引擎持續(xù)消費(fèi)樣本，兩者在獨(dú)立 GPU 上同時(shí)運(yùn)行。

通過精心設(shè)計(jì)的 PPO 算法修正和陳舊度控制機(jī)制，AReaL 在保證訓(xùn)練穩(wěn)定性的同時(shí)，實(shí)現(xiàn)了 2 倍以上的吞吐提升

這種設(shè)計(jì)在智能體訓(xùn)練場(chǎng)景中有更大的優(yōu)勢(shì) —— 訓(xùn)練引擎異步更新參數(shù)，不會(huì)阻塞智能體的推理，讓你的 OpenClaw 一邊學(xué)習(xí)一邊全力工作

AReaL 的代理網(wǎng)關(guān)和全異步強(qiáng)化學(xué)習(xí)架構(gòu)

為了適配任何智能體框架，AReaL 選擇將「協(xié)議」作為統(tǒng)一標(biāo)準(zhǔn)，設(shè)計(jì)了一個(gè)代理網(wǎng)關(guān)（Proxy Gateway）。這個(gè)網(wǎng)關(guān)提供了 OpenAI/Anthropic API 協(xié)議的推理服務(wù)，會(huì)將所有輸入的請(qǐng)求重定向到本地的推理引擎上（如 SGLang、vLLM）進(jìn)行推理計(jì)算，用起來就像一個(gè)普通的推理服務(wù)。

但是，這個(gè)代理網(wǎng)關(guān)不止有路由的功能 —— 它會(huì)在進(jìn)行推理的同時(shí)，捕獲每一次 LLM 交互中輸入輸出的 Token 級(jí)信息。在這條軌跡結(jié)束后，AReaL 會(huì)將后一步的獎(jiǎng)勵(lì)值進(jìn)行反向傳播，為每一輪的輸入輸出賦予獎(jiǎng)勵(lì)值；最終，將它們導(dǎo)出為獨(dú)立的訓(xùn)練樣本。這樣，早期的決策也能獲得合理的獎(jiǎng)勵(lì)分配，讓模型學(xué)會(huì)「為長(zhǎng)遠(yuǎn)目標(biāo)做出正確的早期選擇」。

傳統(tǒng)方案中，推理時(shí)的文本需要在訓(xùn)練時(shí)重新 tokenize，可能因 tokenizer 配置差異導(dǎo)致 token 序列不一致。AReaL 的獨(dú)立導(dǎo)出方案從根本上避免了這個(gè)問題：推理時(shí)產(chǎn)生的 token IDs 直接被緩存，訓(xùn)練時(shí)原樣使用。發(fā)送給訓(xùn)練引擎進(jìn)行梯度計(jì)算的 tokens 就是推理引擎生成的 tokens，100% 一致。

AReaL 中具體的多輪交互應(yīng)用案例

基于以上的架構(gòu)設(shè)計(jì)，AReaL 能夠支持任意 Agent 框架的訓(xùn)練 —— 無論是 OpenClaw 還是你自己搭建的 Agent，只需要將 API 地址指向 AReaL 的代理網(wǎng)關(guān)，就能自動(dòng)接入強(qiáng)化學(xué)習(xí)訓(xùn)練。

開發(fā)者不用改動(dòng)原有 Agent 代碼或業(yè)務(wù)邏輯，即可開啟 RL 訓(xùn)練流程。這意味著，原本碎片化的 Agent 接口被收斂成了一層標(biāo)準(zhǔn)化的協(xié)議級(jí) RL 入口，讓「任意 Agent 可訓(xùn)」第一次在工程上真正可行

然而，同一個(gè) prompt 可能產(chǎn)生多條不同軌跡（如多次采樣），并且每條軌跡也會(huì)被 AReaL 打散成為多條獨(dú)立的輸入輸出。一個(gè)批次的數(shù)據(jù)之間往往存在大量共享前綴。傳統(tǒng)訓(xùn)練方式對(duì)每條軌跡獨(dú)立計(jì)算，造成大量冗余計(jì)算。

AReaL 為了解決這個(gè)問題，引入了基于 Trie（前綴樹）的序列打包方案：

• 構(gòu)建 Trie 結(jié)構(gòu)：將共享前綴的序列壓縮到同一個(gè)樹結(jié)構(gòu)中
• 樹狀注意力計(jì)算：AReaL-DTA 方法實(shí)現(xiàn)了完整的樹狀注意力 forward-backward 方案，讓共享前綴僅計(jì)算一次

樹狀注意力帶來了顯著的性能提升：單 Worker 訓(xùn)練吞吐最高提升 8.31x，集群整體吞吐最高提升 6.20x，相比于基線方案減少超過 50% 的 GPU 顯存占用

針對(duì) Agentic RL 訓(xùn)練的樹狀注意力實(shí)現(xiàn)圖示，詳細(xì)參考論文：https://arxiv.org/pdf/2602.00482

用 AI 實(shí)現(xiàn)引擎重構(gòu)：AI Infra 的工程范式革新

除了降低 Agent RL 訓(xùn)練的門檻，AReaL v1.0 的發(fā)布還帶來了訓(xùn)練引擎的重磅更新

在大規(guī)模 RL 訓(xùn)練領(lǐng)域，Megatron-LM 是業(yè)界標(biāo)桿。然而，它的依賴安裝需要 Docker 環(huán)境和繁瑣的 C++ 編譯，代碼層層嵌套，難以調(diào)試和擴(kuò)展。團(tuán)隊(duì)一直在思考：能否用 PyTorch 原生 API 實(shí)現(xiàn)同等能力的分布式訓(xùn)練引擎

答案是 AReaL 團(tuán)隊(duì)基于 torchtitan 深度定制的訓(xùn)練引擎 Archon ——一個(gè)支持完整 5D 并行（DP、TP、PP、CP、EP）的 PyTorch 原生訓(xùn)練引擎

• 數(shù)據(jù)并行 (DP)：基于 FSDP2 fully_shard，相比 Megatron 默認(rèn)的數(shù)據(jù)并行進(jìn)一步拆分了模型參數(shù)
• 流水線并行 (PP)：基于 torch.distributed.pipelining，支持ZeroBublePipeline、 1F1B 、 Interleaved1F1B 等調(diào)度方式
• 張量并行 (TP)：基于 DTensor，使用 ColwiseParallel / RowwiseParallel 切分權(quán)重
• 上下文并行 (CP)：基于 Ulysses Sequence Parallelism，通過 all-to-all 分布式處理長(zhǎng)序列
• 專家并行 (EP)：基于 all-to-all + grouped_mm，支持 EP + ETP 2D 分片

令人驚訝的是，這樣一個(gè)復(fù)雜的分布式系統(tǒng)，從零開始實(shí)現(xiàn)到驗(yàn)證正確性，僅用了 1 人?月的工作量——32 天內(nèi)通過累計(jì) 72 萬行代碼修改完整實(shí)現(xiàn)了 Archon 引擎，并驗(yàn)證了它能訓(xùn)練千億參數(shù) MoE 模型。

創(chuàng)造這一效率奇跡的秘訣在于 AreaL 集成的一整套 AI 輔助開發(fā)體系，實(shí)現(xiàn)了復(fù)雜工程開發(fā)的高度自動(dòng)化。

基于 AI 編程的 archon 引擎代碼修改統(tǒng)計(jì)，來源 https://zhuanlan.zhihu.com/p/2003269671630165191

這些駕馭 AI coding 的「武功秘籍」完全開源，讓每位開發(fā)者都能借助「專業(yè)團(tuán)隊(duì)」，在 AReaL 中加速自己的 Agent RL 應(yīng)用開發(fā)：

一是為 AReaL 各核心模塊配置領(lǐng)域?qū)＜?Agents，讓它們具備模塊級(jí)架構(gòu)認(rèn)知，并在代碼修改時(shí)提供上下文相關(guān)的精準(zhǔn)指導(dǎo)。

二是引入以命令驅(qū)動(dòng)的引導(dǎo)式工作流，通過一系列預(yù)設(shè)的一句話指令將常見開發(fā)任務(wù)流程化、標(biāo)準(zhǔn)化，讓開發(fā)范式從「手寫實(shí)現(xiàn)」轉(zhuǎn)向「聲明需求」，由 AI 自動(dòng)完成軟件工程中最常見、最耗時(shí)的運(yùn)維任務(wù)。

三是在真實(shí)開發(fā)場(chǎng)景中，AReaL 提供的特定 Agent 全程自動(dòng)化完成任務(wù)規(guī)劃、代碼生成、自動(dòng)校驗(yàn)到 PR 創(chuàng)建。

AReaL AI Coding Sub-Agents（圖片由 AI 輔助生成）

這套 AI 輔助開發(fā)體系在加速 Archon 引擎落地之外，也釋放出一個(gè)清晰的信號(hào)：AI 輔助編程不僅僅是效率工具，同樣具備了深度參與復(fù)雜系統(tǒng)開發(fā)的真實(shí)生產(chǎn)力。這一「用 AI 造訓(xùn) AI 工具」的工程實(shí)踐，重新定義了效率邊界。

相應(yīng)地，軟件工程的角色分工出現(xiàn)深刻重構(gòu)，人類開發(fā)者可以不用將大量精力耗費(fèi)在具體實(shí)現(xiàn)和重復(fù)性細(xì)節(jié)上，更多地轉(zhuǎn)向「明確需求、設(shè)計(jì)系統(tǒng)」等決策工作。AI 更多地承擔(dān)流程固定、規(guī)則明確的工程落地任務(wù)。

在這樣的范式變革下，原來重工程、重經(jīng)驗(yàn)的 Agentic RL 有望隨著開發(fā)門檻的系統(tǒng)性降低，走向更廣泛的開發(fā)者群體。

結(jié)語

如果說過去一兩年，行業(yè)主要精力放在了教 Agent「怎么做事」上，即通過更好的工具調(diào)用、更復(fù)雜的工作流編排和更精細(xì)的 prompt 工程，讓 Agent 一步步跑通任務(wù)。那么下一階段，「如何讓 Agent 自我進(jìn)化」成為重中之重。

正因?yàn)槿绱?，?RL 為代表的系統(tǒng)化訓(xùn)練從過去的加分項(xiàng)，逐漸成為決定 Agent 能力上限的關(guān)鍵變量。

在這個(gè)重要的轉(zhuǎn)折點(diǎn)，AReaL v1.0 為行業(yè)貢獻(xiàn)了一個(gè)兼具易用性、可靠性和強(qiáng)擴(kuò)展性的開源 Agentic RL 范本：應(yīng)用層保持開放和兼容，輕松接入不同 Agent 框架；引擎層深度優(yōu)化，極致壓榨訓(xùn)練效率和資源利用率。

未來，AReaL 團(tuán)隊(duì)將繼續(xù)在系統(tǒng)組件可用性、Archon 引擎生產(chǎn)效率、AI 輔助開發(fā)能力和 VLM/Omni 模型 Agent 訓(xùn)練等四個(gè)方向發(fā)力，最終打造成為 Agentic AI 時(shí)代的高性能 RL 運(yùn)行時(shí)底座。

當(dāng)訓(xùn)練框架變得足夠簡(jiǎn)單，當(dāng) Agent 的接入方式足夠統(tǒng)一，當(dāng) AI 能夠深度輔助底層系統(tǒng)的開發(fā)工作，Agentic RL 的大規(guī)模落地必將跨越少數(shù)頂尖團(tuán)隊(duì)的門檻，成為更加普及的大眾開發(fā)者利器。這正是「技術(shù)民主化」的核心要旨。

隨著這類高性能底座的日益成熟，Agent 有望加速跨越跑通 Demo 的初級(jí)階段，真正開啟持續(xù)、自主、規(guī)?；M(jìn)化的新階段。