3 月 4 日，螞蟻集團聯(lián)合清華大學(xué)發(fā)布開源強化學(xué)習(xí)訓(xùn)練框架 AReaL v1.0 穩(wěn)定版。該版本主打“Agent 一鍵接入 RL 訓(xùn)練”：不用改代碼，兼容各類 Agent 框架，讓智能體強化學(xué)習(xí)訓(xùn)練開箱即用。

2026 年開年以來，Agent 持續(xù)升溫，以 LangChain、Claude Code、OpenClaw 為代表的智能體框架繁榮發(fā)展，但也暴露出兩大瓶頸。一是接入訓(xùn)練成本高：現(xiàn)有智能體框架接口各異，每接入一個往往需要編寫整套適配代碼。二是 Agent 缺乏持續(xù)進化的能力：多數(shù) Agent 的能力取決于底層模型在訓(xùn)練階段習(xí)得的固定權(quán)重，部署后無法再針對特定場景持續(xù)優(yōu)化，能力上限在交付時便已確定。

AReaL 是首個全異步訓(xùn)推解耦的大模型強化學(xué)習(xí)訓(xùn)練系統(tǒng)，能讓 Agent 在真實任務(wù)交互中獲得反饋、持續(xù)優(yōu)化決策。此次發(fā)布的 v1.0 版本讓任意 Agent 零改造接入 RL 訓(xùn)練成為現(xiàn)實——通過在智能體與訓(xùn)練系統(tǒng)之間加入 Proxy Worker 中轉(zhuǎn)層，開發(fā)者只需修改一個請求地址即可接入訓(xùn)練。

（圖說：AReaL 無縫接入智能體的異步訓(xùn)練架構(gòu)）

以當前大熱的 OpenClaw 為例，開發(fā)者只需在 OpenClaw 配置文件中將 base_url 和 api_key 指向 AReaL 網(wǎng)關(guān)，就能讓自己的 OpenClaw 接入強化學(xué)習(xí)訓(xùn)練。智能體像往常一樣執(zhí)行任務(wù)，用戶周期性給 Agent 完成任務(wù)的情況打分，AReaL 在后臺自動完成訓(xùn)練數(shù)據(jù)的采集與模型的更新，在持續(xù)使用的過程中讓智能體自動進化。

AReaL v1.0 還推出了原生訓(xùn)練引擎 Archon，它是基于 PyTorch 原生能力實現(xiàn)完整的 5D 并行（數(shù)據(jù)并行、流水線并行、張量并行、上下文并行、專家并行），降低了安裝與調(diào)試門檻，同時在訓(xùn)練與推理側(cè)提供多種后端選擇，便于在不同環(huán)境中靈活部署。令人驚訝的是，這樣一個復(fù)雜的分布式系統(tǒng)，從零開始實現(xiàn)到驗證正確性，僅用了 1 人·月的工作量——32 天內(nèi)，累計修改近百萬行代碼完整實現(xiàn)了 Archon 引擎，讓它能訓(xùn)練千億參數(shù) MoE 模型。

創(chuàng)造這一效率奇跡的秘訣在于AReaL集成的一整套AI輔助開發(fā)體系，實現(xiàn)了復(fù)雜工程開發(fā)的高度自動化。

AReaL v1.0 引入的 AI 輔助開發(fā)流程，為開發(fā)者提供了從規(guī)劃、編碼、校驗到 PR 創(chuàng)建的全鏈路支持。尤其是在處理 MoE 并行、內(nèi)存優(yōu)化、算法實現(xiàn)等核心模塊時，專屬的 AI 編程助手會像一位資深專家，在代碼變更時及時出現(xiàn)并提供針對性指導(dǎo)，為每一次代碼變更保駕護航，有效降低了開發(fā)和維護的門檻。AReaL 的 AI 輔助編程不只是提效工具，更能在復(fù)雜基礎(chǔ)設(shè)施工程中承擔(dān)“可交付”的研發(fā)工作，引領(lǐng)了下一代 AI 基礎(chǔ)設(shè)施工程范式的革新。

AReaL 團隊表示，將繼續(xù)圍繞訓(xùn)練引擎、易用性和多模態(tài)智能體訓(xùn)練等方向迭代。目前 AReaL v1.0 的代碼與文檔已在 inclusionAI 社區(qū)開源。

• GitHub 倉庫：https://github.com/inclusionAI/AReaL
• 相關(guān)論文：https://arxiv.org/abs/2505.24298