中大 ×MBZUAI 開源 A?，機(jī)器人控制成本大降。

開放世界機(jī)器人操作一直被大模型算力成本、推理延遲兩大難題卡脖子：千億級(jí) VLM 骨干 + 迭代擴(kuò)散 / 流匹配動(dòng)作頭，讓普通硬件根本跑不動(dòng)實(shí)時(shí)控制。

來自中山大學(xué)、MBZUAI、Spatialtemporal AI 與 ATeam 的團(tuán)隊(duì)直接給出全開源、全透明、自適應(yīng)、高效率的解決方案 ——A?截?cái)嗍揭曈X - 語言 - 動(dòng)作模型，一套預(yù)算感知自適應(yīng)推理方案，同時(shí)加速骨干網(wǎng)絡(luò)與動(dòng)作頭，推理延遲最高降 72%、骨干計(jì)算量砍 76.6%，性能還能打平甚至反超主流基線。

從仿真到真機(jī)、從單臂到多平臺(tái)，A?憑開源全棧跑出 SOTA，徹底打破VLA 模型 “高性能 = 高成本” 的魔咒。

01

行業(yè)痛點(diǎn)：VLA模型很強(qiáng)，

但用不起、跑不動(dòng)

Vision-Language-Action（VLA）已經(jīng)成為通用機(jī)器人操作的主流范式：大尺度視覺語言模型（VLM）把多模態(tài)觀測壓縮為隱式表示，動(dòng)作頭（擴(kuò)散 / 流匹配）再映射為連續(xù)電機(jī)指令，泛化性拉滿。

但落地代價(jià)極其昂貴：

? 為了保證語義理解與可供性推理，模型必須使用數(shù)十億參數(shù)的 VLM 骨干，推理耗時(shí)極長；

? 為了動(dòng)作平滑與精準(zhǔn)，動(dòng)作頭普遍采用擴(kuò)散或流匹配架構(gòu)，需要十?dāng)?shù)輪迭代去噪，算力開銷巨大；

? 現(xiàn)有優(yōu)化大多只針對(duì) VLM 主干，動(dòng)作頭始終是被忽略的瓶頸，即便主干加速，整體延遲依然居高不下；

? 最終結(jié)果是：能跑 SOTA 的 VLA 模型，必須依賴高端計(jì)算集群，普通硬件無法實(shí)現(xiàn)實(shí)時(shí)控制。

團(tuán)隊(duì)總結(jié)出三個(gè)關(guān)鍵觀察，直接戳中效率優(yōu)化核心：

1.軌跡收斂：流匹配軌跡 3 步內(nèi)就鎖定正確模式，后續(xù)迭代收益遞減；

2.動(dòng)作冗余：連續(xù)控制步動(dòng)作平滑變化，只需粗更新；

3.層間耦合：VLM 中間層已包含足夠空間視覺特征，沒必要跑完全層。

一句話：算力只花在“會(huì)改變動(dòng)作”的地方，A?就此誕生。

02

核心設(shè)計(jì)：一套自適應(yīng)框架，

同時(shí)卷性能與效率

A?沒有走 “輕量化重訓(xùn)” 或 “單純剪枝” 的老路，而是從推理全鏈路出發(fā)，提出一套預(yù)算感知、動(dòng)態(tài)退出、層間熱啟動(dòng)的協(xié)同加速方案，在不損失任務(wù)成功率的前提下，實(shí)現(xiàn)效率數(shù)量級(jí)提升。

整體架構(gòu)

A?由 VLM 骨干與動(dòng)作頭組成，VLM提供語義與可供性特征，動(dòng)作頭支持流匹配（FM）與MLP兩種實(shí)現(xiàn)；自適應(yīng)推理方案同時(shí)壓縮骨干計(jì)算量與動(dòng)作頭迭代次數(shù)，兼顧速度與成功率。

圖1：A1模型整體架構(gòu)

1.多出口訓(xùn)練：讓每一層都具備動(dòng)作預(yù)測能力

傳統(tǒng) VLA 只在最后一層輸出動(dòng)作，A?在訓(xùn)練階段就讓 VLM每一層都連接共享動(dòng)作頭，直接監(jiān)督各層輸出的動(dòng)作序列。這一設(shè)計(jì)讓模型在推理時(shí)，可以隨時(shí)在中間層讀取動(dòng)作結(jié)果，為動(dòng)態(tài)早停打下基礎(chǔ)。

2.動(dòng)作一致性早停：算力只花在 “必要的層”

推理時(shí)，模型逐層計(jì)算動(dòng)作，并與上一層結(jié)果做一致性校驗(yàn)。當(dāng)動(dòng)作變化小于閾值時(shí)，直接判定 “特征足夠”，提前終止主干前向。團(tuán)隊(duì)使用余弦相似度、L2 距離等指標(biāo)衡量動(dòng)作穩(wěn)定性，并通過訓(xùn)練集統(tǒng)計(jì)得到分層閾值，在 “節(jié)省算力” 與 “保持精度” 之間取得最優(yōu)平衡。

3.層間截?cái)嗔髌ヅ洌航鉀Q早停帶來的次生瓶頸

動(dòng)態(tài)早停雖然加速了 VLM，但會(huì)讓流匹配動(dòng)作頭在每一層都重復(fù)執(zhí)行完整去噪步驟，反而拖慢速度。為此，團(tuán)隊(duì)提出層間熱啟動(dòng)流匹配：

? 大幅減少單輪去噪步數(shù)（從 10 步降至 2 步）；

? 上一層的動(dòng)作輸出，直接作為下一層去噪的初始值，實(shí)現(xiàn)熱啟動(dòng)；

? 避免從隨機(jī)噪聲重新開始，既保證精度，又把動(dòng)作頭開銷壓到最低。

4.多機(jī)器人泛化訓(xùn)練：開源數(shù)據(jù)也能練出強(qiáng)遷移模型

A?采用兩階段訓(xùn)練：第一階段在大規(guī)模開源機(jī)器人數(shù)據(jù)上預(yù)訓(xùn)練，學(xué)習(xí)通用操作先驗(yàn)；第二階段在真實(shí)機(jī)器人軌跡上微調(diào)，適配不同機(jī)型與場景。

團(tuán)隊(duì)還融合了 15951 條自研真機(jī)數(shù)據(jù)，進(jìn)一步縮小仿真到現(xiàn)實(shí)的差距，讓模型在 Franka、AgiBot、WuJie-Arm等多款機(jī)械臂上都能穩(wěn)定工作。

03

深度解讀：

A?到底解決了VLA的哪些核心痛點(diǎn)？

如果只看加速數(shù)字，很容易低估 A?的價(jià)值。它真正的突破，是重新定義了高效VLA的設(shè)計(jì)范式。

1.第一次實(shí)現(xiàn)主干與動(dòng)作頭聯(lián)合加速

過去的加速方案都是 “單邊優(yōu)化”：要么壓 VLM，要么簡動(dòng)作頭。A?證明，只有協(xié)同優(yōu)化，才能實(shí)現(xiàn)端到端延遲大幅下降。早停降低主干計(jì)算，熱啟動(dòng)流匹配降低動(dòng)作頭迭代，兩者耦合，才把延遲從數(shù)十秒壓到秒級(jí)。

2. 用最小精度損失換取最大效率收益

實(shí)驗(yàn)顯示，即便減少 76.6% 的主干計(jì)算，任務(wù)成功率僅小幅下降。這說明：VLA模型存在極端嚴(yán)重的過計(jì)算，大量深層特征對(duì)機(jī)器人操作來說并非必需。A?用數(shù)據(jù)證實(shí)，動(dòng)態(tài)優(yōu)化不是 “妥協(xié)精度”，而是 “回歸合理計(jì)算”。

3.開源全棧，打破封閉壁壘

當(dāng)前頂尖 VLA 大多依賴閉源數(shù)據(jù)與私有框架，社區(qū)難以復(fù)現(xiàn)。A?全程使用開源數(shù)據(jù)訓(xùn)練，并開放權(quán)重、代碼、數(shù)據(jù)處理流程與評(píng)估腳本，讓小型實(shí)驗(yàn)室與普通開發(fā)者也能搭建高性能、低成本的機(jī)器人控制模型。

04

實(shí)驗(yàn)驗(yàn)證：

從仿真到真機(jī)，全面超越現(xiàn)有開源方案

A?在三類標(biāo)準(zhǔn)場景上完成系統(tǒng)驗(yàn)證，結(jié)果顯示：它在效率上大幅領(lǐng)先，在性能上同樣達(dá)到SOTA。

仿真環(huán)境：高精度與強(qiáng)泛化兼顧

在 LIBERO 長期操作基準(zhǔn)上，A?實(shí)現(xiàn) 96.6% 的平均成功率，在物體操作任務(wù)上接近滿分；在 VLABench 長程推理任務(wù)上，A?超越 π?.5 等模型，展現(xiàn)出優(yōu)秀的語言理解與任務(wù)規(guī)劃能力；在分布偏移更大的LIBERO-Plus 上，A?零射性能達(dá)到 75.3%，顯著優(yōu)于對(duì)比方法，證明其特征具備強(qiáng)泛化性。

表1：LIBERO、VLABench 主流模型成功率對(duì)比，A1取得領(lǐng)先性能。

真實(shí)機(jī)器人：跨平臺(tái)穩(wěn)定執(zhí)行

在 Franka、AgiBot、WuJie-Arm、Dobot-Arm 四款機(jī)械臂上，A?完成放杯子、擺水果、撿膠水、擦桌子、疊積木等一系列日常操作，平均成功率達(dá)到56.7%，明顯高于 π?與 π?.5。尤其在小樣本學(xué)習(xí)場景下，A?能快速適應(yīng)新任務(wù)，表現(xiàn)出極強(qiáng)的實(shí)用潛力。

表2:真機(jī)多平臺(tái)結(jié)果表

RoboChallenge：開源模型登頂

在包含 30 個(gè)復(fù)雜真機(jī)任務(wù)的 RoboChallenge 上，A?在完全開源、無閉源數(shù)據(jù)的條件下，取得 29.00% 的平均成功率，超過 π?、X-VLA、RDT-1B 等一眾開源模型，證明開源路線同樣可以做到頂尖水平。

表3:RoboChallenge 基準(zhǔn)結(jié)果表

效率表現(xiàn)：延遲與計(jì)算量雙降

在最優(yōu)配置下，A?-FM 單回合推理時(shí)間從 37.8 秒降至 10.5 秒，降幅達(dá) 72.3%；A?-MLP最多可減少 76.6% 的主干計(jì)算，依舊保持 92% 以上的成功率；在真機(jī) AgiBot 上，模型計(jì)算量降低 84.6%，操作精度幾乎沒有下降，真正實(shí)現(xiàn) “低成本、高可用”。

表4、5:自適應(yīng)早停效率表

行為可視化：更穩(wěn)定、更魯棒

從任務(wù)執(zhí)行視頻可以直觀看到：對(duì)比模型容易出現(xiàn)物體混淆、夾爪提前閉合、抓取偏移等問題；A?能穩(wěn)定識(shí)別目標(biāo)，動(dòng)作連貫，在長程任務(wù)中依然保持高可靠性。同時(shí)，動(dòng)態(tài)推理可視化顯示：簡單移動(dòng)在淺層即可退出，復(fù)雜操作才進(jìn)入深層，算力分配高度智能。

圖2：任務(wù)執(zhí)行對(duì)比

圖3：真機(jī)動(dòng)態(tài)推理可視化

05

局限與未來

A?打開的下一代VLA研究方向

盡管 A?在效率與性能上取得顯著突破，團(tuán)隊(duì)仍清晰指出當(dāng)前方案的改進(jìn)空間，并為后續(xù)研究指明方向。

第一，當(dāng)前預(yù)訓(xùn)練依賴帶標(biāo)注的可供性數(shù)據(jù)，未來可引入無監(jiān)督或自監(jiān)督方法，從海量機(jī)器人視頻與交互數(shù)據(jù)中自動(dòng)挖掘可供性先驗(yàn)，進(jìn)一步擴(kuò)大數(shù)據(jù)來源。

第二，A?以模仿學(xué)習(xí)為基礎(chǔ)，在長程任務(wù)中仍存在累積誤差。后續(xù)可結(jié)合強(qiáng)化學(xué)習(xí)，通過環(huán)境實(shí)時(shí)反饋修正策略，提升復(fù)雜場景下的魯棒性與成功率。

第三，云邊推理與機(jī)械臂執(zhí)行之間的同步延遲，仍會(huì)影響操作流暢度。團(tuán)隊(duì)計(jì)劃采用異步執(zhí)行、預(yù)測控制等方式，提升真機(jī)運(yùn)行的順滑度。

第四，A?已成功部署在自研雙臂移動(dòng)平臺(tái)，下一步將重點(diǎn)拓展雙臂協(xié)同、移動(dòng)操作、非結(jié)構(gòu)環(huán)境適應(yīng)等能力，向更通用的家庭與工業(yè)機(jī)器人邁進(jìn)。

06

A?第一次把 “高性能、高效率、全開源” 三件事同時(shí)做到位，用一套簡單優(yōu)雅的自適應(yīng)截?cái)喾桨福?VLA 模型從 “實(shí)驗(yàn)室奢侈品” 拉到 “可落地實(shí)用款”。

從仿真到真機(jī)、從單臂到雙臂、從小樣本到泛化，A?證明：開源透明的研究，完全能打贏閉源方案。

全套代碼、權(quán)重、數(shù)據(jù) pipeline 已開放，機(jī)器人底層玩家可以直接沖了。

論文信息

標(biāo)題：A?: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model

代碼：https://github.com/ATeam

項(xiàng)目頁：https://ATeam.com/en/research/68bc2cde8497d7f238dde690

鏈接：https://arxiv.org/abs/2604.05672

論文作者介紹：

張凱東，中山大學(xué)計(jì)算機(jī)學(xué)院2024級(jí)碩士，本科畢業(yè)于中山大學(xué)智能工程學(xué)院，師從梁小丹教授。研究方向?yàn)榫呱碇悄堋?/p>

張健，穆罕默德·本·扎耶德人工智能大學(xué)（MBZUAI）計(jì)算機(jī)視覺博士生，研究方向?yàn)榫呱碇悄�。分別于2023年和2020年從北京大學(xué)和合肥工業(yè)大學(xué)獲得碩士和學(xué)士學(xué)位。

許镕濤 MBZUAI研究員，無界智慧CTO。中科院自動(dòng)化所多模態(tài)人工智能國重（前模識(shí)國重）博士, 在學(xué)期間曾獲得中科院院長獎(jiǎng)、兩次IEEE旗艦會(huì)議最佳論文提名獎(jiǎng)、國獎(jiǎng)、北京市和中科院優(yōu)秀畢業(yè)生。華中科技大學(xué)數(shù)學(xué)與計(jì)算機(jī)雙學(xué)士學(xué)位。研究方向?yàn)榫呱碇悄芘c機(jī)器人，提出全球首個(gè)基于空間可供性操作大模型A0，曾在銀河通用共同主導(dǎo)全球首個(gè)具身導(dǎo)航大模型NaVid。在頂級(jí)學(xué)術(shù)會(huì)議和期刊(RSS,IRCA,IROS,CVPR,ICCV,ECCV,NeurIPS,ICML,ICLR,AAAI,EMNLP,MICCAI,TPAMI,TIP,TNNLS,TII,TIM,TMM,TCSVT,ISPRS)上共發(fā)表論文80余篇,其中以第一作者或通訊作者發(fā)表論文近40篇，含ESI高被引論文3篇，IEEE Trans封面文章1篇，發(fā)表8次Oral論文。擁有10余項(xiàng)發(fā)明專利，研究成果應(yīng)用于YOLO系列，以及無界智慧、銀河通用、華為、Momenta等多款產(chǎn)品。

梁小丹是中山大學(xué)深圳校區(qū)的教授，同時(shí)也是穆罕默德·本·扎耶德人工智能大學(xué)（MBZUAI）計(jì)算機(jī)視覺系的副教授。她曾是卡內(nèi)基梅隆大學(xué)的項(xiàng)目科學(xué)家，與邢教授合作。

她在視覺語言理解與生成及其在具身人工智能中的應(yīng)用方面發(fā)表了 120 余篇前沿論文，這些論文發(fā)表于該領(lǐng)域最負(fù)盛名的期刊和會(huì)議，谷歌引用量超過 30000 次。

她定期擔(dān)任 ICCV、CVPR、NeurIPS、ICML、ICLR 和 AAAI 等會(huì)議的領(lǐng)域主席，并擔(dān)任 CVPR 2021 的教程主席、 CVPR 2023 的評(píng)審主席。她曾榮獲ACM中國最佳博士論文獎(jiǎng)、CCF 最佳博士論文獎(jiǎng)以及阿里巴巴達(dá)摩院青年學(xué)者獎(jiǎng)。她的研究成果已被應(yīng)用于多家知名人工智能公司（如 Deepseek、聯(lián)想、字節(jié)跳動(dòng)和騰訊）的關(guān)鍵產(chǎn)品中。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。