衡宇 發(fā)自 麥蒿寺
量子位 | 公眾號(hào) QbitAI

就是說(shuō)，這幾天還有哪檔晚會(huì)節(jié)目是沒(méi)有機(jī)器人現(xiàn)身的嗎？

光是過(guò)年全家樂(lè)的央視除夕春晚，就有好幾家具身智能公司的機(jī)器人宣布將亮相。

大廠小廠密集入局，資本追逐、媒體傳播……具身機(jī)器人幾乎成了繼AI大模型后，下一輪科技敘事的中心。

具身機(jī)器人行業(yè)也確實(shí)處在一個(gè)非常有意思的坐標(biāo)點(diǎn)上：

一邊是繁花似錦的視覺(jué)盛宴，各種高難度動(dòng)作頻頻刷屏，讓大眾因?yàn)椤翱匆姟倍_始對(duì)具身智能的未來(lái)深信不疑。

另一邊，充滿了行業(yè)對(duì)“真實(shí)價(jià)值”的迫切期待，大家開始關(guān)心，這些機(jī)器人什么時(shí)候能真正走進(jìn)工廠、處理瑣碎，釋放出實(shí)實(shí)在在的生產(chǎn)力。

這種期待，其實(shí)折射出具身智能正在經(jīng)歷的一場(chǎng)范式演進(jìn)。

機(jī)器人要真正成為生產(chǎn)力，核心含金量終究要落在“自主性”上。目前的“人工輔助”或“單步遙操”在技術(shù)驗(yàn)證階段是合理路徑，也有助于積累數(shù)據(jù)與經(jīng)驗(yàn)。

但如果一個(gè)機(jī)器人在執(zhí)行過(guò)程中頻繁停頓、修正緩慢，人類就不得不高頻次介入，打斷自動(dòng)化流程。

如果每臺(tái)機(jī)器人都需要一個(gè)人類兜底，那……（不講不講.gif）

只有一個(gè)人能同時(shí)監(jiān)管十臺(tái)甚至一百臺(tái)、一千臺(tái)機(jī)器人的時(shí)候，只有每臺(tái)具身機(jī)器人都能在長(zhǎng)時(shí)間任務(wù)中持續(xù)決策、持續(xù)修正、持續(xù)執(zhí)行的時(shí)候，大家密切關(guān)注的具身智能才不是一種空談。

所以不難理解為什么小米的第一個(gè)具身VLA大模型，抓住的是具身機(jī)器人間歇停頓這個(gè)問(wèn)題。

在4.7B參數(shù)規(guī)模下，Xiaomi-Robotics-0實(shí)現(xiàn)80ms推理延遲、30Hz實(shí)時(shí)控制頻率，在消費(fèi)級(jí)顯卡（4090）上就能跑得飛起。

在LIBERO、CALVIN、SimplerEnv等仿真+真實(shí)環(huán)境的主流基準(zhǔn)上，Xiaomi-Robotics-0均刷新SOTA。

And，最重要的事情說(shuō)三遍：

這模型是開源的，開源的，開源的。

解讀Xiaomi-Robotics-0三大技術(shù)創(chuàng)新

為了實(shí)現(xiàn)上述效果，小米在Xiaomi-Robotics-0上做了三項(xiàng)核心技術(shù)創(chuàng)新，分別落在架構(gòu)設(shè)計(jì)、預(yù)訓(xùn)練策略與后訓(xùn)練機(jī)制上。

三部分共同指向一個(gè)目標(biāo)，讓機(jī)器人既能理解復(fù)雜環(huán)境，又能連續(xù)、穩(wěn)定、精準(zhǔn)地執(zhí)行動(dòng)作。

雙腦協(xié)同：用DiT做小腦，一次性生成連續(xù)動(dòng)作塊

首先是架構(gòu)層面的大動(dòng)刀。

小米采用了目前主流的MoT（Mixture-of-Transformers）架構(gòu)，但巧妙地將工作細(xì)分成了“大腦”和“小腦”。

大腦部分是VLM（視覺(jué)語(yǔ)言模型），負(fù)責(zé)全局的看、聽、理解和決策；小腦部分則引入了只有16層的DiT（Diffusion Transformer）架構(gòu)。

這個(gè)設(shè)計(jì)的高明之處在于，大腦輸出的KV cache會(huì)傳遞給小腦，由小腦專門負(fù)責(zé)輸出連續(xù)的動(dòng)作塊，這就改變了動(dòng)作生成的粒度。

傳統(tǒng)離散token方式會(huì)對(duì)連續(xù)動(dòng)作進(jìn)行離散化編碼，精度容易被截?cái)?，軌跡會(huì)有細(xì)微不連續(xù)。

DiT配合流匹配技術(shù)，可以直接生成連續(xù)動(dòng)作向量，動(dòng)作更平滑靈巧。

同時(shí)，通過(guò)引入flow matching流匹配訓(xùn)練機(jī)制，Xiaomi-Robotics-0在訓(xùn)練階段直接學(xué)習(xí)連續(xù)動(dòng)作分布之間的概率流映射，推理階段所需采樣步數(shù)從傳統(tǒng)擴(kuò)散模型（如DDPM）通常需要的數(shù)十至數(shù)百步，壓縮至五步。推理鏈路顯著縮短，為低延遲實(shí)時(shí)控制提供了基礎(chǔ)。

由于DiT與底層VLM同為Transformer結(jié)構(gòu)，可以直接復(fù)用VLM的KV Cache，減少重復(fù)計(jì)算。

從整體架構(gòu)看，大腦與小腦之間通過(guò)KV緩存松耦合連接，既保證理解能力，又控制了計(jì)算量。

這種松耦合的設(shè)計(jì)大幅降低了推理延遲，讓機(jī)器人的動(dòng)作不僅平滑靈巧，反應(yīng)速度也達(dá)到了毫秒級(jí)——4.7B總參數(shù)的模型，推理延遲80ms，支持30Hz控制頻率，在消費(fèi)級(jí)顯卡（RTX 4090）上可以實(shí)時(shí)絲滑運(yùn)行。

兩階段預(yù)訓(xùn)練：學(xué)會(huì)動(dòng)作，也保住視覺(jué)理解能力

小米在Xiaomi-Robotics-0的第二項(xiàng)創(chuàng)新中，解決了一個(gè)具身模型長(zhǎng)期存在的“顧此失彼”難題。

很多模型在學(xué)了大量的機(jī)器人動(dòng)作數(shù)據(jù)后，原本強(qiáng)大的視覺(jué)理解能力（VL能力）會(huì)迅速退化，結(jié)果只會(huì)干活，腦子不會(huì)思考了。

為了確保模型不變傻，小米在預(yù)訓(xùn)練階段采用了兩階段特訓(xùn)。

第一階段，通過(guò)Choice Policy與跨平臺(tái)機(jī)器人軌跡數(shù)據(jù)，讓VLM在理解圖像與指令的同時(shí)，能夠粗粒度預(yù)測(cè)動(dòng)作塊。

這一步的核心是對(duì)齊視覺(jué)特征空間與動(dòng)作空間，讓模型在“看見什么”與“如何動(dòng)”之間建立映射。

與此同時(shí)，在預(yù)訓(xùn)練中混合視覺(jué)語(yǔ)言數(shù)據(jù)，避免VLM遺忘原有的視覺(jué)推理能力，建立起一種“看到這個(gè)畫面，就該有這種手感”的直覺(jué)。

在進(jìn)入第二階段精細(xì)化動(dòng)作訓(xùn)練時(shí)，小米會(huì)有意識(shí)地保護(hù)模型原有的多模態(tài)通識(shí)能力。

具體來(lái)說(shuō)，在第二階段凍結(jié)VLM，單獨(dú)訓(xùn)練DiT進(jìn)行流匹配精細(xì)化生成。此時(shí)VLM只負(fù)責(zé)提供穩(wěn)定的多模態(tài)理解，小腦專注于連續(xù)動(dòng)作軌跡的高精度生成。

這種分工確保模型在引入動(dòng)作能力后依然保持強(qiáng)大的視覺(jué)語(yǔ)言能力，那么機(jī)器人在執(zhí)行任務(wù)時(shí)就既能讀懂復(fù)雜指令，又能規(guī)劃連續(xù)動(dòng)作。

對(duì)長(zhǎng)程任務(wù)與人機(jī)交互來(lái)說(shuō)，這種能力是居家旅行必備基礎(chǔ)。

改良異步：用Λ形注意力掩碼解決動(dòng)作慣性

第三項(xiàng)創(chuàng)新則直指“動(dòng)作跑偏”這個(gè)頑疾，Xiaomi-Robotics-0團(tuán)隊(duì)在后訓(xùn)練階段引入了一種改良版異步方案。

傳統(tǒng)異步執(zhí)行會(huì)把上一次動(dòng)作作為輸入前綴，讓動(dòng)作銜接平滑，卻容易產(chǎn)生動(dòng)作慣性。模型過(guò)度依賴歷史動(dòng)作，忽視當(dāng)前視覺(jué)信息，環(huán)境變化時(shí)修正滯后。

小米創(chuàng)新性地在后訓(xùn)練階段引入了Λ-shape attention（Lambda形掩碼機(jī)制）。

我們可以把它理解為給機(jī)器人裝了一個(gè)帶后視鏡的瞄準(zhǔn)鏡：

動(dòng)作塊中緊鄰前綴的動(dòng)作會(huì)回看先前動(dòng)作，確保前后銜接不抖動(dòng)；遠(yuǎn)離前綴的部分則強(qiáng)迫眼睛死死盯著當(dāng)下的視覺(jué)反饋，確保動(dòng)作根據(jù)環(huán)境實(shí)時(shí)修正。

這種機(jī)制讓模型在保證動(dòng)作連續(xù)性的同時(shí)，強(qiáng)制重新審視環(huán)境，在真實(shí)任務(wù)中實(shí)現(xiàn)“連貫且可修正”，實(shí)現(xiàn)了既絲滑又精準(zhǔn)的理想狀態(tài)。

這套改良異步機(jī)制，讓模型同時(shí)實(shí)現(xiàn)動(dòng)作流暢+精度保持+吞吐領(lǐng)先。

仿真與真實(shí)環(huán)境的硬核成績(jī)單

在三重技術(shù)創(chuàng)新的加持下，Xiaomi-Robotics-0展現(xiàn)出了極為硬核的測(cè)評(píng)結(jié)果。

首先，我們來(lái)看Xiaomi-Robotics-0在VLA仿真benchmark上的成績(jī)。

在具身智能最看重的VLA仿真benchmark中，小米幾乎是全場(chǎng)橫掃。

在LIBERO、CALVIN、SimplerEnv等六個(gè)仿真環(huán)境中，Xiaomi-Robotics-0全面超過(guò)現(xiàn)有的包括π0、π0.5、OpenVLA、RT-1、RT-2等頭部模型在內(nèi)的約30個(gè)模型。

（注：詳見論文https://xiaomi-robotics-0.github.io/assets/paper.pdf）

無(wú)論是考察多任務(wù)泛化能力的LIBERO，還是考察長(zhǎng)程操作穩(wěn)定性的CALVIN，Xiaomi-Robotics-0都刷新了紀(jì)錄，其成功率超過(guò)了公認(rèn)的開源標(biāo)桿π0.5。

尤其是在Libero-Object任務(wù)上，Xiaomi-Robotics-0達(dá)到了100%成功率，并以98.7%的平均成績(jī)位列Libero測(cè)試機(jī)前列。

接著來(lái)看Xiaomi-Robotics-0在MathVista、ScienceQA等針對(duì)視覺(jué)理解和數(shù)學(xué)推理的VLM benchmark中的表現(xiàn)。

在MMBench、MME、POPE、SeedBench、AI2D、M3MU、ScienceQA、MathVista、ERQA等九個(gè)測(cè)試集中，Xiaomi-Robotics-0的大多數(shù)指標(biāo)都高于對(duì)比模型。

模型在引入動(dòng)作能力后仍保持高分，這證明它沒(méi)有通過(guò)犧牲理解能力來(lái)?yè)Q取控制能力。

當(dāng)然，對(duì)于具身智能來(lái)說(shuō)，物理世界中的真實(shí)任務(wù)表現(xiàn)顯然更具說(shuō)服力。

“疊毛巾”是現(xiàn)實(shí)世界需要，又對(duì)具身機(jī)器人有高要求的任務(wù)——機(jī)器人需要處理非結(jié)構(gòu)化的軟體。

Xiaomi-Robotics-0測(cè)試了6張不同毛巾，連續(xù)作業(yè)30分鐘，均保持高成功率與高吞吐。

而“拆卸樂(lè)高”這種需要極致微操和高頻反饋的任務(wù)，它需要先將樂(lè)高組件拆卸成積木塊，再根據(jù)顏色將每個(gè)積木放入相應(yīng)的存儲(chǔ)箱中。

模型也展現(xiàn)出了極高的完成度：在MA與LA-10場(chǎng)景達(dá)到100%成功率，吞吐量領(lǐng)先約25%。

結(jié)合三類測(cè)試集的表現(xiàn)數(shù)據(jù)來(lái)看，Xiaomi-Robotics-0打通了仿真-視覺(jué)理解-真實(shí)機(jī)器人操作的閉環(huán)，已經(jīng)是一個(gè)非常成熟的一體化VLA模型了。

小米的，進(jìn)廠的，開源的

綜合來(lái)看，Xiaomi-Robotics-0在目前的具身智能模型梯隊(duì)里，絕對(duì)是一個(gè)不折不扣的A+級(jí)選手。

由此引出一個(gè)一定要弄清楚的問(wèn)題，即：

• 小米發(fā)力具身智能領(lǐng)域，到底是想做什么？

目前市面上的機(jī)器人落地，大約可以劃分為兩大派系。

一類是黑科技表演派。

它們主攻硬件能力，擅長(zhǎng)翻跟頭、跳舞，展示極高的動(dòng)態(tài)平衡能力，動(dòng)作復(fù)雜，視覺(jué)效果震撼，適合舞臺(tái)與視頻傳播。

另一類則是務(wù)實(shí)進(jìn)廠派。

強(qiáng)調(diào)工業(yè)落地，它們更關(guān)注穩(wěn)定性、吞吐量與可部署性，以及重視對(duì)復(fù)雜環(huán)境的適應(yīng)性。

結(jié)合小米近期的一系列動(dòng)作——就在幾天前，小米剛剛開源了觸覺(jué)驅(qū)動(dòng)的精細(xì)抓取微調(diào)模型TacRefineNet——我想，小米在具身技術(shù)方面的路線已經(jīng)不難猜了。

TacRefineNet是一個(gè)純觸覺(jué)驅(qū)動(dòng)的精細(xì)抓取微調(diào)模型，它依賴11×9壓阻式觸覺(jué)陣列，觸點(diǎn)間距1.1mm，通過(guò)多模態(tài)融合，實(shí)現(xiàn)毫米級(jí)位姿微調(diào)。

它無(wú)需視覺(jué)、無(wú)需物體三維模型，Zero-shot就能部署于真實(shí)產(chǎn)線。

就目前小米公開的具身技術(shù)成果來(lái)看，Xiaomi-Robotics-0提供快速響應(yīng)與連續(xù)控制，TacRefineNet提供末端精細(xì)調(diào)整。兩者結(jié)合，構(gòu)成“眼-腦-手”協(xié)同體系。

這直接切中工業(yè)場(chǎng)景中最難的非結(jié)構(gòu)化環(huán)境作業(yè)難題。

進(jìn)廠干活嘛，只有腦子干不了活不行，能做精細(xì)的事兒但不懂得怎么干活也不行。

所以，現(xiàn)在基本可以斷定，小米在兩大派系選擇了走務(wù)實(shí)路線。

最后想強(qiáng)調(diào)一下，無(wú)論是TacRefineNet還是Xiaomi-Robotics-0，小米都選擇了開源。

所有架構(gòu)細(xì)節(jié)、算法方案都全盤托出。

從技術(shù)角度看，這次開源讓行業(yè)看清了“低延遲+高智能”在消費(fèi)級(jí)硬件上運(yùn)行的可行路徑，打破了“具身大模型必然面臨思維卡頓”的思維定式。

從行業(yè)視角來(lái)看，這意味著廣大的中小開發(fā)者不需要再?gòu)牧汩_始燒錢去訓(xùn)練昂貴的基座模型。

大家完全可以站在小米這樣的開源先行者的肩膀上，去開發(fā)各種細(xì)分的垂直應(yīng)用。

具身機(jī)器人屬于重資產(chǎn)、長(zhǎng)周期賽道。

開源行為降低門檻，提升透明度，推動(dòng)技術(shù)討論從營(yíng)銷轉(zhuǎn)向工程細(xì)節(jié)。而且在這個(gè)階段開源高質(zhì)量的基礎(chǔ)模型，無(wú)疑是隱形承擔(dān)了行業(yè)基礎(chǔ)設(shè)施建設(shè)者的角色。

這不僅是企業(yè)行為，更是產(chǎn)業(yè)行為。

在機(jī)器人這樣一個(gè)需要長(zhǎng)期投入的領(lǐng)域，這種開放姿態(tài)釋放出的信號(hào)十分明確。小米這一波，確實(shí)展現(xiàn)了科技大廠應(yīng)有的擔(dān)當(dāng)。

技術(shù)主頁(yè)：
https://xiaomi-robotics-0.github.io
GitHub：
https://github.com/XiaomiRobotics/Xiaomi-Robotics-0
抱抱臉模型權(quán)重：
https://huggingface.co/XiaomiRobotics