機(jī)器之心發(fā)布

近期，利用視頻生成模型為機(jī)器人構(gòu)建 “世界模型”，已成為具身智能領(lǐng)域的熱門技術(shù)路線。給定當(dāng)前觀測(cè)和自然語(yǔ)言指令，這類模型能夠先 “想象” 出未來(lái)的視覺(jué)軌跡，再由逆動(dòng)力學(xué)模型（IDM）將生成畫(huà)面解碼為機(jī)器人動(dòng)作，從而形成 “先預(yù)測(cè)、后執(zhí)行” 的解耦式規(guī)劃范式。由于兼具較強(qiáng)的可解釋性與開(kāi)放場(chǎng)景泛化潛力，這一路線正在受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

然而，這一看似理想的范式背后，卻隱藏著一個(gè)關(guān)鍵瓶頸：生成的視頻未必對(duì)應(yīng)真實(shí)可執(zhí)行的動(dòng)作序列，即所謂的 “可執(zhí)行性鴻溝”（Executability Gap）

針對(duì)這一問(wèn)題，香港中文大學(xué)（深圳）與跨維智能的研究團(tuán)隊(duì)提出了一種全新的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架 ——Executable Video Alignment (EVA)。該框架創(chuàng)新性地將逆動(dòng)力學(xué)模型轉(zhuǎn)化為獎(jiǎng)勵(lì)模型，通過(guò)強(qiáng)化學(xué)習(xí)直接優(yōu)化視頻生成過(guò)程，使生成結(jié)果不僅 “看起來(lái)真實(shí)”，更 “動(dòng)起來(lái)可行”

這也表明，真正服務(wù)于機(jī)器人的世界模型不能只停留在二維視覺(jué)預(yù)測(cè)層面，而應(yīng)進(jìn)一步融入對(duì)世界物理的建模；本工作正是跨維智能此前提出的GS-World及其開(kāi)源工具EmbodiChain所提出的核心思想的一個(gè)具體算法創(chuàng)新

• 論文標(biāo)題：EVA: Aligning Video World Models with Executable Robot Actions via Inverse Dynamics Rewards
• 論文鏈接：https://arxiv.org/abs/2603.17808
• 項(xiàng)目頁(yè): https://eva-project-page.github.io/
• 代碼鏈接：https://github.com/RobbinW/EVA

痛點(diǎn)：中看不中用的 “可執(zhí)行性鴻溝”

近年來(lái)，視頻生成模型在機(jī)器人任務(wù)規(guī)劃中展現(xiàn)出很強(qiáng)的潛力。相比直接從圖像和語(yǔ)言映射到動(dòng)作序列，這類方法先生成未來(lái)視覺(jué)過(guò)程，再?gòu)闹谢謴?fù)動(dòng)作，天然具備更強(qiáng)的中間表征能力，也讓 “規(guī)劃” 變得更加直觀。

然而，現(xiàn)有視頻模型主要優(yōu)化的是像素分布或感知一致性，它們擅長(zhǎng)生成 “視覺(jué)上真實(shí)” 的內(nèi)容，卻并不真正理解機(jī)器人本體結(jié)構(gòu)、關(guān)節(jié)約束和運(yùn)動(dòng)學(xué)規(guī)律

由此帶來(lái)一種典型現(xiàn)象：生成的視頻在細(xì)節(jié)上卻可能存在機(jī)械臂局部形變、關(guān)節(jié)連接模糊、運(yùn)動(dòng)突然跳變等不符合運(yùn)動(dòng)學(xué)規(guī)律的問(wèn)題。經(jīng)過(guò)逆動(dòng)力學(xué)模型翻譯成動(dòng)作信號(hào)之后，這些偏差會(huì)被迅速放大，最終演化為抖動(dòng)、越界甚至完全不可執(zhí)行的控制指令。

破局之道：EVA 框架

圍繞這個(gè)問(wèn)題，研究團(tuán)隊(duì)提出了Executable Video Alignment（EVA）

EVA 的核心思想很直接：既然機(jī)器人最終需要的是可執(zhí)行的動(dòng)作序列，那么視頻生成模型的訓(xùn)練目標(biāo)就不應(yīng)只由視覺(jué)質(zhì)量決定，而應(yīng)該進(jìn)一步引入來(lái)自動(dòng)作空間的約束

具體而言，EVA 首先訓(xùn)練一個(gè)逆動(dòng)力學(xué)模型（Inverse Dynamics Model, IDM），讓它能夠根據(jù)視頻中的局部時(shí)序變化恢復(fù)出機(jī)器人動(dòng)作；隨后，再將這個(gè) IDM 擴(kuò)展作為 “獎(jiǎng)勵(lì)模型”，用于評(píng)估視頻生成結(jié)果對(duì)應(yīng)的動(dòng)作序列是否平滑、合理、符合機(jī)器人本體約束。

換句話說(shuō)，EVA 讓視頻世界模型在監(jiān)督微調(diào)階段首先回答：

• 這段視頻看起來(lái)真實(shí)嗎？
• 是否符合任務(wù)語(yǔ)義？

而在強(qiáng)化學(xué)習(xí)階段進(jìn)一步回答：

• 這段視頻如果被翻譯成動(dòng)作，機(jī)器人到底能不能執(zhí)行？
• 它對(duì)應(yīng)的動(dòng)作軌跡是否平滑？
• 是否違反速度、加速度等本體約束？
• 是否會(huì)產(chǎn)生突兀跳變或不穩(wěn)定控制？

基于這一思路，研究團(tuán)隊(duì)在獎(jiǎng)勵(lì)設(shè)計(jì)中顯式引入了多種機(jī)器人執(zhí)行層面的約束，包括動(dòng)作速度變化、加速度平滑性以及更高階的jerk正則項(xiàng)，同時(shí)對(duì)超過(guò)機(jī)器人本體限制的異常動(dòng)作進(jìn)行懲罰。通過(guò)強(qiáng)化學(xué)習(xí)后訓(xùn)練，模型會(huì)逐漸傾向于生成那些不僅視覺(jué)自然，而且對(duì)應(yīng)動(dòng)作更穩(wěn)定、更符合物理規(guī)律的未來(lái)軌跡。從本質(zhì)上看，EVA 并不是簡(jiǎn)單地 “修補(bǔ)視頻中的瑕疵”，而是在將視頻生成分布主動(dòng)拉回到機(jī)器人可行運(yùn)動(dòng)流形之上。

實(shí)驗(yàn)表現(xiàn)：從仿真到真實(shí)的提升

為了驗(yàn)證 EVA 的有效性，研究團(tuán)隊(duì)在仿真和真實(shí)機(jī)器人平臺(tái)上進(jìn)行了系統(tǒng)實(shí)驗(yàn)。

• 視覺(jué)規(guī)劃質(zhì)量飛躍：在視覺(jué)質(zhì)量評(píng)估中，經(jīng)過(guò) RL 對(duì)齊的 EVA 模型在 “運(yùn)動(dòng)學(xué)合理性”（Kinematic plausibility）上相比未對(duì)齊的基線模型大幅提升了 20.9%。在更嚴(yán)格的整體標(biāo)準(zhǔn)下，模型的 Perfect Execution 達(dá)到了 83.8%。這說(shuō)明 EVA 優(yōu)化的不只是 “畫(huà)面是否自然”，而是在減少機(jī)械臂形變、關(guān)節(jié)歧義和時(shí)序跳變等對(duì)執(zhí)行極其重要的結(jié)構(gòu)性偽影。

• 仿真任務(wù)成功率提高：研究團(tuán)隊(duì)在當(dāng)前具身操作領(lǐng)域具有代表性的 RoboTwin 2.0 基準(zhǔn)上進(jìn)行了仿真實(shí)驗(yàn)評(píng)測(cè)。之所以選擇 RoboTwin，一方面是因?yàn)樗嫦螂p臂操作任務(wù)，任務(wù)類型豐富、場(chǎng)景隨機(jī)性強(qiáng)，能夠更真實(shí)地反映機(jī)器人在復(fù)雜環(huán)境中的操作能力；另一方面，RoboTwin 已逐漸成為檢驗(yàn) VLA 方法 與 具身世界模型方法 泛化能力和真實(shí)執(zhí)行潛力的重要公開(kāi)基準(zhǔn)，因此在這一平臺(tái)上的結(jié)果具有較強(qiáng)的說(shuō)服力。

在實(shí)驗(yàn)中，研究團(tuán)隊(duì)對(duì)21 個(gè)雙臂任務(wù)進(jìn)行了系統(tǒng)評(píng)測(cè)。評(píng)測(cè)方式并不是只比較生成視頻 “看起來(lái)好不好”，而是將生成視頻進(jìn)一步交給逆動(dòng)力學(xué)模型（IDM）解碼為動(dòng)作序列，再真正送入控制系統(tǒng)執(zhí)行，并統(tǒng)計(jì)每個(gè)任務(wù) 20 次試驗(yàn)中的成功次數(shù)。換句話說(shuō)，這一指標(biāo)考察的是：視頻世界模型生成的未來(lái)，究竟能不能被機(jī)器人真正做出來(lái)。從結(jié)果來(lái)看，EVA（with RL）將平均成功率進(jìn)一步提升到 52.6%，不僅明顯超過(guò)未對(duì)齊版本，也整體優(yōu)于多種代表性 VLA 方法和機(jī)器人基礎(chǔ)模型基線。例如，在 ClickBell 任務(wù)上，EVA（with RL）達(dá)到 20/20；在 PressStapler 上達(dá)到 20/20；在 TurnSwitch 上達(dá)到 13/20，相比未對(duì)齊版本的 8/20 有明顯提升。

• 真實(shí)世界部署更穩(wěn)定：為了進(jìn)一步驗(yàn)證方法在真實(shí)場(chǎng)景中的落地價(jià)值，研究團(tuán)隊(duì)還在真實(shí)雙臂機(jī)器人平臺(tái)上進(jìn)行了部署測(cè)試。結(jié)果表明，EVA 的優(yōu)勢(shì)并不只停留在仿真環(huán)境中，而是穩(wěn)定延伸到了真實(shí)機(jī)器人部署階段。對(duì)于 Seen tasks，經(jīng)過(guò)可執(zhí)行性對(duì)齊后的 EVA（with RL）達(dá)到 64.0%，明顯高于 ACT、π?、Vidar 和 GE-Act 等代表性基線方法。尤其在 StackBowl、Place2Basket 和 Place2Tray 等任務(wù)上，EVA（with RL）都取得了更優(yōu)表現(xiàn)。更值得關(guān)注的是，在5 個(gè)全新的 OOD 任務(wù)上，EVA 的優(yōu)勢(shì)更加明顯。相比于基線方法，EVA（with RL） 將平均成功率提升至60.0%，顯示出更強(qiáng)的新任務(wù)適應(yīng)能力和跨場(chǎng)景泛化能力。

如果把這三組結(jié)果放在一起解讀，EVA 的貢獻(xiàn)就會(huì)更清晰：

它并不是單純把視頻 “變好看” 了，也不是只在某個(gè)局部指標(biāo)上做了優(yōu)化；它展示的是一條更完整的提升鏈條 ——

從視覺(jué)規(guī)劃質(zhì)量改善，到仿真執(zhí)行成功率提升，再到真實(shí)機(jī)器人部署更穩(wěn)定。

這條鏈條背后對(duì)應(yīng)的，其實(shí)正是 EVA 的核心判斷：對(duì)于具身世界模型來(lái)說(shuō)，真正決定落地價(jià)值的，不只是 “能不能生成未來(lái)”，而是 “生成出來(lái)的未來(lái)，能不能被機(jī)器人可靠地執(zhí)行”。而 EVA 通過(guò)逆動(dòng)力學(xué)獎(jiǎng)勵(lì)，把這一點(diǎn)第一次系統(tǒng)性地變成了訓(xùn)練目標(biāo)。

拓展?jié)摿Γ毫銟颖旧少x能數(shù)據(jù)合成

除了提升視頻世界模型的執(zhí)行可靠性，EVA 還展現(xiàn)出一個(gè)極具潛力的延伸方向：面向具身智能的數(shù)據(jù)合成與增強(qiáng)

眾所周知，具身智能系統(tǒng)的發(fā)展長(zhǎng)期受制于高質(zhì)量機(jī)器人數(shù)據(jù)的稀缺。真實(shí)機(jī)器人采集不僅成本高、周期長(zhǎng)，而且對(duì)人力示教和平臺(tái)條件高度依賴。EVA 所彌合的 “可執(zhí)行性鴻溝”，則為構(gòu)建全合成具身數(shù)據(jù)流水線打開(kāi)了新的可能。

研究團(tuán)隊(duì)展示了一種零樣本（Zero-Shot）的數(shù)據(jù)生成方案：首先利用先進(jìn)的文本到圖像基礎(chǔ)模型生成多樣化的初始場(chǎng)景觀測(cè)，再將這些圖像輸入經(jīng)過(guò)對(duì)齊后的 EVA 視頻世界模型，從而自動(dòng)生成具備合理物理約束的動(dòng)態(tài)視頻軌跡。相比以往僅追求視覺(jué)多樣性的合成方式，這一流程更進(jìn)一步保證了生成結(jié)果在動(dòng)作層面的可用性。

這意味著，未來(lái)或許可以在不依賴人工遙操作的前提下，持續(xù)合成更豐富、更可信、更接近真實(shí)執(zhí)行分布的具身數(shù)據(jù)，為機(jī)器人學(xué)習(xí)提供新的規(guī)模化路徑。

結(jié)語(yǔ)：從 “會(huì)生成” 到 “會(huì)執(zhí)行”，EVA 補(bǔ)上關(guān)鍵一步

這項(xiàng)工作的一個(gè)重要意義在于，它提醒整個(gè)領(lǐng)域重新思考視頻世界模型的評(píng)價(jià)標(biāo)準(zhǔn)。

過(guò)去，許多研究更關(guān)注生成結(jié)果是否清晰、連貫、符合語(yǔ)義，但對(duì)于機(jī)器人而言，這些指標(biāo)遠(yuǎn)遠(yuǎn)不夠。因?yàn)闄C(jī)器人并不是在 “觀看” 世界模型生成的畫(huà)面，而是在 “執(zhí)行” 這些畫(huà)面背后所對(duì)應(yīng)的動(dòng)作與交互過(guò)程。

從這個(gè)意義上看，EVA 提供了一條重要的技術(shù)路徑：它讓視頻世界模型不再只是生成未來(lái)畫(huà)面，而是開(kāi)始面向真實(shí)機(jī)器人執(zhí)行去優(yōu)化未來(lái)軌跡。EVA 所補(bǔ)上的，正是視覺(jué)合理性與動(dòng)作可執(zhí)行性之間長(zhǎng)期存在的關(guān)鍵缺口，推動(dòng)世界模型從 “看起來(lái)合理” 邁向 “真正能夠執(zhí)行”。

EVA 主要聚焦于運(yùn)動(dòng)學(xué)層面的對(duì)齊，其拓展可進(jìn)一步引入更豐富的動(dòng)力學(xué)約束，例如接觸力、摩擦、扭矩等真實(shí)物理因素。更進(jìn)一步說(shuō)，要讓世界模型真正服務(wù)于具身智能，僅僅具備二維視覺(jué)生成能力仍然不夠。更 “好用” 的世界模型，需要進(jìn)一步走向?qū)θS空間結(jié)構(gòu)、真實(shí)物理規(guī)律和連續(xù)交互過(guò)程的統(tǒng)一理解。沿著這條路徑，世界模型才有可能真正成為支撐具身智能決策、執(zhí)行與泛化的基礎(chǔ)能力。這個(gè)方向，也正與跨維智能圍繞 GS-World（Generative Simulation World Model） 和其開(kāi)源平臺(tái) EmbodiChain 所推進(jìn)的研究主線一脈相承：前者致力于以生成式仿真建模 3D 資產(chǎn)、環(huán)境和物理交互規(guī)則，后者則作為面向具身智能的 Real2Sim2Real 引擎，連接場(chǎng)景生成、數(shù)據(jù)合成、模型訓(xùn)練和 Sim2Real 部署。

通過(guò) EVA，跨維智能已經(jīng)給出了一個(gè)清晰的信號(hào)：

機(jī)器人需要的，不只是會(huì) “想象未來(lái)” 的世界模型，更是能夠在真實(shí)三維物理世界中 “做得出來(lái)” 的世界模型

而這，或許正是世界模型邁向具身智能落地過(guò)程中，最關(guān)鍵的一步。