機(jī)器之心編輯部

整個(gè)具身智能領(lǐng)域都在探索世界模型的實(shí)用化路徑。這個(gè)被寄予厚望的「數(shù)字模擬器」，本應(yīng)成為機(jī)器人訓(xùn)練的核心工具，卻因物理保真度低等問(wèn)題成為「空中樓閣」。

視頻鏈接：https://mp.weixin.qq.com/s/kv7J95lcyjccJJq9JWZ8SQ

去年年中，谷歌發(fā)布了 Genie-3 世界模型，讓「可交互的世界模型」第一次以極具沖擊力的方式走進(jìn)大眾視野。這是一個(gè)可以實(shí)時(shí)生成、實(shí)時(shí)交互的「無(wú)限世界」：通過(guò)控制動(dòng)作，用戶可以展開(kāi)幾乎無(wú)限的場(chǎng)景演化路徑。

這一能力也迅速被投射到具身智能領(lǐng)域 —— 如果機(jī)器人也能在這樣的世界模型中進(jìn)行億萬(wàn)次的訓(xùn)練，是否意味著通用機(jī)器人真的觸手可及？

但當(dāng)研究者真正嘗試將「可交互世界模型」用于機(jī)器人學(xué)習(xí)時(shí)，很快發(fā)現(xiàn)了一些繞不開(kāi)的本質(zhì)問(wèn)題：

1）世界模型擅長(zhǎng)「看起來(lái)對(duì)」，卻難以做到「物理上對(duì)」；

2）由于機(jī)器人數(shù)據(jù)大部分都是成功的 demo，世界模型總是過(guò)于樂(lè)觀；

結(jié)果是：世界模型的不準(zhǔn)確性 + 過(guò)度樂(lè)觀的動(dòng)力學(xué)假設(shè)，使得 VLA 策略幾乎無(wú)法在其中穩(wěn)定學(xué)習(xí)

世界模型「盲目樂(lè)觀地」自動(dòng)補(bǔ)全了殘缺的形狀；世界模型「錯(cuò)誤地」將真實(shí)世界里倒塌的方塊誤認(rèn)為堆疊狀態(tài)。

清華陳建宇（星動(dòng)紀(jì)元?jiǎng)?chuàng)始人）團(tuán)隊(duì)和斯坦福 Chelsea Finn（PI 創(chuàng)始人） 團(tuán)隊(duì)基于 Ctrl-World (兩個(gè)團(tuán)隊(duì)的首個(gè)合作成果），再度攜手，聯(lián)合提出了VLAW 框架，首次實(shí)現(xiàn)了VLA 策略與動(dòng)作條件世界模型的協(xié)同迭代優(yōu)化，讓兩者形成一個(gè)「互相促進(jìn)的閉環(huán)」：

• VLA 策略采集的真實(shí)交互數(shù)據(jù)，反過(guò)來(lái)用于提升世界模型的物理保真度；
• 世界模型生成的高質(zhì)量虛擬數(shù)據(jù)，再用于持續(xù)強(qiáng)化 VLA 策略本身。

• 論文鏈接：https://arxiv.org/pdf/2602.12063
• GitHub 地址：https://github.com/Robert-gyj/Ctrl-World

機(jī)器人學(xué)技能

試錯(cuò)的「學(xué)費(fèi)」貴到離譜

世界模型成關(guān)鍵期待

每次在真實(shí)機(jī)器人上的試錯(cuò)（真機(jī) rollout），都需要人工重置環(huán)境；一旦模型策略出錯(cuò)，機(jī)械臂還可能做出危險(xiǎn)操作，必須有人全程盯著。真實(shí)世界的后訓(xùn)練數(shù)據(jù)規(guī)模，就這樣被死死卡住了脖子，成了具身智能發(fā)展的核心瓶頸。

能讓機(jī)器人在「想象空間」無(wú)限試錯(cuò)的世界模型，成為解決這一問(wèn)題的關(guān)鍵期待—— 在完美的世界模型里，機(jī)器人能在這個(gè)「想象空間」里無(wú)限試錯(cuò)，生成海量合成數(shù)據(jù)練手，完全不用碰真實(shí)世界里昂貴的硬件設(shè)備，試錯(cuò)成本能降到幾乎為零。

VLA 模型在真實(shí)世界的 rollout 耗時(shí)且難以擴(kuò)展。在 VLAW 中，首先利用有限的真實(shí)世界在線 rollout 學(xué)習(xí)一個(gè)動(dòng)作條件的世界模型，進(jìn)而在想象中生成大規(guī)模的合成數(shù)據(jù)

世界模型：

一座美輪美奐的「空中樓閣」

理想很豐滿，現(xiàn)實(shí)很骨感�，F(xiàn)有世界模型存在二個(gè)致命缺陷，讓它成了一座「空中樓閣」，最終只會(huì)落得「垃圾進(jìn)，垃圾出」的下場(chǎng)，讓世界模型的實(shí)用化成為空談。

• 盲目樂(lè)觀：訓(xùn)練數(shù)據(jù)大多是成功的動(dòng)作軌跡，沒(méi)見(jiàn)過(guò)失敗案例，導(dǎo)致模型預(yù)測(cè)的結(jié)果全是「理想情況」，根本還原不了真實(shí)操作中的失誤和意外，無(wú)法貼合真實(shí)的操作場(chǎng)景；
• 交互、碰撞模擬困難：對(duì)于物體碰撞、摩擦這類接觸密集型操作，或是紙巾、書本這類可變形物體的交互，模型根本捕捉不到那些微小但關(guān)鍵的物理細(xì)節(jié)，甚至?xí)赡：漠嬅妫瑔适Я宋锢斫５暮诵膬r(jià)值；

VLAW 破局：

讓 VLA 和世界模型雙向奔赴

打磨出實(shí)用的世界模型

VLA 策略在線 rollout 數(shù)據(jù)有助于將預(yù)訓(xùn)練的世界模型適配到下游任務(wù)中。一旦世界模型完成適配，就能為 VLA 策略學(xué)習(xí)生成海量數(shù)據(jù)

VLAW 的核心解法，讓 VLA 策略的真實(shí)數(shù)據(jù)校準(zhǔn)世界模型，以校準(zhǔn)后的世界模型反哺 VLA 策略，在這個(gè)雙向奔赴的過(guò)程中，世界模型的缺陷被逐一解決，物理保真度和數(shù)據(jù)生成能力持續(xù)提升。

四步走：

把「讓世界模型有用」的想法落地成工程

VLAW 的工作流程：(1) 首先在真實(shí)世界中執(zhí)行策略以收集少量在線軌跡；(2) 利用這些策略 rollout 數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的動(dòng)作條件世界模型，使世界模型適配目標(biāo)任務(wù)并提升其預(yù)測(cè)保真度；(3) 利用優(yōu)化后的世界模型，通過(guò)策略與世界模型的閉環(huán)交互生成大規(guī)模合成軌跡；(4) 最終，利用視覺(jué) - 語(yǔ)言獎(jiǎng)勵(lì)模型自動(dòng)評(píng)估獎(jiǎng)勵(lì)，結(jié)合真實(shí)世界和合成數(shù)據(jù)優(yōu)化 VLA 策略

從理論思路到實(shí)際落地，VLAW 設(shè)計(jì)了四個(gè)精密咬合的步驟，通過(guò)迭代優(yōu)化實(shí)現(xiàn)「讓世界模型有用」的核心目標(biāo)，同時(shí)讓機(jī)器人借助校準(zhǔn)后的世界模型完成「在想象中變強(qiáng)」的訓(xùn)練。

第一步：使用真實(shí) rollout 數(shù)據(jù)微調(diào)世界模型，戒掉盲目樂(lè)觀

研究團(tuán)隊(duì)用包含成功與失敗的真實(shí)機(jī)器人在線軌跡數(shù)據(jù)微調(diào)預(yù)訓(xùn)練世界模型；同時(shí)為了防止模型過(guò)擬合，還加入了原始的 DROID 數(shù)據(jù)集一起訓(xùn)練，讓它既能看懂失敗，又不會(huì)過(guò)擬合，確保對(duì)真實(shí)場(chǎng)景的還原度。

第二步：使用 Qwen-VL 評(píng)判軌跡

團(tuán)隊(duì)基于 Qwen3-VL-4B-Instruct 微調(diào)了一個(gè)視覺(jué) - 語(yǔ)言獎(jiǎng)勵(lì)模型，用真實(shí)數(shù)據(jù)里的成功 / 失敗標(biāo)簽校準(zhǔn)它的判斷能力，能自動(dòng)判別世界模型生成數(shù)據(jù)的好壞。

第三步：在世界模型中生成大量數(shù)據(jù)

在校準(zhǔn)后的世界模型里，讓機(jī)器人策略進(jìn)行大規(guī)模的 rollout，每個(gè)任務(wù)都生成 500 條合成軌跡。這一步就是機(jī)器人在「想象中」練手，但因?yàn)槭澜缒Ｐ鸵呀?jīng)被真實(shí)數(shù)據(jù)校準(zhǔn)，這些「想象中的數(shù)據(jù)」的質(zhì)量大大提升。

第四步：學(xué)成功樣本優(yōu)化策略，反向?yàn)槭澜缒Ｐ托?zhǔn)提供更優(yōu)質(zhì)數(shù)據(jù)

把真實(shí)世界里的成功軌跡，和世界模型生成的優(yōu)質(zhì)合成成功軌跡混在一起，用簡(jiǎn)單的監(jiān)督學(xué)習(xí)目標(biāo)來(lái)更新機(jī)器人的 VLA 策略。原因很實(shí)際：對(duì)于流匹配、擴(kuò)散這類生成式策略，強(qiáng)化學(xué)習(xí)需要計(jì)算特定狀態(tài)下的動(dòng)作概率密度，但這類策略的動(dòng)作是從噪聲一步步推導(dǎo)出來(lái)的，概率計(jì)算難度極高。團(tuán)隊(duì)還從理論上證明，這種加權(quán)回歸目標(biāo)，其實(shí)是正則化強(qiáng)化學(xué)習(xí)的一種近似形式，兼顧了簡(jiǎn)單性和有效性。

而 VLA 策略的優(yōu)化與性能提升，又能在真實(shí)世界中產(chǎn)生更優(yōu)質(zhì)的試錯(cuò)數(shù)據(jù)，為世界模型的下一輪校準(zhǔn)與優(yōu)化提供更好的基礎(chǔ)，形成世界模型與 VLA 策略互相成就的閉環(huán)。

實(shí)測(cè)見(jiàn)真章：

模擬器從「空想家」變「務(wù)實(shí)者」

研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)動(dòng)作重放的評(píng)估方法：把真實(shí)機(jī)器人的動(dòng)作序列輸入世界模型，讓它生成對(duì)應(yīng)的視頻，再和真實(shí)世界的視頻對(duì)比，從視頻質(zhì)量和物理交互結(jié)果兩個(gè)維度做定量評(píng)估：

在世界模型中重放記錄的動(dòng)作序列。(1) 在 256 個(gè)重放片段（每個(gè) 5 秒）上評(píng)估視頻質(zhì)量指標(biāo)，所有指標(biāo)均通過(guò)腕部視角相機(jī)計(jì)算，該視角最能捕捉操作過(guò)程中的物體交互；(2) 交互階段是誤差的主要來(lái)源，因此在 50 個(gè)涉及物理交互的片段上報(bào)告事件級(jí)混淆矩陣，為每個(gè)片段標(biāo)注交互結(jié)果（成功 / 失�。�，并將模型預(yù)測(cè)與真實(shí)世界結(jié)果對(duì)比

結(jié)果一目了然：

1. 經(jīng)過(guò)真實(shí)試錯(cuò)數(shù)據(jù)微調(diào)后的世界模型，在 PSNR、SSIM 等視頻質(zhì)量指標(biāo)上，全面超過(guò)了原始預(yù)訓(xùn)練模型，以及僅用專家成功數(shù)據(jù)微調(diào)的模型，生成的視頻畫面更貼合真實(shí)；

2. 更重要的是，它的假陽(yáng)性率大幅降低，再也不會(huì)把失敗的操作「腦補(bǔ)」成成功，精準(zhǔn)解決了「樂(lè)觀病」，能真實(shí)還原操作中的成敗結(jié)果。

在相同的初始幀和完全相同的動(dòng)作序列條件下，在不同世界模型中執(zhí)行軌跡推演。預(yù)訓(xùn)練的 Ctrl-World 模型對(duì)于這些接觸密集型任務(wù)的精度不足；僅用專家軌跡微調(diào)的世界模型往往過(guò)于樂(lè)觀；相反，用策略在線 rollout 數(shù)據(jù)微調(diào)的世界模型能準(zhǔn)確捕捉底層的物理動(dòng)力學(xué)，與真實(shí)世界的結(jié)果高度吻合。

3. 哪怕是 20 秒的長(zhǎng)時(shí)程虛擬試錯(cuò)，生成的視頻也能保持較高的物理合理性。

從初始觀測(cè)開(kāi)始，在世界模型中進(jìn)行長(zhǎng)時(shí)程策略閉環(huán) rollout 的示例。π0.5 策略執(zhí)行 20 次迭代（20 秒），微調(diào)后的世界模型與真實(shí)世界高度一致。上：真實(shí)世界 下：世界模型

比如舀花生入碗、用紙巾擦白板標(biāo)記這類需要精準(zhǔn)物理交互的任務(wù)，預(yù)訓(xùn)練的世界模型完全抓不住細(xì)節(jié)，僅用專家數(shù)據(jù)微調(diào)的模型則過(guò)于樂(lè)觀，而經(jīng) VLAW 校準(zhǔn)的世界模型，能精準(zhǔn)捕捉底層的物理動(dòng)力學(xué)，生成的結(jié)果和真實(shí)世界高度吻合。

關(guān)鍵數(shù)字：

校準(zhǔn)后的世界模型

支撐機(jī)器人復(fù)雜任務(wù)性能大幅躍升

實(shí)驗(yàn)在 DROID 平臺(tái)上開(kāi)展，涵蓋五類任務(wù)，如圖所示。這些任務(wù)涉及復(fù)雜的物理交互，包括頻繁的接觸和可變形物體，難以在傳統(tǒng)仿真中建模。

研究團(tuán)隊(duì)在 DROID 機(jī)器人平臺(tái)上，針對(duì)堆疊積木、打開(kāi)書本、擦除白板標(biāo)記、舀取顆粒、畫圓五類復(fù)雜任務(wù)做了實(shí)測(cè) —— 這些任務(wù)都涉及頻繁的物理接觸或可變形物體操作，是傳統(tǒng)仿真模型很難建模的場(chǎng)景，也正是檢驗(yàn)世界模型實(shí)用價(jià)值的關(guān)鍵場(chǎng)景。實(shí)驗(yàn)用當(dāng)前 SOTA 的 π0.5 作為基礎(chǔ)策略，Ctrl-World 作為基礎(chǔ)世界模型，每輪迭代在 5 類任務(wù)上共收集 250 條真實(shí)軌跡（每類任務(wù) 50 條）用于世界模型的校準(zhǔn)，而經(jīng)校準(zhǔn)后的世界模型，最終交出了一份亮眼的成績(jī)單，支撐機(jī)器人策略在五類任務(wù)中實(shí)現(xiàn)成功率的大幅提升。從整體表現(xiàn)來(lái)看，各方法的成功率提升對(duì)比結(jié)果清晰顯示 VLAW 的優(yōu)勢(shì)。

與基線方法的成功率提升對(duì)比。進(jìn)行了兩輪迭代訓(xùn)練，「Ours-1」表示 VLAW 方法經(jīng)過(guò)第一輪在線 rollout 后的結(jié)果�？傮w而言，在多任務(wù)設(shè)置下 VLAW 持續(xù)優(yōu)于 Filtered BC 和 DSRL 基線

團(tuán)隊(duì)還可視化了真實(shí) rollout 與世界模型生成的合成 rollout 對(duì)比，清晰展現(xiàn)了經(jīng)校準(zhǔn)后的世界模型，能為真實(shí)世界的失敗案例找到成功的解決路徑，其生成的合成數(shù)據(jù)具備極高的訓(xùn)練價(jià)值。在真實(shí)世界 rollout 中，機(jī)器人未能抓住勺子、未能畫出完整的圓，而借助 VLAW 打磨后的世界模型，能從相同初始幀出發(fā)，為這些失敗案例生成成功的軌跡，讓機(jī)器人能從「失敗經(jīng)驗(yàn)」里學(xué)會(huì)正確的做法，這正是世界模型實(shí)用化的核心體現(xiàn)。

GT 代表真實(shí)世界的 rollout，0~14 代表世界模型生成的多種想象軌跡，所有軌跡均從相同的 GT 初始幀出發(fā)并使用 π0.5 策略。在真實(shí)世界 rollout 中，機(jī)器人未能抓住勺子（左，GT）且未能畫出完整的圓（右，GT）。借助世界模型，我們能為這些失敗案例找到成功的軌跡，這對(duì)策略學(xué)習(xí)具有重要意義

不僅如此，消融實(shí)驗(yàn)還進(jìn)一步證明了 VLAW 打磨世界模型的核心邏輯：如果減少世界模型生成的合成數(shù)據(jù)的數(shù)量，或是直接移除校準(zhǔn)世界模型的真實(shí)數(shù)據(jù)，機(jī)器人策略的性能都會(huì)明顯下降。這意味著，世界模型的校準(zhǔn)質(zhì)量和合成數(shù)據(jù)產(chǎn)出量，直接決定了機(jī)器人策略的提升效果，也再次印證了「讓世界模型變得有用」是 VLAW 框架的核心關(guān)鍵。

消融實(shí)驗(yàn)研究了 (1) 用于策略微調(diào)的合成數(shù)據(jù)量（從 500 條減少到 250 條）和 (2) 微調(diào)時(shí)是否包含真實(shí)世界 rollout 數(shù)據(jù)（50 條）。實(shí)驗(yàn)發(fā)現(xiàn)，減少合成軌跡數(shù)量或移除真實(shí)世界數(shù)據(jù)集都會(huì)導(dǎo)致性能下降

未來(lái)：

機(jī)器人先在想象里「滿級(jí)」

再落地真實(shí)生活

目前 VLAW 的實(shí)驗(yàn)驗(yàn)證集中在五類任務(wù)上，研究團(tuán)隊(duì)表示，未來(lái)的研究將圍繞世界模型的規(guī)�；头夯哉归_(kāi)，持續(xù)提升世界模型的能力，讓其能適配更多場(chǎng)景、更強(qiáng)的模型，真正成為通用機(jī)器人策略學(xué)習(xí)的核心工具：

一是把真實(shí)試錯(cuò)數(shù)據(jù)擴(kuò)展到更多樣的機(jī)器人操控任務(wù)中，提升世界模型的通用泛化能力；

二是結(jié)合更先進(jìn)的視頻生成模型，讓世界模型的視覺(jué)預(yù)測(cè)和物理建模能力更上一層樓。

在研究團(tuán)隊(duì)看來(lái)，隨著視頻生成模型的持續(xù)發(fā)展，以及大規(guī)模機(jī)器人交互數(shù)據(jù)的不斷積累，讓世界模型變得更通用、更精準(zhǔn)、更實(shí)用，并基于打磨后的世界模型構(gòu)建訓(xùn)練范式，將成為通用機(jī)器人策略學(xué)習(xí)的核心方向。

未來(lái)的機(jī)器人，或許會(huì)先在由優(yōu)質(zhì)世界模型打造的虛擬世界里完成「滿級(jí)訓(xùn)練」，把各種技能練到爐火純青，再無(wú)縫落地到真實(shí)世界，從容完成各類復(fù)雜的操控任務(wù)。而 VLAW，正是世界模型實(shí)用化的重要探索，為這一未來(lái)方向奠定了堅(jiān)實(shí)的基礎(chǔ)。