機(jī)器之心編輯部

近期，圍繞「世界模型」這一方向，有兩項(xiàng)工作受到較多關(guān)注。

一篇是來自 Yann LeCun 團(tuán)隊(duì)的LeWorldModel，嘗試以更簡(jiǎn)潔的 JEPA 實(shí)現(xiàn)從像素端到端訓(xùn)練的世界模型，在降低訓(xùn)練復(fù)雜度的同時(shí)，驗(yàn)證了潛在空間中對(duì)物理結(jié)構(gòu)的刻畫能力。

另一篇是清華大學(xué)團(tuán)隊(duì)的Fast-WAM，則從應(yīng)用角度出發(fā)，重新審視當(dāng)前主流 World Action Model（WAM）的設(shè)計(jì)范式，探討「是否真的需要在推理階段顯式生成未來」這一關(guān)鍵問題，并給出了一種更高效的替代路徑。

兩項(xiàng)工作分別從「如何更簡(jiǎn)潔地學(xué)習(xí)世界」與「是否需要在推理中反復(fù)想象世界」兩個(gè)維度，對(duì)當(dāng)前世界模型的主流思路進(jìn)行了補(bǔ)充與修正，也為理解這一方向的技術(shù)演進(jìn)提供了不同切入點(diǎn)。

謝賽寧也建議將這兩篇論文結(jié)合起來閱讀。

讓我們一起看看這兩項(xiàng)工作的具體內(nèi)容。

世界模型在「做減法」：

從復(fù)雜系統(tǒng)到最小閉環(huán)

• 論文標(biāo)題：LeWorldModel: Stable End-to-End JEPA from Pixels
• 論文地址：https://le-wm.github.io/
• 項(xiàng)目地址：https://arxiv.org/pdf/2603.19312v1

聯(lián)合嵌入預(yù)測(cè)架構(gòu)（JEPA）為在緊湊的潛在空間中學(xué)習(xí)世界模型提供了一種頗具吸引力的框架。然而，現(xiàn)有方法仍然較為脆弱，往往依賴復(fù)雜的多項(xiàng)損失函數(shù)、指數(shù)滑動(dòng)平均（EMA）、預(yù)訓(xùn)練編碼器或額外的輔助監(jiān)督，才能避免表征坍塌。

在本工作中，研究團(tuán)隊(duì)提出了 LeWorldModel（LeWM），這是首個(gè)能夠從原始像素端到端穩(wěn)定訓(xùn)練的 JEPA 模型，僅使用兩個(gè)損失項(xiàng)：下一步嵌入預(yù)測(cè)損失，以及用于約束潛在嵌入服從高斯分布的正則項(xiàng)。相比目前唯一的端到端替代方案，該方法將可調(diào)的損失超參數(shù)數(shù)量從六個(gè)減少到一個(gè)。

LeWM 僅約 1500 萬(wàn)參數(shù)，可在單張 GPU 上數(shù)小時(shí)內(nèi)完成訓(xùn)練；在規(guī)劃速度上，相比基于基礎(chǔ)模型的世界模型最高可提升約 48 倍，同時(shí)在多樣的 2D 與 3D 控制任務(wù)中仍保持具有競(jìng)爭(zhēng)力的表現(xiàn)。除了控制任務(wù)之外，我們還通過對(duì)物理量的探測(cè)實(shí)驗(yàn)表明，LeWM 的潛在空間能夠編碼有意義的物理結(jié)構(gòu)。進(jìn)一步的「驚訝度」評(píng)估顯示，該模型能夠可靠地檢測(cè)出物理上不合理的事件。

方法

這篇論文的方法可以概括為一個(gè)在潛在空間中完成建模與決策的端到端世界模型框架。

具體而言，LeWM 由兩個(gè)模塊組成：視覺編碼器和動(dòng)力學(xué)預(yù)測(cè)器。編碼器將原始像素觀測(cè)映射為低維潛在表示；預(yù)測(cè)器則基于當(dāng)前表示和動(dòng)作，預(yù)測(cè)下一時(shí)刻的潛在狀態(tài)，從而刻畫環(huán)境的演化過程。整個(gè)模型從原始像素出發(fā)聯(lián)合訓(xùn)練，不依賴預(yù)訓(xùn)練特征或額外組件。

訓(xùn)練采用離線、無(wú)獎(jiǎng)勵(lì)的設(shè)置，僅使用觀測(cè)序列與動(dòng)作。目標(biāo)函數(shù)包括兩部分：一是相鄰時(shí)間步之間的嵌入預(yù)測(cè)損失，用于學(xué)習(xí)可預(yù)測(cè)的表示；二是分布正則項(xiàng)，通過約束潛在表示在隨機(jī)方向上的投影接近高斯分布，避免表征坍塌。這一設(shè)計(jì)在不引入額外穩(wěn)定技巧的情況下，實(shí)現(xiàn)了端到端訓(xùn)練。

在獲得潛在動(dòng)態(tài)模型后，決策階段直接在潛在空間中進(jìn)行。給定當(dāng)前觀測(cè)和目標(biāo)觀測(cè)，模型將其編碼為潛在表示，并通過預(yù)測(cè)器對(duì)候選動(dòng)作序列進(jìn)行前向展開（rollout），選擇最終狀態(tài)最接近目標(biāo)的序列（通過交叉熵方法優(yōu)化）。實(shí)際執(zhí)行中采用模型預(yù)測(cè)控制（MPC），每次僅執(zhí)行部分動(dòng)作，再基于新觀測(cè)重新規(guī)劃，以減少誤差累積。

整體來看，LeWM 將表示學(xué)習(xí)、動(dòng)態(tài)建模與規(guī)劃統(tǒng)一在同一潛在空間中，形成從像素輸入到動(dòng)作輸出的閉環(huán)過程。

還需要「想象未來」嗎：

WAM 范式的再審視

• 論文標(biāo)題：Fast-WAM: Do World Action Models Need Test-time Future Imagination?
• 論文地址：https://yuantianyuan01.github.io/FastWAM/
• 項(xiàng)目地址：https://arxiv.org/abs/2603.16666

世界動(dòng)作模型（World Action Models, WAMs）因能夠顯式建模視覺觀測(cè)在動(dòng)作作用下的演化過程，被認(rèn)為是具身控制中替代 VLA 模型的一種有前景的方案。

現(xiàn)有大多數(shù) WAM 采用「先想象、再執(zhí)行」的范式，但由于需要進(jìn)行迭代式的視頻去噪，這在測(cè)試階段會(huì)帶來較高的延遲。同時(shí)，一個(gè)關(guān)鍵問題仍未被回答：顯式的未來想象，是否真的是實(shí)現(xiàn)強(qiáng)動(dòng)作性能所必需的？

本文探討：WAM 在測(cè)試階段是否必須進(jìn)行顯式的未來想象，還是其性能提升主要來源于訓(xùn)練階段的視頻建模能力。

為此，研究團(tuán)隊(duì)提出了 Fast-WAM，一種在訓(xùn)練中保留視頻協(xié)同訓(xùn)練，但在測(cè)試時(shí)跳過未來預(yù)測(cè)的新型 WAM 架構(gòu)。在多組對(duì)照實(shí)驗(yàn)中，F(xiàn)ast-WAM 在性能上依然可以與「先想象再執(zhí)行」的模型競(jìng)爭(zhēng)，而一旦移除視頻協(xié)同訓(xùn)練，性能則會(huì)顯著下降。

實(shí)驗(yàn)結(jié)果表明，在無(wú)需具身預(yù)訓(xùn)練的情況下，F(xiàn)ast-WAM 在 LIBERO、RoboTwin 以及真實(shí)世界的毛巾折疊任務(wù)中均取得了具有競(jìng)爭(zhēng)力的表現(xiàn)。同時(shí)，其推理延遲僅為 190 毫秒，可實(shí)現(xiàn)實(shí)時(shí)運(yùn)行，相比現(xiàn)有「先想象再執(zhí)行」的 WAM 設(shè)計(jì)提速超過 4 倍。

方法

這篇論文的方法核心，是將「訓(xùn)練階段學(xué)到的能力」和「測(cè)試階段是否顯式調(diào)用這些能力」進(jìn)行拆分。

Fast-WAM 在結(jié)構(gòu)上仍屬于標(biāo)準(zhǔn)世界模型：輸入視覺觀測(cè)和動(dòng)作，學(xué)習(xí)環(huán)境隨動(dòng)作變化的動(dòng)態(tài)。但關(guān)鍵區(qū)別在于，它將視頻建模僅保留在訓(xùn)練階段，而不在推理時(shí)顯式展開。

在訓(xùn)練過程中，模型通過視頻協(xié)同訓(xùn)練學(xué)習(xí)從當(dāng)前觀測(cè)和動(dòng)作預(yù)測(cè)未來視覺變化，從而在內(nèi)部形成對(duì)環(huán)境演化的表征。這一點(diǎn)與傳統(tǒng)「先想象再執(zhí)行」的方法一致。

但在測(cè)試階段，F(xiàn)ast-WAM 不再生成未來視頻軌跡，也不進(jìn)行迭代去噪，而是直接基于當(dāng)前觀測(cè)輸出動(dòng)作。換句話說，原本需要在推理時(shí)顯式展開的「未來想象」，被轉(zhuǎn)化為訓(xùn)練階段隱式學(xué)到的能力。

實(shí)驗(yàn)表明，只要保留訓(xùn)練階段的視頻建模能力，即使移除測(cè)試時(shí)的顯式想象過程，模型性能仍能保持；反之，如果缺少視頻建模能力，性能則會(huì)明顯下降。這說明，WAM 的關(guān)鍵不在于推理時(shí)是否生成未來，而在于訓(xùn)練過程中是否學(xué)到了環(huán)境動(dòng)態(tài)。

更多技術(shù)細(xì)節(jié)請(qǐng)參見原論文。