大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自頭部科技

文丨丁靈波

今天，國(guó)內(nèi)具身智能明星公司 星海圖發(fā)表了一篇新論文， 星海圖聯(lián)合創(chuàng)始人兼首席科學(xué)家趙行發(fā)帖表示：最近對(duì)世界行動(dòng)模型（WAM）的研究發(fā)現(xiàn)，WAM的核心優(yōu)勢(shì)不在于測(cè)試時(shí)對(duì)未來(lái)的“想象”，而在于訓(xùn)練時(shí)來(lái)自未來(lái)視頻預(yù)測(cè)的監(jiān)督。

該團(tuán)隊(duì)提出了Fast-WAM，它使推理變得簡(jiǎn)單、快速且以策略為中心。

趙行除了在公司任職，目前也擔(dān)任清華大學(xué)交叉信息學(xué)院的助理教授、Mars lab主任；2026年2月，星海圖完成10億元B輪融資，截至本輪，該公司累計(jì)融資額近30億元，估值達(dá)百億級(jí)別。

這篇新論文引起了不少業(yè)內(nèi)研究員關(guān)注和評(píng)論，AI圈知名青年學(xué)者、現(xiàn)任AMI聯(lián)合創(chuàng)始人兼首席科學(xué)官的謝賽寧轉(zhuǎn)發(fā)稱：“ 最好與LeWorldModel論文一起閱讀，別問(wèn)我為什么。 ”

謝賽寧提到的“ LeWorldModel”是圖靈獎(jiǎng)得主、AMI創(chuàng)立者Yann LeCun最新發(fā)表的另一篇論文成果。

一起來(lái)看看，這兩項(xiàng)最新研究都講了什么。

比現(xiàn)有WAM快4倍以上

在目前的具身控制領(lǐng)域中，世界動(dòng)作模型（WAMs）被視為替代視覺(jué)-語(yǔ)言-動(dòng)作（VLA）模型的一種極具前景的方案。

現(xiàn)有大多數(shù)WAM均采用先想象后執(zhí)行范式，迭代式視頻去噪會(huì)產(chǎn)生顯著的測(cè)試時(shí)延，然而，顯式預(yù)測(cè)未來(lái)畫面對(duì)實(shí)現(xiàn)優(yōu)異動(dòng)作性能是否必不可少，目前尚不明確。

星海圖（Galaxea AI）團(tuán)隊(duì)在新論文中展開探討：WAM在測(cè)試階段是否需要顯式的未來(lái)想象，其性能增益是否主要來(lái)自訓(xùn)練階段的視頻建模？

該團(tuán)隊(duì)提出了Fast-WAM架構(gòu)，將訓(xùn)練階段的視頻建模與推理階段的顯式未來(lái)生成解耦——該架構(gòu)在訓(xùn)練時(shí)保留視頻聯(lián)合訓(xùn)練，測(cè)試時(shí)則跳過(guò)未來(lái)預(yù)測(cè)環(huán)節(jié)，此外，還進(jìn)一步設(shè)計(jì)了多種Fast-WAM變體，以實(shí)現(xiàn)對(duì)這兩種因素的對(duì)照研究。

簡(jiǎn)單來(lái)說(shuō)，F(xiàn)ast-WAM基于預(yù)訓(xùn)練的視頻擴(kuò)散變換器骨干網(wǎng)絡(luò)和動(dòng)作專家DiT構(gòu)建。

在訓(xùn)練過(guò)程中，它聯(lián)合學(xué)習(xí)動(dòng)作預(yù)測(cè)和視頻建模，從而使共享的視覺(jué)骨干網(wǎng)絡(luò)獲得更強(qiáng)的與世界相關(guān)的表征。

在推理階段，F(xiàn)ast-WAM僅保留當(dāng)前觀測(cè)中干凈的潛在標(biāo)記，并利用視頻主干網(wǎng)對(duì)其進(jìn)行一次處理，然后直接生成動(dòng)作，無(wú)需顯式地對(duì)后續(xù)視頻進(jìn)行去噪，這消除了先想象后執(zhí)行的WAM的主要運(yùn)行時(shí)瓶頸。

實(shí)驗(yàn)結(jié)果表明：Fast-WAM的性能與“先想象后執(zhí)行”類模型性能相當(dāng)，而移除視頻聯(lián)合訓(xùn)練會(huì)導(dǎo)致性能大幅下降。

在無(wú)需具身預(yù)訓(xùn)練的條件下，F(xiàn)ast-WAM在仿真基準(zhǔn)（LIBERO、RoboTwin）和真實(shí)世界任務(wù)上均取得了與當(dāng)前最優(yōu)方法可比的效果，該模型可實(shí)時(shí)運(yùn)行，時(shí)延僅190毫秒，速度比現(xiàn)有先想象后執(zhí)行的WAM快4倍以上。

而“先想象后執(zhí)行”類變體則明顯更慢，尤其是Fast-WAM-IDM時(shí)延高達(dá)810毫秒，這使得Fast-WAM成為更適合實(shí)際部署的優(yōu)選方案，在保持出色任務(wù)性能的同時(shí)，大幅降低了推理開銷。

通過(guò)在仿真與真實(shí)機(jī)器人基準(zhǔn)上的對(duì)照實(shí)驗(yàn)（含有無(wú)視頻聯(lián)合訓(xùn)練的變體），該團(tuán)隊(duì)證明WAM中視頻預(yù)測(cè)的主要價(jià)值，更多體現(xiàn)在訓(xùn)練階段學(xué)習(xí)更優(yōu)質(zhì)的世界表征，而非測(cè)試階段生成未來(lái)觀測(cè)。

單GPU可跑的世界模型

而謝賽寧建議和Fast-WAM一起看的“LeWorldModel”是Yann LeCun近期署名的一篇新作，也是對(duì)他此前提出的聯(lián)合嵌入預(yù)測(cè)架構(gòu)（JEPA）的一種優(yōu)化延展。

人工智能的核心目標(biāo)之一，是研發(fā)能夠在多樣化任務(wù)與環(huán)境中習(xí)得技能的智能體，世界模型（WMs）被視為是一種頗具潛力的方法，一旦訓(xùn)練成功，世界模型能讓智能體僅依靠自身構(gòu)建的世界模型進(jìn)行規(guī)劃與自我提升，即在想象空間中完成學(xué)習(xí)。

這在離線學(xué)習(xí)場(chǎng)景下尤為重要：智能體只能從固定數(shù)據(jù)集中學(xué)習(xí)，無(wú)法與環(huán)境交互，可借助世界模型生成仿真經(jīng)驗(yàn)，并評(píng)估反事實(shí)動(dòng)作序列。

一種主流的世界模型學(xué)習(xí)方法便是聯(lián)合嵌入預(yù)測(cè)架構(gòu)（JEPA），JEPA并不試圖建模環(huán)境的全部細(xì)節(jié)，而是專注于捕捉預(yù)測(cè)未來(lái)狀態(tài)所需的最關(guān)鍵特征，盡管理念簡(jiǎn)潔，但現(xiàn)有JEPA方法極易發(fā)生表征坍縮，避免坍縮是訓(xùn)練JEPA模型的核心挑戰(zhàn)之一。

為突破這項(xiàng)挑戰(zhàn)，該團(tuán)隊(duì)提出了LeWorldModel（LeWM），該方法首次實(shí)現(xiàn)了從原始像素端到端學(xué)習(xí)穩(wěn)定的JEPA模型。

值得關(guān)注的是，LeWM僅是一個(gè)1500萬(wàn)參數(shù)的緊湊模型，可在單張GPU上完成訓(xùn)練，大幅降低了相關(guān)研究的入門門檻。

研究人員在2D與3D環(huán)境中的各類操作、導(dǎo)航與運(yùn)動(dòng)任務(wù)上對(duì)LeWM進(jìn)行了全面評(píng)估，并檢驗(yàn)了模型對(duì)物理規(guī)律的直觀理解能力，LeWM與基于基礎(chǔ)模型的世界模型相比性能相當(dāng)，但成本大幅更低，規(guī)劃速度最高提升48倍。

整體而言，LeWM為現(xiàn)有隱式世界模型方法提供了一種可擴(kuò)展的替代方案，具備原理清晰的訓(xùn)練動(dòng)態(tài)，以及可解釋、可涌現(xiàn)的表征特性，論文最后也指明了幾個(gè)重要研究方向：

1、目前基于隱式世界模型的規(guī)劃仍局限于較短時(shí)域，層次化世界建模是解決長(zhǎng)時(shí)域推理與規(guī)劃的一個(gè)重要方向。

2、本方法仍依賴覆蓋度足夠的離線交互數(shù)據(jù)集，這類數(shù)據(jù)采集成本高、難度大，在大規(guī)模、多樣化的自然視頻數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，有望提供更強(qiáng)的表征先驗(yàn)，并降低對(duì)領(lǐng)域?qū)贁?shù)據(jù)的依賴。

3、當(dāng)前端到端隱式世界模型依賴動(dòng)作標(biāo)簽來(lái)預(yù)測(cè)未來(lái)狀態(tài)，而動(dòng)作標(biāo)注同樣獲取成本高昂，一個(gè)可行方向是通過(guò)逆動(dòng)力學(xué)建模學(xué)習(xí)未來(lái)動(dòng)作表征，從而減少對(duì)顯式動(dòng)作標(biāo)注的依賴。

結(jié)語(yǔ)：具身智能的技術(shù)拐點(diǎn)

業(yè)內(nèi)人士分析認(rèn)為，站在具身智能與人形機(jī)器人產(chǎn)業(yè)化的視角看，F(xiàn)ast-WAM和LeWM并不是兩篇孤立的學(xué)術(shù)進(jìn)展，而是世界模型從“概念驗(yàn)證”走向“真機(jī)落地”的關(guān)鍵拐點(diǎn)，世界模型驅(qū)動(dòng)具身智能即將邁向新階段。

前者解決了世界動(dòng)作模型跑不起來(lái)、時(shí)延太高的致命問(wèn)題，后者解決了JEPA世界模型訓(xùn)不出來(lái)、成本太高的工程死穴，一方面讓W(xué)AM級(jí)別能力滿足了真機(jī)實(shí)時(shí)控制的要求，另一方面，未來(lái)機(jī)器人可能不必再走“大模型暴力堆砌”的路線，輕量化世界模型同樣可以具備出色的物理推理能力。

這些技術(shù)進(jìn)展貼合機(jī)器人規(guī)?；涞匦枨?，未來(lái)1–2年，更好用的新一代機(jī)器人大腦正在呼之欲出 。

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！