金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

整整三天，一波接一波連續(xù)開源。

在機(jī)器人的眼睛（LingBot-Depth）和機(jī)器人的大腦（LingBot-VLA）之后，剛剛，螞蟻靈波又開源了一個(gè)大的：

通用的世界模型——LingBot-World。

是可以支持在10分鐘時(shí)長里，一直生成、一直交互的那種，來感受一下這個(gè)feel：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

不難看出，視覺效果已經(jīng)做到了與DeepMind推出的Genie 3不相上下，但時(shí)間維度上明顯是更長。

而且LingBot-World生成的視頻不只是能看，你也可以深度參與其中。

你可以通過鍵盤（WASD）和鼠標(biāo)，實(shí)時(shí)控制視角的推進(jìn)、旋轉(zhuǎn)，就像在玩一款3A大作一樣：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

當(dāng)然，Agent也能夠在生成的世界中自主規(guī)劃并執(zhí)行動(dòng)作。

與此同時(shí)，你也可以用自然語言的方式去實(shí)時(shí)改變生成世界里的一切。

例如我們“喂”給LingBot-World這樣一張初始圖：

只需輸入“前面放個(gè)煙花”（0-10s）、“變成冰雪世界”（10-20s），LingBot-World就會(huì)從這張圖開始按照你的要求生成下去：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

言出法隨，真·言出法隨。

不僅如此，LingBot-World一致性這塊也是拿捏的非常到位，例如下面的科幻場景，不論是遠(yuǎn)景還是近景，那個(gè)光圈始終保持高度的一致性：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

除了一致性之外，記憶力這塊也是值得說道說道。

即便畫面已經(jīng)離開了視頻中的貓咪一段時(shí)間，但當(dāng)鏡頭轉(zhuǎn)回來，LingBot-World還能保持持續(xù)的記憶，并推斷貓咪在屏外的行為。

就仿佛一切都在自然演進(jìn)、發(fā)生一樣：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

并且LingBot-World還嚴(yán)格遵循現(xiàn)實(shí)世界的物理規(guī)律，同樣是這只貓咪，當(dāng)它撞到沙發(fā)的時(shí)候就不會(huì)出現(xiàn)穿模的情況，會(huì)顯得更加真實(shí)：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

如此效果，也難怪剛剛發(fā)布，就已經(jīng)在國內(nèi)外的網(wǎng)上掀起了不小的熱議：

• 真正的突破不在于視覺。而是它將記憶力、交互和持續(xù)性整合到了一起。

但最最最關(guān)鍵的是，不同于Genie 3的閉源，LingBot-World選擇的是完全開源！

這也成了網(wǎng)友們直呼“Amazing”的重點(diǎn)：

• 對開源社區(qū)來說是個(gè)巨大的勝利。
• 如此開源對具身智能來說是個(gè)巨大進(jìn)步。

那么LingBot-World到底是如何做到的呢？

相關(guān)論文也已新鮮出爐，我們這就來一探究竟。

LingBot-World是如何煉成的？

從剛才的效果展示和網(wǎng)友討論中，我們不難發(fā)現(xiàn)世界模型的三大核心難點(diǎn)：

一致性交互性實(shí)時(shí)性

因?yàn)樗幌馎I視頻生成那樣，視覺上或許能達(dá)標(biāo)，但最重要的是要按照嚴(yán)格物理規(guī)律持續(xù)地生成下去；從這個(gè)層面上來看，更像是一個(gè)世界模擬器

為了做到這一點(diǎn)，螞蟻靈波團(tuán)隊(duì)先是在數(shù)據(jù)層面下了一番功夫。

LingBot-World先是構(gòu)建了一個(gè)混合數(shù)據(jù)引擎。

一方面，他們收集了海量的真實(shí)世界視頻（包括第一人稱和第三人稱視角）；另一方面，利用虛幻引擎（Unreal Engine）合成數(shù)據(jù)，通過游戲引擎生成的畫面，自帶完美的相機(jī)位姿和物理碰撞信息，這是讓模型學(xué)會(huì)因果關(guān)系的關(guān)鍵。

其次是分層標(biāo)注策略，不同于傳統(tǒng)籠統(tǒng)的視頻描述，LingBot-World將描述拆解為三個(gè)層級(jí)：

• 敘事描述（Narrative Caption）：講故事，描述視頻的整體情節(jié)和環(huán)境變化。
• 靜態(tài)場景描述（Scene-Static Caption）：只描述環(huán)境，刻意忽略動(dòng)作。這讓模型學(xué)會(huì)將背景與運(yùn)動(dòng)解耦。
• 密集時(shí)序描述（Dense Temporal Caption）：精確到秒的動(dòng)作描述，比如“第5秒向左轉(zhuǎn)，看到了一根柱子”。

數(shù)據(jù)層面之后，就是在模型層面上的創(chuàng)新。

LingBot-World并沒有從零開始“硬Train”，而是采取了三階段進(jìn)化策略

階段一是預(yù)訓(xùn)練，目標(biāo)是先生成一個(gè)世界。

團(tuán)隊(duì)基于視頻生成模型進(jìn)行初始化。這一步不追求交互，只為了讓模型擁有強(qiáng)大的通用視頻生成能力，能夠畫出高保真的紋理和光影。

階段二是中訓(xùn)練，目的是讓模型掌握物理規(guī)律。

為此，團(tuán)隊(duì)引入了混合專家模型架構(gòu)，這些專家會(huì)負(fù)責(zé)大到構(gòu)建全局結(jié)構(gòu)和粗略布局（比如山在哪里，路通向哪）的工作，小到填充紋理細(xì)節(jié)（比如水面的波紋，葉子的脈絡(luò)）等。

在這個(gè)階段，模型被注入了大量的交互數(shù)據(jù)和游戲邏輯，學(xué)會(huì)了“如果我按下W鍵，畫面應(yīng)該怎么變”。同時(shí)，通過漸進(jìn)式課程學(xué)習(xí)，模型開始涌現(xiàn)出空間記憶能力，解決了長視頻生成的災(zāi)難性遺忘問題。

階段三是后訓(xùn)練，劍指實(shí)時(shí)性。

由于傳統(tǒng)的雙向擴(kuò)散模型太慢，團(tuán)隊(duì)引入了因果注意力機(jī)制和少步蒸餾技術(shù)。

將推理過程從雙向推演變成了自回歸生成，在保證畫質(zhì)的前提下，將延遲壓縮到了1秒以內(nèi)（16fps生成速度），真正實(shí)現(xiàn)了Real-time Playable。

如此操作下來，在與Genie 3、Mirage 2等頂尖模型的對比過程中，性能上便取得了較為明顯的優(yōu)勢。

尤其是在長時(shí)序一致性和記憶力方面，LingBot-World是做到了生成即記住

螞蟻靈波的布局一下子清晰了

若是單點(diǎn)看LingBot-World這項(xiàng)技術(shù)的開源，或許你會(huì)覺得它可能只是一個(gè)好玩、好用的世界模擬器。

但如果結(jié)合前兩天發(fā)布的LingBot-Depth和LingBot-VLA，你會(huì)發(fā)現(xiàn)，螞蟻靈波正在下一盤很大的棋。

因?yàn)樗粌H僅是三次開源動(dòng)作這么簡單，背后更是一套完整的具身智能基礎(chǔ)設(shè)施

首先是機(jī)器人的眼睛（感知），即LingBot-Depth。

螞蟻靈波的LingBot-Depth通過掩碼深度建模，把傳感器缺失的信號(hào)視為掩碼，利用視覺上下文把深度圖補(bǔ)全。

結(jié)果就是讓機(jī)器人即使是面對反光、透明的物體，也能看清楚真實(shí)的世界。

其次是機(jī)器人的大腦（決策），即LingBot-VLA。

在20000小時(shí)真實(shí)世界數(shù)據(jù)加持下，機(jī)器人能夠更精準(zhǔn)地進(jìn)行操作，并且更具備極強(qiáng)的泛化能力。

不僅在三個(gè)不同機(jī)器人平臺(tái)上完成了100項(xiàng)任務(wù)，成功率碾壓同類模型，訓(xùn)練吞吐量更是現(xiàn)有框架的1.5到2.8倍。

最后就是機(jī)器人的環(huán)境（模擬），也就是今天新鮮開源的LingBot-World。

因?yàn)檎鎸?shí)世界訓(xùn)練機(jī)器人太貴、太慢，也存在一定的安全隱患；但在這里，它能生成無窮無盡的虛擬環(huán)境，并且符合物理規(guī)律。

不過有一說一，這三個(gè)動(dòng)作并非是簡單做加法，實(shí)際上是產(chǎn)生了1+1+1 > 3的化學(xué)反應(yīng)：

LingBot-VLA可以在LingBot-World生成的虛擬環(huán)境中進(jìn)行千萬次推演（Sim-to-Real），以極低的成本學(xué)習(xí)物理規(guī)律。

LingBot-World生成的視頻具有極強(qiáng)的一致性，可以直接轉(zhuǎn)化為高質(zhì)量的3D點(diǎn)云，反過來作為訓(xùn)練數(shù)據(jù)，讓LingBot-Depth看得更準(zhǔn)。

VLA在真實(shí)世界的反饋，又能優(yōu)化World模型的物理準(zhǔn)度，讓模擬更逼真。

很明顯，是圍繞具身智能的一個(gè)完整閉環(huán)

由此，螞蟻靈波下的這盤大棋也就非常清晰了——

把感知（LingBot-Depth）、決策（LingBot-VLA）、模擬（LingBot-World）這三大核心件全部開源，試圖為整個(gè)行業(yè)提供一套可復(fù)用、標(biāo)準(zhǔn)化的產(chǎn)業(yè)基礎(chǔ)設(shè)施。

但從更長遠(yuǎn)角度來看，或許螞蟻靈波目前聚焦在具身智能還只是一個(gè)主線，因?yàn)槿绱藦?fù)用性，同樣也可以用于游戲、AIGC和自動(dòng)駕駛等。

螞蟻靈波的這盤棋，很有可能還將擴(kuò)局。

One More Thing：

縱觀螞蟻靈波這三天的開源，一個(gè)很直接的體感就是真實(shí)。

這不，為了證明LingBot-World不只是個(gè)demo，團(tuán)隊(duì)還把實(shí)施部署的視頻給放出來了：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

項(xiàng)目主頁：
https://technology.robbyant.com/lingbot-world

GitHub：
https://github.com/Robbyant/lingbot-world-Tech

論文地址：
https://github.com/Robbyant/lingbot-world/blob/main/LingBot_World_paper.pdf

項(xiàng)目權(quán)重：
https://huggingface.co/collections/robbyant/lingbot-world
https://www.modelscope.cn/collections/Robbyant/LingBot-World