再次刷新世界模型天花板。

世界模型賽道又卷出了新高度。

今天，北京智源人工智能研究院（BAAI）發(fā)布大規(guī)模多模態(tài)世界模型“悟界·Emu3.5”，它不僅能以驚人的逼真度模擬復(fù)雜的動態(tài)物理世界，還揭示了“多模態(tài)Scaling范式”的存在。

話不多說，讓我們先看效果。

?世界探索

?具身操作

?視覺指導(dǎo)

輸入Prompt “如何制作蝦仁芹菜餃子”，模型輸出從原料、拌餡兒、包餃子、煮餃子到最后上菜的過程，按步驟、有邏輯、符合事實(shí)，而且圖像生動逼真。

?視覺故事

?圖像編輯和生成

從OpenAI 的Sora到Goolge DeepMind 的Genie，從Yann LeCun的JEPA到李飛飛團(tuán)隊(duì)的Marble，巨頭菁英們紛紛入局，已經(jīng)充分證明了世界模型的潛力。

然而，當(dāng)視覺的“逼真度”趨于極限，一個更根本的問題浮出水面：

是否存在一條統(tǒng)一、簡潔且可規(guī)?；瘮U(kuò)展的路徑，從第一性原理出發(fā)，讓模型從海量的多模態(tài)數(shù)據(jù)中，自主學(xué)習(xí)到世界運(yùn)行的內(nèi)在因果與規(guī)律，讓模型真正（以自己的方式）掌握我們這個物理世界運(yùn)行的根本規(guī)律？

這正是智源研究院想要回答的問題。

01

悟界·Emu3.5：大道至簡與規(guī)?；牧α?/b>

2024年10月，智源發(fā)布了原生多模態(tài)世界模型“悟界·Emu3”，該模型基于單個Transformer模型進(jìn)行“下一個token預(yù)測”，無需擴(kuò)散模型或組合方法，實(shí)現(xiàn)了圖像、文本、視頻的大一統(tǒng)。模型一經(jīng)上線便在技術(shù)社區(qū)引發(fā)熱議。

不過，Emu3的成功也引出了更多值得探討的議題——模型如何高效學(xué)習(xí)長視頻？如何實(shí)現(xiàn)通用的多模態(tài)交互？如何在萬億乃至更多 token 下高效推理？

Emu3.5繼承并深化了Emu3的技術(shù)哲學(xué)：基于一個極其簡單、統(tǒng)一的自回歸預(yù)測目標(biāo)“下一狀態(tài)預(yù)測（Next-State Prediction，NSP）”，加上一個足夠通用的模型架構(gòu)，并在海量的多模態(tài)數(shù)據(jù)上充分訓(xùn)練。

而答案，也自動涌現(xiàn)。

1.原生多模態(tài)統(tǒng)一架構(gòu)

悟界·Emu3.5是一個單一的34B 稠密Transformer模型。不同模態(tài)的信息，從輸入端開始便被統(tǒng)一編碼為離散的Token序列。整個處理過程都是在一個端到端的、自回歸框架內(nèi)原生完成，實(shí)現(xiàn)了真正的模態(tài)統(tǒng)一。

2.“預(yù)測下一狀態(tài)”的單一目標(biāo)

Emu3.5的訓(xùn)練目標(biāo)只有一個：預(yù)測交錯的視覺-語言序列下一個最有可能的狀態(tài)（State）。這個目標(biāo)看似簡單，卻迫使模型學(xué)會洞察現(xiàn)實(shí)世界如何運(yùn)行。正如 LLM通過預(yù)測“下一個token”來學(xué)習(xí)人類語言，Emu3.5 通過預(yù)測“下一個狀態(tài)”，學(xué)會了動態(tài)物理世界的“語法”。

3.超 10 萬億 Token 的多模態(tài)數(shù)據(jù)集

智源Emu團(tuán)隊(duì)構(gòu)建了一個超過 10 萬億 token 的多模態(tài)數(shù)據(jù)集。其中，最關(guān)鍵的組成部分是訓(xùn)練時長總計約 790 年的視頻，以及這些視頻對應(yīng)的語音轉(zhuǎn)錄文本，兩者合在一起構(gòu)成了視頻-文本交錯數(shù)據(jù)（Video-Text Interleaved Data）。

通過將視頻幀與其對應(yīng)的語音轉(zhuǎn)錄文本交錯排列進(jìn)行訓(xùn)練，模型能沉浸式地接觸到時空、物理、因果等世界信息。

4.首次揭示多模態(tài)Scaling范式

Emu3.5的技術(shù)報告指出，隨著預(yù)訓(xùn)練計算量的持續(xù)增加，模型在分布外（Out-of-Distribution，OOD）的全新任務(wù)上的錯誤率呈現(xiàn)出可預(yù)測的、平滑的下降曲線。這意味著模型學(xué)到的世界知識，能夠穩(wěn)定地泛化至訓(xùn)練數(shù)據(jù)之外的未知領(lǐng)域。

悟界·Emu3.5 的優(yōu)化過程平滑穩(wěn)定，并在多個驗(yàn)證集上展現(xiàn)出強(qiáng)大且一致的泛化表現(xiàn)

從 Emu3 到 Emu3.5，模型規(guī)模從 8B 增加到 34B，視頻數(shù)據(jù)訓(xùn)練量從 15 年擴(kuò)展至 790 年，研究人員觀察到一系列核心指標(biāo)，包括時序一致性、跨模態(tài)語義推理、具身交互規(guī)劃等核心指標(biāo)，均有了顯著提升。

這一發(fā)現(xiàn)的重要性，不亞于當(dāng)年GPT-3論文揭示語言模型Scaling Law的情景。

Scaling Law之所以重要，在于進(jìn)步是可預(yù)測的，不再需要“撞大運(yùn)”式地調(diào)整模型結(jié)構(gòu)或訓(xùn)練技巧，只要持續(xù)增加投入，模型的性能就會穩(wěn)定提升。

對于企業(yè)和研究機(jī)構(gòu)而言，多模態(tài)Scaling范式的存在，意味著世界模型的研究也能夠從“煉金術(shù)”時代進(jìn)入“工程學(xué)”時代。

如果投入產(chǎn)出比是可計算的，無疑會極大地增強(qiáng)整個行業(yè)對大規(guī)模投入世界模型研發(fā)的信心。

02

開啟多模態(tài)世界模型的新時代

世界模型之所以成為必爭之地，在于其戰(zhàn)略意義：誰掌握了最強(qiáng)的世界模型，誰就掌握了通往通用機(jī)器人、L5自動駕駛乃至AGI的鑰匙。

Emu3.5提出的“原生多模態(tài)+單一自回歸”的技術(shù)范式，以及其所揭示的多模態(tài)Scaling范式，為整個領(lǐng)域提供了一條清晰的進(jìn)化路線。

這也預(yù)示著，接下來的世界模型競賽，將不再僅僅是生成視頻的質(zhì)量比拼，而是模型規(guī)模、數(shù)據(jù)規(guī)模、對物理世界理解深度等等的全方位的競爭。

我們正站在一個新時代的門檻上。智源悟界·Emu3.5，或?qū)⒊蔀橥苿訖C(jī)器從認(rèn)知到行動、從虛擬走向現(xiàn)實(shí)的那座關(guān)鍵里程碑。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。