AI 真的理解世界嗎？

當(dāng)一個(gè)杯子從桌面掉落，大語言模型可以告訴你 “它會(huì)碎”，卻無法推演這個(gè)過程：它如何下落？碎片如何飛散？液體如何濺開？

這揭示了一個(gè)關(guān)鍵問題：語言只是對(duì)世界的抽象描述，它可以表達(dá)結(jié)果，卻無法刻畫過程。真實(shí)世界并不是符號(hào)組成的，而是連續(xù)變化的物理系統(tǒng)。

相比之下，視覺直接記錄了世界的演化 —— 物體的結(jié)構(gòu)、運(yùn)動(dòng)以及背后的因果關(guān)系，都體現(xiàn)在視覺信號(hào)中。這使得視覺成為 AI 學(xué)習(xí)世界變化最直接、最完整的信息來源。

圖 1：語言只能對(duì)事件結(jié)果進(jìn)行抽象概括，而視覺才能呈現(xiàn)世界變化的連續(xù)過程。

這也是為什么越來越多研究者如 Yann LeCun，F(xiàn)ei-Fei Li 等開始重新思考：如果世界模型是通向通用智能的關(guān)鍵，那么它的起點(diǎn)不應(yīng)該是語言，而應(yīng)該是視覺。

人類理解世界，不只是 “說出結(jié)論”，而是 “看見變化”。視覺世界模型的目標(biāo)，正是讓 AI 通過視覺學(xué)習(xí)世界的運(yùn)行規(guī)律，并據(jù)此推演未來。

為了理清視覺與世界模型之間的深層聯(lián)系，并為該領(lǐng)域的未來研究提供一張清晰的脈絡(luò)圖，北京交通大學(xué)靳瀟杰、魏云超、趙耀等學(xué)者聯(lián)合新加坡國立大學(xué)、騰訊、字節(jié)等國內(nèi)外研究機(jī)構(gòu)知名學(xué)者，發(fā)布了首篇視覺世界模型長篇綜述：From Seeing to Knowing the World: A Survey of Vision World Models。

這項(xiàng)工作提出了一次關(guān)鍵的概念轉(zhuǎn)變：視覺不應(yīng)僅僅被視為一種輸入模態(tài)，而應(yīng)成為塑造世界模型表征方式、學(xué)習(xí)機(jī)制以及評(píng)估體系的核心驅(qū)動(dòng)力。 在這一 “以視覺為中心” 的視角下，研究團(tuán)隊(duì)不僅首次系統(tǒng)性定義了視覺世界模型，還構(gòu)建了一個(gè)貫通 “表征 - 學(xué)習(xí) - 模擬” 的統(tǒng)一分析框架，在同一框架下重組四大技術(shù)路線、厘清評(píng)測(cè)體系，并進(jìn)一步提出面向下一代世界模型的關(guān)鍵研究方向。調(diào)研的最新進(jìn)展截止至 2026 年 4 月 1 日。

• 論文標(biāo)題： From Seeing to Knowing the World: A Survey of Vision World Models
• 項(xiàng)目主頁：https://aiworldlab.github.io/survey/
• 論文鏈接：https://aiworldlab.github.io/survey/preprint.pdf
• 代碼 / 資源整理：https://github.com/AIWorldLab/Awesome-Vision-World-Model

1. 為什么現(xiàn)在需要一篇視覺世界模型綜述？

世界模型已經(jīng)成為當(dāng)前 AI 研究中最受關(guān)注的話題之一，該方向的發(fā)展跨視頻生成、表征學(xué)習(xí)、具身智能、自動(dòng)駕駛等多個(gè)研究社區(qū)。這些路線普遍開始依賴視覺信號(hào)，但在多數(shù)范式中，視覺仍更多被視為一種觀測(cè)輸入：視頻生成方法更關(guān)注未來內(nèi)容的視覺逼真度與時(shí)空一致性，表征預(yù)測(cè)方法強(qiáng)調(diào)在潛在空間中捕捉世界演化的預(yù)測(cè)結(jié)構(gòu)，而狀態(tài)轉(zhuǎn)移和具身智能相關(guān)方法則更重視基于緊湊狀態(tài)進(jìn)行長時(shí)程推演與決策支持。

圖 2：視覺世界模型研究技術(shù)路線。上半部分梳理主流模型架構(gòu)，下半部分歸納不同領(lǐng)域中的數(shù)據(jù)集與評(píng)測(cè)基準(zhǔn)。

雖然這些路線都在嘗試回答 “AI 如何從視覺中建立對(duì)世界變化的內(nèi)部模型” 這一核心問題，但它們長期沿著各自的范式獨(dú)立發(fā)展，存在定義不統(tǒng)一、分類彼此割裂、評(píng)測(cè)標(biāo)準(zhǔn)難以對(duì)齊等問題。

也正因如此，當(dāng)前迫切需要一篇真正以視覺為中心、能夠在統(tǒng)一框架下重新組織這一領(lǐng)域的系統(tǒng)綜述。相比于單純匯總已有工作，這篇綜述更重要的地方在于提出了一次關(guān)鍵的視角轉(zhuǎn)換：視覺不應(yīng)僅僅被視為世界模型的輸入模態(tài)，而應(yīng)成為定義模型如何表征世界、學(xué)習(xí)規(guī)律與評(píng)估能力的核心出發(fā)點(diǎn)。

2. 視覺世界模型統(tǒng)一框架

團(tuán)隊(duì)首先給出了 VWM 簡(jiǎn)潔且明確的定義：視覺世界模型能夠從視覺數(shù)據(jù)中學(xué)習(xí)世界知識(shí)，并基于交互條件生成未來世界狀態(tài)。

并將 VWM 的研究統(tǒng)一為一個(gè)框架內(nèi)的三個(gè)核心組件：

• 視覺編碼 (Vision Encoding)： 如何將各類原始視覺信號(hào)（圖像、視頻、點(diǎn)云、光流信息等）轉(zhuǎn)化為利于建模世界變化的表征。
• 知識(shí)學(xué)習(xí) (Knowledge Learning)： 模型需要從視覺中到底學(xué)到了什么？我們將其歸納為三個(gè)遞進(jìn)的層次：時(shí)空連貫性（Spatio-temporal Coherence）、物理動(dòng)力學(xué)（Physical Dynamics）以及因果機(jī)制（Causal Mechanisms）。具體而言，時(shí)空連貫性要求物體在空間與時(shí)間上的持續(xù)性，其位置和形態(tài)變化保持連貫；物理動(dòng)力學(xué)為物體在重力、接觸、運(yùn)動(dòng)等物理約束下的變化規(guī)律，保證未來演化的物理合理性；而因果機(jī)制則表示動(dòng)作、事件與結(jié)果之間的因果關(guān)系，使模型能夠理解 “做什么會(huì)導(dǎo)致什么”。
• 可控模擬 (Controllable Simulation)： 基于學(xué)到的知識(shí)，模型在交互條件（如機(jī)器人動(dòng)作、文本指令）的引導(dǎo)下，對(duì)未來的潛在狀態(tài)進(jìn)行推演。

圖 3：視覺世界模型統(tǒng)一框架。從視覺編碼、知識(shí)學(xué)習(xí)到可控模擬，系統(tǒng)刻畫 VWM 如何從觀測(cè)中學(xué)習(xí)世界規(guī)律，并在交互條件下推演未來，實(shí)現(xiàn)閉環(huán)模擬。

這個(gè)框架的重要性在于，它第一次比較系統(tǒng)地回答了：一個(gè)視覺世界模型到底應(yīng)該學(xué)什么，靠什么學(xué)，又該如何被控制和評(píng)估。

3. 當(dāng)前視覺世界模型，主要分成哪幾條技術(shù)路線？

依據(jù)上述統(tǒng)一框架，現(xiàn)有方法可被歸納成四大代表性范式，包含七種子范式。研究團(tuán)隊(duì)不再把這些路線割裂開，而是放到同一套框架下進(jìn)行比較。

圖 4：視覺世界模型方法架構(gòu)圖。每類范式上半部分展示模型架構(gòu)，下半部分給出其如何實(shí)現(xiàn)視覺編碼、知識(shí)學(xué)習(xí)和可控模擬的過程。

1. 序列生成（Sequential Generation）

通常會(huì)把圖像或視頻轉(zhuǎn)成 token 序列，然后像語言模型一樣一步一步預(yù)測(cè)未來。它的優(yōu)勢(shì)是可擴(kuò)展性強(qiáng)、適合長上下文，缺陷是長時(shí)預(yù)測(cè)易出現(xiàn)誤差累積和漂移，對(duì)精細(xì)幾何、物理交互的模擬效果有限。子范式包括基于視覺自回歸的世界模型（visual autoregressive model），以及與大語言模型對(duì)齊的多模態(tài)自回歸世界模型（MLLM-guided multimodal autoregressive model）。

圖 5：視覺自回歸視覺世界模型代表方法總覽。每個(gè)方法分析其視覺編碼器、所學(xué)習(xí)的世界知識(shí)、交互輸入和模擬輸出類型。

2. 擴(kuò)散生成（Diffusion-based Generation）

通常在連續(xù)潛空間中通過迭代去噪生成未來。在視覺質(zhì)量上更強(qiáng)，也更適合生成連貫、逼真的未來片段，但代價(jià)是推理開銷更大。子范式包括經(jīng)典的潛空間擴(kuò)散世界模型（latent diffusion）和當(dāng)前的主流思路自回歸擴(kuò)散世界模型（Autoregressive Diffusion）。

圖 6：擴(kuò)散生成視覺世界模型代表方法總覽。

3. 表征預(yù)測(cè)（Embedding Prediction）

不執(zhí)著于生成完整視頻，而是直接預(yù)測(cè)未來的 embedding。這樣的好處是能把重點(diǎn)放在 “學(xué)規(guī)律” 而不是 “畫細(xì)節(jié)” 上，更適合規(guī)劃、推理和效率優(yōu)先的場(chǎng)景。但其缺點(diǎn)是可解釋性相對(duì)較弱。該范式的典型代表是 JEPA 系列。

4. 狀態(tài)轉(zhuǎn)移（State Transition）

將視覺輸入壓縮為緊湊的隱狀態(tài)，通過遞歸狀態(tài)轉(zhuǎn)移建模世界隨時(shí)間的演化。該類范式在潛空間 rollout 高效，遞歸狀態(tài)能夠持續(xù)保留歷史信息，是早期世界模型的主流思路。子范式包括經(jīng)典的狀態(tài)空間世界模型（State Space Modeling）和具有組合泛化能力的基于對(duì)象的世界模型（Object-centric Modeling）。

4. 評(píng)估指標(biāo)與基準(zhǔn)：視覺世界模型怎么評(píng)？用什么評(píng)？

如果說前面的章節(jié)回答的是視覺世界模型是如何設(shè)計(jì)的，那么評(píng)測(cè)部分回答的就是另一個(gè)更關(guān)鍵的問題：什么樣的視覺世界模型才算得上好？

圖 7：視覺世界模型評(píng)估體系概覽。包含三類評(píng)估指標(biāo)和兩組數(shù)據(jù)集與基準(zhǔn)分析。

首先是怎么評(píng)。團(tuán)隊(duì)給出的答案很明確：僅僅生成出清晰、逼真的畫面還遠(yuǎn)遠(yuǎn)不夠。一個(gè)可靠的視覺世界模型，至少要同時(shí)滿足三層要求：看起來真實(shí)、演化過程合理、并且能夠真正支持任務(wù)決策。 基于這一判斷，團(tuán)隊(duì)將現(xiàn)有評(píng)估指標(biāo)統(tǒng)一整理為三大類：

• 視覺質(zhì)量（Visual Quality）：生成的畫面或視頻是否清晰、流暢、逼真。
• 物理合理性（Physical Plausibility）：模型是否遵循客觀物理規(guī)律。例如，預(yù)測(cè)的運(yùn)動(dòng)軌跡是否符合運(yùn)動(dòng)學(xué)？3D 空間結(jié)構(gòu)是否會(huì)憑空坍塌？多視角下的一致性如何？
• 任務(wù)表現(xiàn)（Task Performance）：模型能否支持下游任務(wù)的成功。例如，能否幫機(jī)器人提升抓取成功率？能否讓自動(dòng)駕駛車輛安全避障？

圖 8：三類評(píng)估指標(biāo)總覽。

接下來是用什么評(píng)。如何測(cè)試這些能力呢？團(tuán)隊(duì)系統(tǒng)梳理了視覺世界模型常用的數(shù)據(jù)集和基準(zhǔn)，并把它們分成兩大組：基礎(chǔ)世界建模（Foundational World Modeling）和針對(duì)特定領(lǐng)域的世界建模（Domain-specific World Modeling）。

基礎(chǔ)世界建模旨在考察模型對(duì)通用物理世界法則的掌握程度，不局限于特定任務(wù)：

1. 通用世界預(yù)測(cè)與模擬（General World Prediction and Simulation），這部分更強(qiáng)調(diào)長時(shí)程預(yù)測(cè)、可控生成和一般性的世界理解能力；
2. 物理與因果基準(zhǔn)（Physics and Causality Benchmark），關(guān)注的不是畫面是否逼真，而是模型是否真正遵守物理約束、能否區(qū)分合理與不合理事件，以及是否具備一定的反事實(shí)和因果判斷能力。

圖 9：基礎(chǔ)世界建模數(shù)據(jù)集與基準(zhǔn)總覽。

針對(duì)特定領(lǐng)域的世界建模則關(guān)注模型在具體應(yīng)用場(chǎng)景中的實(shí)際表現(xiàn)：

1. 具身智能與機(jī)器人（Embodied AI and Robotics）：關(guān)注模型是否能夠支持機(jī)器人在真實(shí)或仿真環(huán)境中完成操作任務(wù)；
2. 自動(dòng)駕駛（Autonomous Driving）：需要模型具備強(qiáng)感知能力，也要求它能夠在交互和控制條件下穩(wěn)定推演交通場(chǎng)景；
3. 交互環(huán)境與游戲（Interactive Environments and Gaming）：測(cè)試重點(diǎn)是模型能否作為 “神經(jīng)渲染引擎”，在玩家輸入各種離散控制信號(hào)時(shí)，實(shí)時(shí)反饋出正確、一致的游戲畫面。

圖 10：針對(duì)特定領(lǐng)域的世界建模數(shù)據(jù)集與基準(zhǔn)總覽。

5. 下一代世界模型，何去何從？

盡管目前的 VWM 已經(jīng)能生成令人驚艷的視覺畫面，但只要遇到復(fù)雜的物理交互、罕見的邊緣場(chǎng)景或是需要嚴(yán)謹(jǐn)因果推理的任務(wù)，它們往往產(chǎn)生違背常理的幻覺。

從 “生成逼真畫面” 走向 “支撐 AGI 的基礎(chǔ)設(shè)施”，下一代世界模型路在何方？團(tuán)隊(duì)在綜述中指出了三個(gè)至關(guān)重要的突破口：3R 路線圖（Re-grounding, Re-evaluation, Re-scaling）。

圖 11：下一代世界模型核心挑戰(zhàn)與未來方向。

1. 夯實(shí)知識(shí)基礎(chǔ)（Re-grounding）：走出簡(jiǎn)單的物理模擬和畫面生成，去面對(duì)真實(shí)世界的復(fù)雜性。

1. 拓寬知識(shí)邊界： 真實(shí)世界并不只由簡(jiǎn)單的牛頓運(yùn)動(dòng)和剛體碰撞構(gòu)成。除了重力、接觸、運(yùn)動(dòng)等基礎(chǔ)物理規(guī)律，還存在柔性材料形變、復(fù)雜摩擦、流體運(yùn)動(dòng)等更高階的物理過程；與此同時(shí)，現(xiàn)實(shí)環(huán)境中的世界演化還常常受到社會(huì)規(guī)范、行為約定和人類意圖的影響（例如：救護(hù)車闖紅燈）。模型必須學(xué)會(huì)理解這些超越純粹物理的社會(huì)因果關(guān)系。
2. 架構(gòu)升級(jí)： 純神經(jīng)網(wǎng)絡(luò)在面對(duì)分布外數(shù)據(jù)時(shí)極其脆弱。因此，新的架構(gòu)設(shè)計(jì)必須引入更強(qiáng)的歸納偏置與約束機(jī)制：一方面需要強(qiáng)化幾何感知能力（Geometry-aware Modeling）。讓模型不僅生成 2D 像素，更能在底層維持 3D 空間的一致性；另一方面需要顯式地建模物理規(guī)律與因果先驗(yàn)。例如，可以引入神經(jīng)符號(hào)混合架構(gòu)（Neuro-symbolic），將嚴(yán)格的物理引擎或因果邏輯融入神經(jīng)網(wǎng)絡(luò)，用顯式的規(guī)則約束隱式的生成。

2. 重構(gòu)評(píng)估體系（Re-evaluation）：用實(shí)戰(zhàn)和反事實(shí)檢驗(yàn)真?zhèn)巍?/p>

1. 裁判模型與實(shí)戰(zhàn)評(píng)估： 訓(xùn)練專門的裁判模型（Judge Models）來評(píng)估生成結(jié)果的物理規(guī)律。進(jìn)一步地把 VWM 塞進(jìn)機(jī)器人的大腦里去執(zhí)行任務(wù)。如果在模擬規(guī)劃中機(jī)械臂抓取失敗了，那這就是模型物理理解存在缺陷的最鐵證。
2. 反事實(shí)推理測(cè)試： 真正的懂因果，意味著能回答 What-if 問題。比如，給模型同樣的 “種下一粒種子” 的初始畫面，條件 A 是干旱，條件 B 是澆水，模型必須能推演出截然不同的生長結(jié)局。

3. 重塑 Scaling Law（Re-scaling）：邁向更通用的世界模型。

• 預(yù)訓(xùn)練縮放（Pretraining Scaling）： 在預(yù)訓(xùn)練階段，我們需要更高效的時(shí)空 Encoder 和統(tǒng)一的建模接口，用海量的、包含復(fù)雜因果的交互數(shù)據(jù)，訓(xùn)練出跨領(lǐng)域的通用視覺世界模型。
• 推理時(shí)縮放（Inference-time Scaling）： 未來的視覺世界模型在生成一段未來演化之前，不應(yīng)該是一次性盲目吐出畫面，而是應(yīng)該在內(nèi)部進(jìn)行思考，提出多種可能的結(jié)果、檢查是否違背物理約束、在內(nèi)心進(jìn)行試錯(cuò)和修正，然后再給出最合理的推演結(jié)果。

大語言模型構(gòu)建的知識(shí)，本質(zhì)上是對(duì)人類文本經(jīng)驗(yàn)的概率總結(jié)；而真實(shí)世界的運(yùn)轉(zhuǎn)，遵循的是連續(xù)的物理法則與因果鏈條。視覺世界模型的使命，正是打破符號(hào)的局限，直擊物理現(xiàn)實(shí)的演化規(guī)律。

從 “基于語義關(guān)聯(lián)得出結(jié)論” 到 “基于世界常識(shí)模擬未來”，這不僅是世界模型研究的一次范式推進(jìn)，也可能是 AI 走向更強(qiáng)預(yù)測(cè)、交互與決策能力的關(guān)鍵一步。

完整文獻(xiàn)整理與歸納、詳細(xì)架構(gòu)對(duì)比與技術(shù)路線圖，歡迎前往我們的論文與項(xiàng)目主頁詳細(xì)閱讀！

作者介紹

余蕭

北京交通大學(xué)計(jì)算機(jī)學(xué)院博士生。獲得國家獎(jiǎng)學(xué)金兩次，發(fā)表 CCF-A 類論文一篇，曾參與 VideoWorld 2 項(xiàng)目。研究方向?yàn)橐曈X世界模型，遵循物理與因果規(guī)律的世界模型等。

靳瀟杰

北京交通大學(xué)計(jì)算機(jī)學(xué)院教授 / 博導(dǎo)，國家高層次青年人才，曾任字節(jié)跳動(dòng)美國研究院創(chuàng)始成員和技術(shù)負(fù)責(zé)人。研究方向?yàn)槎嗄B(tài)智能、世界模型、高效深度學(xué)習(xí)等。