編輯｜陳陳

沉寂許久的 Ian Goodfellow，終于再次現(xiàn)身。

這位提出 GAN（生成對(duì)抗網(wǎng)絡(luò)）、被稱為 GAN 之父的研究者，曾一手開啟 AI 生成技術(shù)的早期浪潮。但在最近幾年由大模型主導(dǎo)的新一輪生成式 AI 競(jìng)賽中，Goodfellow 的公開聲音卻并不頻繁。

直到最近，終于有了他的消息。

文章作者共三位：

• Ian Goodfellow 是生成模型時(shí)代的開創(chuàng)者，2014 年提出 GAN，開啟了 AI 圖像生成的第一波浪潮；
• Chris Manning 則是 NLP 先驅(qū)、斯坦福教授，自然語(yǔ)言處理領(lǐng)域最具影響力的學(xué)者之一，長(zhǎng)期推動(dòng)大語(yǔ)言模型的發(fā)展；
• Fan-Yun Sun 是 Moonlake AI 聯(lián)合創(chuàng)始人兼 CEO，研究方向集中在多模態(tài)世界模型。

文中提出利用符號(hào)化表示（symbolic representations）以及游戲虛擬世界的數(shù)據(jù)，可能是構(gòu)建具備動(dòng)作條件（action-conditioned）的多模態(tài)世界模型的最佳路徑。這類模型能夠支持對(duì)長(zhǎng)時(shí)序任務(wù)（long-horizon tasks）進(jìn)行可靠的預(yù)測(cè)與規(guī)劃。

文章地址：https://x.com/moonlake/status/2029983120087470545

以下是文章內(nèi)容：

當(dāng)人類以及其他動(dòng)物生活在世界中時(shí)，它們可以感知周圍正在發(fā)生的事情。但人類所做的遠(yuǎn)不止觀察：人們還能預(yù)測(cè)環(huán)境中其他生物或物體接下來(lái)可能的行為，并據(jù)此規(guī)劃自己的行動(dòng)以實(shí)現(xiàn)某個(gè)目標(biāo)，無(wú)論是去獲取晚餐，還是說(shuō)服別人和自己一起踏上一次冒險(xiǎn)之旅。要成功完成這些復(fù)雜任務(wù)，就需要一個(gè)高效的世界模型

所謂世界模型，是指一種能夠表示環(huán)境運(yùn)作方式的模型，包括環(huán)境的動(dòng)態(tài)變化（dynamics）以及其中的因果結(jié)構(gòu)（causal structure）。這一概念可以通過(guò)強(qiáng)化學(xué)習(xí)中的模型來(lái)形式化描述：在強(qiáng)化學(xué)習(xí)框架中，環(huán)境通常被建模為一個(gè)部分可觀測(cè)馬爾可夫決策過(guò)程（POMDP）。在這個(gè)框架下，世界模型用于近似環(huán)境的狀態(tài)轉(zhuǎn)移函數(shù) P (s′∣s,a)，也就是在當(dāng)前狀態(tài) s 下執(zhí)行動(dòng)作 a 時(shí)，預(yù)測(cè)下一個(gè)世界狀態(tài) s 的概率。

借助世界模型，我們可以基于對(duì)世界行為的心理模型來(lái)進(jìn)行預(yù)測(cè)、規(guī)劃、推理和行動(dòng)，而無(wú)需每次都通過(guò)與真實(shí)世界直接交互來(lái)觀察行動(dòng)的后果。

然而，在現(xiàn)實(shí)中，人類并不能直接獲得世界的真實(shí)狀態(tài) s。我們所能獲得的，只是對(duì)真實(shí)狀態(tài)的一部分觀測(cè) o。換句話說(shuō)，人類始終是在不完全信息的條件下理解和行動(dòng)于這個(gè)世界之中。

人們?cè)谟^察或測(cè)量世界時(shí)采取了不同的方法，并利用不同的模態(tài)來(lái)構(gòu)建世界模型。例如，一個(gè)像 ChatGPT 這樣的大語(yǔ)言模型，僅通過(guò)文本就能學(xué)習(xí)到某種形式的潛在世界模型：在其數(shù)十億參數(shù)之中，隱含著對(duì)物理世界和社會(huì)世界的某種表示，以及對(duì)因果關(guān)系的一定理解，使得模型能夠在 token 空間中通過(guò)輸入和輸出，模擬世界中的事件、行為體和環(huán)境。

然而，我們所生活的世界并不只是文本，它還包括視覺、聲音、觸覺等多種感知形式。因此，在這篇文章中，作者重點(diǎn)討論的是多模態(tài)世界模型（multimodal world models）。

在構(gòu)建多模態(tài)世界模型時(shí)，我們需要先提出兩個(gè)關(guān)鍵問(wèn)題：我們?yōu)槭裁匆獦?gòu)建這個(gè)世界模型？以及是否能夠獲得可規(guī)模化的數(shù)據(jù)來(lái)源來(lái)對(duì)其進(jìn)行訓(xùn)練？

我們?yōu)槭裁匆獦?gòu)建世界模型？

構(gòu)建世界模型的目標(biāo)，是為了實(shí)現(xiàn)能夠釋放巨大經(jīng)濟(jì)價(jià)值的 AI 能力，并幫助人們擺脫那些不受歡迎的工作。盡管當(dāng)今的 AI 在某些復(fù)雜任務(wù)中已經(jīng)能夠自主運(yùn)行，但現(xiàn)實(shí)世界中的任務(wù)往往要求理解行動(dòng)在時(shí)間維度上如何產(chǎn)生后果，而不僅僅是識(shí)別觀察數(shù)據(jù)中的模式。關(guān)鍵不僅在于理解世界中各種對(duì)象或現(xiàn)象如何同時(shí)出現(xiàn)，更在于理解它們之間的因果關(guān)系。例如，一個(gè)人在房間里對(duì)另一個(gè)人大喊，可能會(huì)讓對(duì)方感到不開心；但一個(gè)人感到不開心，并不會(huì)導(dǎo)致房間里另一個(gè)人開始大喊。作者認(rèn)為，在多模態(tài)環(huán)境中進(jìn)行因果推理的能力，是通向具身 AGI 最重要的核心能力之一。

當(dāng)人們談到多模態(tài)世界模型時(shí)，很多人會(huì)首先想到生成式視頻模型（例如 Sora 或 Genie 3）。這些模型通常能夠生成視覺效果極為逼真、質(zhì)量很高的場(chǎng)景，并在視頻制作等領(lǐng)域具有廣泛應(yīng)用。但從本質(zhì)上看，這類模型是在通過(guò)像素觀測(cè)來(lái)度量四維世界的變化，并嘗試建模連續(xù)視頻幀之間的關(guān)系。

如果只是想表達(dá)一輛賽車在急彎中高速轉(zhuǎn)彎、輪胎發(fā)出刺耳摩擦聲的畫面，那么基于像素的世界模型顯然比文本更直觀。然而，這種方式并不一定能夠真正捕捉世界的因果結(jié)構(gòu)。例如：猛打方向盤會(huì)導(dǎo)致汽車急轉(zhuǎn)彎，而急轉(zhuǎn)彎又會(huì)導(dǎo)致輪胎摩擦發(fā)出尖叫聲。此外，由于缺乏抽象層和語(yǔ)義結(jié)構(gòu)，純像素建模在速度和成本上往往效率較低。一些研究（例如《Are Video Generation Models World Simulators?》也指出，即使是當(dāng)前最先進(jìn)的模型，仍然會(huì)出現(xiàn)物理或空間理解上的問(wèn)題，比如固體物體漂浮在空中，或兩個(gè)實(shí)體相互穿透等現(xiàn)象。

如果目標(biāo)是為下一步行動(dòng)進(jìn)行規(guī)劃，那么問(wèn)題就出現(xiàn)了：我們真的需要一個(gè)高分辨率的像素視圖來(lái)建模世界嗎？作者認(rèn)為，在大量具有經(jīng)濟(jì)價(jià)值的任務(wù)中，其實(shí)并不需要如此細(xì)致的視覺信息。畢竟，人類即使在各種感官能力存在局限的情況下，也能完成幾乎所有現(xiàn)實(shí)任務(wù)。此外，在很多情況下，僅用幾句話描述一個(gè)場(chǎng)景（例如汽車急轉(zhuǎn)彎時(shí)輪胎發(fā)出刺耳摩擦聲）就足以支持理解與決策。相關(guān)實(shí)驗(yàn)也表明，人類在處理視覺信息時(shí)往往并不是完整解析所有像素，而是以自上而下、任務(wù)驅(qū)動(dòng)的方式進(jìn)行處理，并依賴于對(duì)象層級(jí)的抽象表示。在絕大多數(shù)情境中，部分信息加上語(yǔ)義理解就已經(jīng)足夠。

因果關(guān)系本身可能非常復(fù)雜。那么，人類在理解世界方面到底有什么特殊之處，使我們能夠不斷深化對(duì)世界的認(rèn)識(shí)？事實(shí)上，許多生物，即使是像烏鴉這樣相對(duì)簡(jiǎn)單的動(dòng)物也能夠通過(guò)觀察世界來(lái)形成某種內(nèi)部世界模型，并據(jù)此制定計(jì)劃實(shí)現(xiàn)目標(biāo)。人類之所以比其他生物擁有更強(qiáng)大的能力，關(guān)鍵在于我們發(fā)展出了認(rèn)知工具（cognitive tools）。其中最重要的是自然語(yǔ)言，以及后來(lái)發(fā)展出的各種符號(hào)表示，例如數(shù)學(xué)和編程語(yǔ)言。

這些認(rèn)知工具能夠幫助人類以更高效的方式對(duì)世界進(jìn)行抽象，并準(zhǔn)確表達(dá)因果關(guān)系和結(jié)果。它們不僅使人類能夠更高效地推理世界中真正重要的因素，還讓我們能夠通過(guò)語(yǔ)言溝通和協(xié)作，從而影響他人的行為。

更重要的是，工具和抽象可以讓模型把表示能力集中在那些真正影響決策的世界要素上，從而在數(shù)據(jù)和計(jì)算效率上都更具優(yōu)勢(shì)。與其試圖通過(guò)原始感官數(shù)據(jù)完整重建整個(gè)世界，不如利用語(yǔ)義層面的抽象來(lái)實(shí)現(xiàn)更強(qiáng)大、更高效的理解和操作。這一點(diǎn)與如今代碼生成模型處理編程語(yǔ)言的方式類似：通過(guò)符號(hào)系統(tǒng)進(jìn)行操作，而不是直接處理底層機(jī)器狀態(tài)。

這種表示方式具有高度緊湊的特點(diǎn)，使得模型在面對(duì)長(zhǎng)時(shí)間跨度任務(wù)或需要記住大量歷史事件的情境時(shí)，也能夠進(jìn)行有效預(yù)測(cè)與推理。

我們可以從哪里獲得可擴(kuò)展的數(shù)據(jù)來(lái)源來(lái)訓(xùn)練因果世界模型？

文章指出，數(shù)據(jù)是構(gòu)建有效模型中最關(guān)鍵的因素。目前，大多數(shù)最先進(jìn)的視覺世界模型仍然是基于像素的世界模型，但這些模型通常并不具備動(dòng)作條件（action-conditional）能力。雖然互聯(lián)網(wǎng)上存在海量視頻數(shù)據(jù)（例如來(lái)自 YouTube），但真正記錄行動(dòng)本身及其結(jié)果的數(shù)據(jù)卻非常稀缺，而正是這些數(shù)據(jù)才能幫助模型理解行動(dòng)會(huì)帶來(lái)什么后果。

目前也有一些研究路徑嘗試讓像素世界模型具備動(dòng)作條件能力，但作者認(rèn)為，更具數(shù)據(jù)效率和計(jì)算效率的一條道路，是利用軟件抽象來(lái)構(gòu)建多樣化的合成世界（synthetic worlds）以增強(qiáng)模型訓(xùn)練。這些合成環(huán)境同樣可以成為訓(xùn)練動(dòng)作條件像素世界模型的重要數(shù)據(jù)來(lái)源。

抽象機(jī)制可以讓模型在更少數(shù)據(jù)的情況下實(shí)現(xiàn)高性能。當(dāng)下，這些抽象大多以符號(hào)表示（symbolic representations）的形式存在，例如代碼和自然語(yǔ)言。這些符號(hào)可以通過(guò)一種高度可擴(kuò)展的數(shù)據(jù)采集接口獲得，即計(jì)算機(jī)及其輸入設(shè)備（例如鍵盤和鼠標(biāo)）。此外，符號(hào)表示也更適合人類進(jìn)行精細(xì)、有效的控制。由于它們正是人類表達(dá)意圖的接口，因此可以形成一個(gè)同時(shí)包含行動(dòng)（actions）與觀測(cè)（observations）的數(shù)據(jù)飛輪。對(duì)于一個(gè)需要由人類操作的模擬環(huán)境而言，必須存在一個(gè)有效的交互接口，而這一接口往往最自然地通過(guò)人類語(yǔ)言和軟件代碼這樣的符號(hào)系統(tǒng)來(lái)實(shí)現(xiàn)。

最后，作者認(rèn)為，要成功構(gòu)建世界模型，一條能夠?qū)崿F(xiàn)商業(yè)自我持續(xù)發(fā)展的路徑尤為關(guān)鍵。只有當(dāng)商業(yè)化激勵(lì)持續(xù)推動(dòng)數(shù)據(jù)產(chǎn)生和模型改進(jìn)時(shí)，模型能力才能不斷提升。類似的模式已經(jīng)多次出現(xiàn)，例如智能手機(jī)中的慣性測(cè)量單元（IMU）推動(dòng)了相關(guān)技術(shù)發(fā)展，以及大語(yǔ)言模型在自然語(yǔ)言處理領(lǐng)域的快速進(jìn)步。

因此，作者提出，應(yīng)當(dāng)從數(shù)字世界開始構(gòu)建多模態(tài)世界模型。像游戲這樣的交互式媒體既能夠提供明確的參與激勵(lì)（例如娛樂(lè)），又具備可擴(kuò)展的數(shù)據(jù)采集接口（鍵盤和鼠標(biāo)），從而讓數(shù)據(jù)自然積累。這條路徑有望最終實(shí)現(xiàn)一種模型：在完全成熟的形態(tài)下，它不僅能夠生成環(huán)境，還能用于訓(xùn)練和控制任何具身智能體，無(wú)論是在虛擬世界還是現(xiàn)實(shí)世界中。目前已經(jīng)出現(xiàn)了一些跡象，表明這種跨環(huán)境的泛化能力正在逐步顯現(xiàn)。

展望

文章指出，這并不是在否定像素作為世界表示方式的價(jià)值，也不是認(rèn)為未來(lái)只會(huì)存在一種統(tǒng)一的世界表示形式。作者強(qiáng)調(diào)，更關(guān)鍵的是：世界模型的設(shè)計(jì)應(yīng)當(dāng)圍繞我們希望從中學(xué)習(xí)到的策略（policy）來(lái)展開。在此基礎(chǔ)上，需要借助合適的抽象方法和工具，使模型能夠聚焦于那些真正影響決策的環(huán)境因素，從而在數(shù)據(jù)效率和計(jì)算效率之間取得更優(yōu)平衡。

如果目標(biāo)是在多模態(tài)環(huán)境中理解因果關(guān)系，那么無(wú)論世界模型是用于虛擬世界還是現(xiàn)實(shí)物理世界，它都需要優(yōu)先滿足一些關(guān)鍵屬性。例如：在長(zhǎng)時(shí)間尺度上保持空間和物理狀態(tài)的一致性，并能夠推動(dòng)世界狀態(tài)的演化，使其真實(shí)反映行動(dòng)帶來(lái)的后果。

文章最后提到，這正是 Moonlake 當(dāng)前正在探索和構(gòu)建的方向。