大模型會(huì)寫(xiě)詩(shī)寫(xiě)代碼，卻不會(huì)倒水開(kāi)門(mén)。李飛飛萬(wàn)字長(zhǎng)文指出：AI真正的下一站，不是語(yǔ)言智能，而是空間智能——理解世界、預(yù)測(cè)變化、參與行動(dòng)，才是真正的智能革命。

編輯：前沿在線 編輯部

為什么我們?cè)谟懻摗翱臻g智能”？

過(guò)去幾年，大模型的快速演化讓我們習(xí)慣了一個(gè)“說(shuō)得越來(lái)越像人”的AI世界。它能寫(xiě)文案、能畫(huà)圖、能編代碼、能演講、能陪聊，仿佛進(jìn)入了智能的黃金時(shí)代。

但當(dāng)我們真正問(wèn)自己一個(gè)問(wèn)題：“這些AI，能走進(jìn)現(xiàn)實(shí)世界嗎？”答案依然是——還遠(yuǎn)著呢。

它能寫(xiě)出十種喝水的方式，卻倒不好一杯水。它能生成極美的臥室圖，卻連“開(kāi)門(mén)進(jìn)房間”的物理結(jié)構(gòu)都不理解。它能模擬醫(yī)生問(wèn)診，卻不會(huì)扶老人過(guò)馬路。

這并不是AI不夠聰明，而是它的“聰明”停留在一種語(yǔ)言層面：理解句子、預(yù)測(cè)詞語(yǔ)、生成符號(hào)。這種“認(rèn)知智能”，其實(shí)是一種“屏幕里的智能”。

李飛飛這篇萬(wàn)字長(zhǎng)文中反復(fù)強(qiáng)調(diào)一點(diǎn)：AI 革命走到了一個(gè)被語(yǔ)言“封印”的天花板上。

現(xiàn)在的 AI，看起來(lái)能言善道，但實(shí)際上像“黑暗中的文豪”，對(duì)世界毫無(wú)經(jīng)驗(yàn)。她直言：“AI 只會(huì)描述世界，但它不會(huì)生活在世界里。”

而要讓 AI 真正走進(jìn)物理世界，具備“行動(dòng)力”，空間智能（Spatial Intelligence）就是我們必須跨過(guò)的下一個(gè)臺(tái)階。

人類智能的起點(diǎn)：不是語(yǔ)言，而是空間

我們通常以為，語(yǔ)言是人類智能的起點(diǎn)。

但李飛飛提醒我們，事實(shí)剛好相反。一個(gè)嬰兒在學(xué)會(huì)說(shuō)話之前，就已經(jīng)會(huì)做很多事了：抓玩具、摸輪廓、扔?xùn)|西、摔東西，甚至盯著水滴滾落發(fā)呆。

表面上看，這只是好奇心，實(shí)際上，這是空間智能在生長(zhǎng)——通過(guò)觀察與試錯(cuò)，嬰兒在“身體力行”地理解世界的規(guī)則。

空間智能，不是用來(lái)說(shuō)話的，而是用來(lái)活著的。

在日常生活中，我們每一項(xiàng)動(dòng)作，幾乎都建立在對(duì)空間的直覺(jué)理解上：停車靠邊，要判斷輪胎與馬路牙子的距離；接住飛來(lái)的鑰匙，需要估算速度與軌跡；

不看杯子倒水，依賴的是對(duì)物體形狀和位置的記憶。這些事情我們做得毫不費(fèi)力，但背后都涉及復(fù)雜的空間計(jì)算。

更重要的是，人類文明的重大躍遷，往往就靠這類“空間感”觸發(fā)靈感。古希臘的埃拉托色尼通過(guò)觀察太陽(yáng)影子的角度，測(cè)出了地球的圓周；

18世紀(jì)的哈格里夫斯將多個(gè)紡錘并列排布，創(chuàng)造出紡織效率提升八倍的“珍妮紡織機(jī)”；沃森與克里克則在擺弄鐵絲模型中，摸索出 DNA 的雙螺旋結(jié)構(gòu)——這些偉大發(fā)現(xiàn)，不是“算”出來(lái)的，是“看”出來(lái)、是“擺”出來(lái)的，是靠空間理解而非語(yǔ)言邏輯建構(gòu)的。

李飛飛說(shuō)得直接：空間智能是行動(dòng)的基礎(chǔ)，而不是表達(dá)的產(chǎn)物。語(yǔ)言幫助我們溝通，但空間理解才幫助我們生存、創(chuàng)造和進(jìn)步。

為什么當(dāng)前AI不具備空間智能？

盡管我們已經(jīng)擁有了令人驚嘆的AI語(yǔ)言能力、圖像生成能力和代碼編寫(xiě)能力，但在“理解世界”這件事上，它依然像個(gè)紙上談兵的孩子。

李飛飛指出，今天的大模型，學(xué)到的是“語(yǔ)言的皮膚”，不是“世界的骨架”。

這是因?yàn)楫?dāng)前AI的主流學(xué)習(xí)方式，都是基于“符號(hào)”——文字、標(biāo)簽、像素，它們學(xué)習(xí)的是詞與詞的關(guān)系、圖與圖的相似度，而不是物體與空間之間的真實(shí)互動(dòng)關(guān)系。

它們并不知道“水會(huì)流下來(lái)”、“影子在光照下會(huì)變形”、“玻璃是透明的”，它們只是根據(jù)訓(xùn)練數(shù)據(jù)生成“看起來(lái)像的東西”。

于是你會(huì)發(fā)現(xiàn)，AI生成的圖像雖然精美，但常出現(xiàn)奇怪的物理錯(cuò)誤：水從杯子外流出來(lái)、影子方向反了、手有六根指頭。這不是算力的問(wèn)題，而是“沒(méi)有物理常識(shí)”的問(wèn)題。

再看機(jī)器人，表面上已經(jīng)能抓取、能行走，甚至能“裝配零件”，但這些行為大多建立在“高度定制”的環(huán)境里——比如專用軌道、特定參數(shù)、腳本控制。換個(gè)場(chǎng)景，它就“手忙腳亂”。

機(jī)器人無(wú)法像人類那樣在復(fù)雜環(huán)境中做出泛化判斷，更無(wú)法真正理解“物體之間的關(guān)系”和“下一步該怎么做”。

AI在屏幕里看起來(lái)很聰明，一旦進(jìn)入現(xiàn)實(shí)世界，就會(huì)暴露“空間盲點(diǎn)”：不會(huì)判斷距離、不會(huì)識(shí)別障礙、不會(huì)預(yù)測(cè)結(jié)果。

李飛飛說(shuō)，這是因?yàn)樗鼈儧](méi)有“住在世界里”，它們只是“讀取了關(guān)于世界的描述”。而要讓AI真正走出“屏幕邊界”，它需要的不只是看圖說(shuō)話，而是“參與世界”的能力。

這，正是空間智能的起點(diǎn)。

世界模型：讓 AI 走出屏幕，進(jìn)入現(xiàn)實(shí)

如果說(shuō)語(yǔ)言智能讓AI學(xué)會(huì)“說(shuō)話”，那么世界模型（World Models），就是讓AI開(kāi)始“做事”的關(guān)鍵。

李飛飛在文章中提出，空間智能的核心載體，不是多模態(tài)大模型，而是具備世界建模能力的生成模型——這是一種全新的AI范式，它不再只生成文本、圖片或視頻，而是生成一個(gè)“可以持續(xù)存在、可以交互變化”的世界。

AI第一次從“語(yǔ)言描述”走向“物理構(gòu)建”。

她將世界模型的核心能力，拆解為三大要素，我們可以用一張“人類類比表”來(lái)幫助理解：

這背后的轉(zhuǎn)變非常關(guān)鍵：傳統(tǒng)大模型訓(xùn)練的是“下一句文本”，世界模型訓(xùn)練的則是“下一幀世界狀態(tài)”。

這意味著，AI不再是復(fù)述者、描述者，而是變成了一個(gè)“參與者”、“構(gòu)建者”，甚至是“行動(dòng)者”。

想象一下：你告訴AI“請(qǐng)幫我布置一個(gè)適合8人聚會(huì)的客廳”，它不僅生成圖紙，而是直接生成一個(gè)完整、可交互的3D場(chǎng)景；

你說(shuō)“把水壺拿給我”，它不是理解“語(yǔ)言”，而是理解你與水壺的空間關(guān)系，預(yù)測(cè)路徑、避障、抓取、遞交——這一切依賴的不是語(yǔ)言，而是具身感知+空間推理+行為預(yù)測(cè)的整體智能。

李飛飛創(chuàng)立的 World Labs 正是在做這件事。

他們開(kāi)發(fā)的 Marble 系統(tǒng)，正是一個(gè)能接收多模態(tài)輸入（語(yǔ)言、圖像、動(dòng)作指令），并生成一致的3D交互場(chǎng)景的世界模型系統(tǒng)。

Marble 不再只是“生成畫(huà)面”，而是能“維持一個(gè)世界”，讓用戶在里面走動(dòng)、探索、建構(gòu)。

世界模型，是讓AI走出屏幕、進(jìn)入現(xiàn)實(shí)的通道。它將AI從“會(huì)講故事”進(jìn)化為“能創(chuàng)造世界”的新物種。

空間智能會(huì)重做哪些行業(yè)？

當(dāng)AI擁有空間智能，它就不再是一個(gè)“內(nèi)容生成器”，而變成一個(gè)“現(xiàn)實(shí)世界的協(xié)作伙伴”。李飛飛認(rèn)為，這種能力的落地將帶來(lái)四個(gè)最重要的行業(yè)變革方向：

1）創(chuàng)意產(chǎn)業(yè)：從“畫(huà)畫(huà)”到“構(gòu)建世界”

過(guò)去的AI創(chuàng)作，是生成圖像、生成音樂(lè)、生成短片——它們都停留在二維屏幕里。空間智能的加入，讓創(chuàng)作從“表現(xiàn)”走向“構(gòu)建”。

導(dǎo)演可以直接生成一個(gè)可進(jìn)入、可漫游的虛擬電影場(chǎng)景，而不是靠綠幕加后期；

游戲開(kāi)發(fā)者可以快速模擬多種物理互動(dòng)機(jī)制，加速劇情與環(huán)境的迭代；

建筑師可以提前“走進(jìn)”尚未建成的空間，對(duì)結(jié)構(gòu)與流線做出更人性化的優(yōu)化。

這一切的前提是：AI能理解空間邏輯、構(gòu)建三維世界，并支持與人互動(dòng)。

李飛飛舉了一個(gè)生動(dòng)的例子：過(guò)去我們是用圖紙“想象房子”，未來(lái)我們是“在AI生成的房子里走一圈再?zèng)Q定改哪里”。

2）機(jī)器人：從工具，走向協(xié)作伙伴

如果說(shuō)空間智能是AI的核心感知能力，那么機(jī)器人就是其行動(dòng)延伸。

未來(lái)的機(jī)器人，不再是機(jī)械臂、倉(cāng)儲(chǔ)搬運(yùn)、流水線操作員，而是具備空間理解力的“行動(dòng)者”與“助手”。

比如家庭助手：它能理解你“剛喝完水”的動(dòng)作，就去廚房拿水壺補(bǔ)滿杯子，而不是等你下指令；

比如實(shí)驗(yàn)室助手：它能自主協(xié)作實(shí)驗(yàn)流程，把研究者從重復(fù)性的操作中解放出來(lái)。

這種“看懂人+理解空間+預(yù)測(cè)行動(dòng)”的協(xié)作能力，正是空間智能帶來(lái)的躍遷。

AI不是拿來(lái)“替你做事”的，而是“跟你一起做事”的。

3）科學(xué)與醫(yī)療：多維模擬，加速突破

很多科學(xué)突破依賴的是空間結(jié)構(gòu)的直覺(jué)。

例如藥物開(kāi)發(fā)，研究者需要理解分子的三維結(jié)合機(jī)制；材料設(shè)計(jì)，需要評(píng)估結(jié)構(gòu)變化對(duì)性能的影響；醫(yī)療影像，需要醫(yī)生在腦海中重建器官與病變位置。

空間智能 AI，可以在這些環(huán)節(jié)中扮演關(guān)鍵角色：它可以模擬無(wú)數(shù)可能的空間組合，加速推演，縮短試錯(cuò)周期。甚至在手術(shù)前，AI可以基于患者CT/MRI影像生成全息模型，讓醫(yī)生“預(yù)演手術(shù)”，提升成功率。

這是“從理解語(yǔ)言，到理解物體”的跨越，也是AI真正參與到“理解世界結(jié)構(gòu)”的開(kāi)始。

4）教育：抽象知識(shí)，沉浸式體驗(yàn)

空間智能，還會(huì)深刻改變教育方式。過(guò)去我們靠想象力“理解原子結(jié)構(gòu)”“看懂地球公轉(zhuǎn)”“學(xué)習(xí)電磁場(chǎng)的方向”。

但對(duì)于很多學(xué)生來(lái)說(shuō)，這些“看不到、摸不著”的知識(shí)，始終停留在記憶層面。

而擁有空間智能的AI，可以構(gòu)建沉浸式教學(xué)場(chǎng)景：讓你走進(jìn)細(xì)胞內(nèi)部、繞著DNA結(jié)構(gòu)飛一圈、在古戰(zhàn)場(chǎng)上穿梭、在數(shù)學(xué)幾何中旋轉(zhuǎn)。

知識(shí)不再是講述的，而是“進(jìn)入”的。

教育變成一場(chǎng)“空間旅程”，不僅提升理解，更激發(fā)好奇心。

李飛飛總結(jié)得很清晰：空間智能不是炫技，而是真正的“新型生產(chǎn)力”。它重構(gòu)的不只是工具，而是重塑“人如何與世界互動(dòng)”的方式。

為什么李飛飛強(qiáng)調(diào)“增強(qiáng)人，而不是替代人”？

當(dāng)“AI會(huì)說(shuō)話”這件事變得越來(lái)越自然，我們開(kāi)始焦慮“它是不是要搶我的工作”。

而李飛飛在這篇萬(wàn)字長(zhǎng)文中反復(fù)強(qiáng)調(diào)一個(gè)基本立場(chǎng)：“AI不是來(lái)替代人類的，而是來(lái)增強(qiáng)人類的?！?/strong>

語(yǔ)言模型的崛起，讓不少職業(yè)變得不安全——寫(xiě)PPT、寫(xiě)郵件、寫(xiě)腳本似乎都可以被AI代勞。

但這正是“語(yǔ)言智能”的局限：它只能處理符號(hào)，無(wú)法理解動(dòng)機(jī)、情境與人本身。

而空間智能帶來(lái)的AI，則走向了另一個(gè)方向：從“替代”走向“協(xié)作”。李飛飛舉了許多例子：

• 在護(hù)理機(jī)構(gòu)中，AI可以協(xié)助照護(hù)人員進(jìn)行環(huán)境監(jiān)控、搬運(yùn)、提醒等操作，但不會(huì)剝奪老人的生活自主權(quán)。

• 在科研實(shí)驗(yàn)室中，AI機(jī)器人可以代替人類完成高度重復(fù)、標(biāo)準(zhǔn)化的操作，但發(fā)現(xiàn)科學(xué)規(guī)律的核心思考，依然由人來(lái)完成。

• 在設(shè)計(jì)創(chuàng)作中，AI可以幫助快速生成空間草圖與可交互場(chǎng)景，但真正有情感、有文化語(yǔ)義的“表達(dá)”，仍然需要人類的靈感點(diǎn)燃。

這是一個(gè)本質(zhì)性的理念差異：語(yǔ)言AI是“你說(shuō)我做”，而空間AI是“你做我?guī)汀薄?/strong>

后者強(qiáng)調(diào)配合、補(bǔ)位與增強(qiáng)——正如她所說(shuō)的：“AI 的價(jià)值，不是取代人類的勞動(dòng)，而是讓我們做到原本做不到的事。”

這種“人機(jī)協(xié)作”的價(jià)值觀，不僅是李飛飛20多年AI研究者身份的總結(jié)，也是她在創(chuàng)業(yè)中親自實(shí)踐的底層信念。

她不談AGI神話，也不渲染AI末日，她只關(guān)心一件事：AI要如何為人類賦能，為人的尊嚴(yán)、能力與選擇，留出更大的空間。

AI 的未來(lái)不是更好說(shuō)話，而是更會(huì)做事

我們已經(jīng)見(jiàn)證了語(yǔ)言智能帶來(lái)的“認(rèn)知革命”——從GPT-3到GPT-4，再到多模態(tài)模型如GPT-4V、Claude 2、Gemini Ultra，AI變得越來(lái)越能說(shuō)、越來(lái)越能寫(xiě)。

但李飛飛在這篇文章中提醒我們：真正的智能，不止于“說(shuō)得漂亮”，更要“做得正確”。

空間智能，將開(kāi)啟另一場(chǎng)“行動(dòng)革命”。它讓AI不再是坐在屏幕后講道理的“語(yǔ)文課代表”，而是走到現(xiàn)實(shí)中和人協(xié)同的“實(shí)習(xí)工程師”、”助理科學(xué)家“、”家庭照護(hù)員“、”創(chuàng)意導(dǎo)演“。

我們可以這樣描繪未來(lái)AI的三重躍遷：

1. 從閱讀世界：AI能理解人類語(yǔ)言、圖像、視頻等符號(hào)信息；

2. 到理解世界：AI能建立空間模型、推理物理關(guān)系、預(yù)測(cè)動(dòng)態(tài)；

3. 再到建設(shè)世界：AI能創(chuàng)造、操作、協(xié)同，成為現(xiàn)實(shí)行動(dòng)的參與者。

這正是從“Words”走向“Worlds”的進(jìn)化。

而這場(chǎng)進(jìn)化，也正是李飛飛提出的下一站AI：空間智能的意義所在。

不是為了打造另一個(gè)神一樣的AGI，而是為了讓人類更自由地生活、創(chuàng)造與關(guān)懷；不是為了更快地替代人類，而是更深地增強(qiáng)人類。

真正的智能，不是能背多少書(shū)，而是能用知識(shí)去觸碰現(xiàn)實(shí)。

真正的未來(lái)，不是更好說(shuō)話，而是更會(huì)做事。

真正的AI，不是造一個(gè)語(yǔ)言的宇宙，而是建一個(gè)理解世界、參與世界的“新物種”。

這，就是李飛飛心中，AI的下一站。

完整原文：

空間智能：人工智能的下一個(gè)前沿

1950 年，當(dāng)計(jì)算機(jī)還僅能完成自動(dòng)化算術(shù)運(yùn)算和簡(jiǎn)單邏輯處理時(shí)，艾倫?圖靈提出了一個(gè)至今仍發(fā)人深省的問(wèn)題：機(jī)器能思考嗎？他憑借非凡的想象力預(yù)見(jiàn)了一個(gè)未來(lái) —— 智能或許并非天生，而是可以被創(chuàng)造出來(lái)。

這一洞見(jiàn)隨后催生了一場(chǎng)名為人工智能（AI）的不懈科學(xué)探索。

在我投身人工智能領(lǐng)域的 25 年間，圖靈的愿景始終激勵(lì)著我。但我們究竟離這個(gè)目標(biāo)有多近？答案并非簡(jiǎn)單一句話能概括。

如今，大型語(yǔ)言模型（LLMs）等領(lǐng)先 AI 技術(shù)已開(kāi)始改變我們獲取和運(yùn)用抽象知識(shí)的方式。

然而，它們就像 “黑暗中的文字大師”—— 言辭流利卻缺乏經(jīng)驗(yàn)，學(xué)識(shí)淵博卻脫離現(xiàn)實(shí)根基。

而空間智能將徹底重塑我們創(chuàng)造和交互真實(shí)與虛擬世界的方式，為敘事、創(chuàng)意、機(jī)器人技術(shù)、科學(xué)發(fā)現(xiàn)等領(lǐng)域帶來(lái)革命性變革。

這正是人工智能的下一個(gè)前沿陣地。

自進(jìn)入該領(lǐng)域以來(lái)，對(duì)視覺(jué)和空間智能的追求一直是指引我的北極星。

這也是我為何花費(fèi)數(shù)年時(shí)間構(gòu)建 ImageNet 的原因 ——它是首個(gè)大規(guī)模視覺(jué)學(xué)習(xí)與基準(zhǔn)測(cè)試數(shù)據(jù)集，與神經(jīng)網(wǎng)絡(luò)算法、圖形處理器（GPUs）等現(xiàn)代計(jì)算技術(shù)共同構(gòu)成了現(xiàn)代人工智能誕生的三大核心支柱。

這也是我在斯坦福大學(xué)的學(xué)術(shù)實(shí)驗(yàn)室過(guò)去十年間致力于將計(jì)算機(jī)視覺(jué)與機(jī)器人學(xué)習(xí)相結(jié)合的初衷。

更重要的是，這正是我與聯(lián)合創(chuàng)始人賈斯汀?約翰遜、克里斯托夫?拉斯納、本?米爾登霍爾在一年多前創(chuàng)立 World Labs 的核心使命：首次全面實(shí)現(xiàn)這一可能性。

在本文中，我將闡釋空間智能的定義、其核心價(jià)值，以及我們?nèi)绾螛?gòu)建能夠解鎖空間智能的世界模型 ——這些模型將重塑創(chuàng)意表達(dá)、具身智能與人類進(jìn)步的軌跡。

空間智能：人類認(rèn)知的基石

人工智能從未如此令人振奮。以大型語(yǔ)言模型為代表的生成式 AI 已從研究實(shí)驗(yàn)室走進(jìn)日常生活，成為數(shù)十億人用于創(chuàng)意創(chuàng)作、提升效率和溝通交流的工具。

它們展現(xiàn)出了曾被認(rèn)為不可能實(shí)現(xiàn)的能力，能夠輕松生成連貫文本、海量代碼、照片級(jí)逼真圖像，甚至短視頻片段。

人工智能是否會(huì)改變世界已不再是疑問(wèn) ——無(wú)論以何種合理標(biāo)準(zhǔn)衡量，它已然做到了。

然而，仍有諸多目標(biāo)遠(yuǎn)未達(dá)成。自主機(jī)器人的愿景雖引人遐想，卻仍停留在推測(cè)階段，與未來(lái)學(xué)家長(zhǎng)期承諾的 “日常必備品” 相去甚遠(yuǎn)；在疾病治療、新材料發(fā)現(xiàn)、粒子物理等領(lǐng)域?qū)崿F(xiàn)大規(guī)模加速研究的夢(mèng)想，多半尚未實(shí)現(xiàn)；

而真正理解并賦能人類創(chuàng)造者的 AI—— 無(wú)論是學(xué)習(xí)復(fù)雜分子化學(xué)概念的學(xué)生、可視化空間設(shè)計(jì)的建筑師、構(gòu)建虛擬世界的電影人，還是追求沉浸式虛擬體驗(yàn)的普通人 —— 仍遙不可及。

要弄清為何這些能力難以實(shí)現(xiàn)，我們需要先審視空間智能的進(jìn)化歷程，以及它如何塑造我們對(duì)世界的理解。

視覺(jué)長(zhǎng)期以來(lái)一直是人類智能的基石，但其力量源自更為根本的能力。

早在動(dòng)物學(xué)會(huì)筑巢、撫育后代、語(yǔ)言溝通或建立文明之前，這種從外部世界獲取信息的簡(jiǎn)單行為（無(wú)論是一絲光線還是一種觸感），就搭建起了感知與生存之間的橋梁。

隨著世代更迭，這座橋梁不斷強(qiáng)化和完善，層層神經(jīng)元在此基礎(chǔ)上形成了神經(jīng)系統(tǒng)，用于解讀世界并協(xié)調(diào)有機(jī)體與環(huán)境的互動(dòng)。

因此，許多科學(xué)家推測(cè)，感知與行動(dòng)構(gòu)成了驅(qū)動(dòng)智能進(jìn)化的核心循環(huán)，也是自然界創(chuàng)造人類這一“感知、學(xué)習(xí)、思考、行動(dòng)”終極載體的基礎(chǔ)。

空間智能在定義人類與物理世界的交互方式中扮演著基礎(chǔ)性角色。

我們每天的普通行為都離不開(kāi)它：通過(guò)想象保險(xiǎn)杠與路沿之間逐漸縮小的間距來(lái)停車、接住從房間另一頭扔來(lái)的鑰匙、在擁擠的人行道上穿梭而不發(fā)生碰撞、或是閉著眼睛就能熟練地把咖啡倒進(jìn)杯子里。

在更極端的情況下，消防員在濃煙彌漫的坍塌建筑中導(dǎo)航，憑借對(duì)結(jié)構(gòu)穩(wěn)定性和生存概率的瞬間判斷，通過(guò)手勢(shì)、肢體語(yǔ)言以及無(wú)法用語(yǔ)言替代的專業(yè)直覺(jué)進(jìn)行溝通；

而嬰兒在學(xué)會(huì)說(shuō)話前的數(shù)月甚至數(shù)年里，正是通過(guò)與環(huán)境的嬉戲互動(dòng)來(lái)認(rèn)識(shí)世界。

這一切都源于直覺(jué)，自然而然地發(fā)生 —— 而這種熟練度，機(jī)器至今尚未掌握。

空間智能也是人類想象力與創(chuàng)造力的基礎(chǔ)。從遠(yuǎn)古洞穴壁畫(huà)到現(xiàn)代電影，再到沉浸式電子游戲，敘事者在腦海中構(gòu)建出獨(dú)特而豐富的世界，并通過(guò)多種視覺(jué)媒介將其呈現(xiàn)給他人。

無(wú)論是孩子們?cè)谏碁┥隙焉潮?，還是在電腦上玩《我的世界》，基于空間的想象力都是真實(shí)或虛擬世界中交互體驗(yàn)的核心。

在眾多行業(yè)應(yīng)用中，對(duì)物體、場(chǎng)景和動(dòng)態(tài)交互環(huán)境的模擬，支撐著從工業(yè)設(shè)計(jì)、數(shù)字孿生到機(jī)器人訓(xùn)練等無(wú)數(shù)關(guān)鍵業(yè)務(wù)場(chǎng)景。

歷史上諸多定義文明進(jìn)程的時(shí)刻，空間智能都發(fā)揮了核心作用。

古希臘時(shí)期，埃拉托色尼將影子轉(zhuǎn)化為幾何工具 —— 在賽伊尼的太陽(yáng)直射無(wú)影之時(shí)，測(cè)量亞歷山大城的日影角度為 7 度 —— 從而計(jì)算出地球周長(zhǎng)；

哈格里夫斯的 “珍妮紡紗機(jī)” 通過(guò)一項(xiàng)空間洞察革新了紡織業(yè)：將多個(gè)紡錘并排安裝在一個(gè)機(jī)架上，使一名工人能同時(shí)紡多根線，生產(chǎn)力提升了 8 倍；沃森和克里克通過(guò)搭建三維分子模型，不斷調(diào)整金屬片和金屬絲的位置，最終找到了堿基對(duì)的空間排列方式，從而發(fā)現(xiàn)了 DNA 的雙螺旋結(jié)構(gòu)。

在這些案例中，當(dāng)科學(xué)家和發(fā)明家需要操控物體、可視化結(jié)構(gòu)并對(duì)物理空間進(jìn)行推理時(shí)，空間智能成為推動(dòng)文明前進(jìn)的動(dòng)力——而這些能力，僅靠文本是無(wú)法實(shí)現(xiàn)的。

空間智能是人類認(rèn)知構(gòu)建的基石。無(wú)論是被動(dòng)觀察還是主動(dòng)創(chuàng)造，它都在發(fā)揮作用；它驅(qū)動(dòng)著我們的推理和規(guī)劃，即便面對(duì)最抽象的議題亦是如此；它對(duì)于我們與他人、與環(huán)境的交互（無(wú)論是語(yǔ)言交流還是物理接觸）至關(guān)重要。

雖然大多數(shù)人并非每天都能像埃拉托色尼那樣揭示新的真理，但我們的思考方式本質(zhì)上是相通的 —— 通過(guò)感官感知復(fù)雜世界，再利用對(duì)其物理空間規(guī)律的直覺(jué)理解來(lái)賦予世界意義。

遺憾的是，如今的人工智能尚未具備這樣的思考能力。

過(guò)去幾年，AI 領(lǐng)域確實(shí)取得了巨大進(jìn)步。多模態(tài)大型語(yǔ)言模型（MLLMs）通過(guò)海量文本數(shù)據(jù)與多媒體數(shù)據(jù)的聯(lián)合訓(xùn)練，已具備初步的空間感知能力，如今的 AI 能夠分析圖像、回答相關(guān)問(wèn)題，并生成超逼真的圖像和短視頻。

借助傳感器和觸覺(jué)技術(shù)的突破，最先進(jìn)的機(jī)器人已能在高度受限的環(huán)境中操控物體和工具。

但坦誠(chéng)而言，AI 的空間能力與人類水平仍相去甚遠(yuǎn)，其局限性也暴露無(wú)遺。

最先進(jìn)的多模態(tài)大型語(yǔ)言模型在估計(jì)距離、方位和尺寸，或是通過(guò)從新角度重建物體來(lái)實(shí)現(xiàn) “心理旋轉(zhuǎn)” 等任務(wù)上，表現(xiàn)幾乎與隨機(jī)猜測(cè)無(wú)異；

它們無(wú)法導(dǎo)航迷宮、識(shí)別捷徑，也無(wú)法預(yù)測(cè)基本的物理現(xiàn)象；AI 生成的視頻雖尚處萌芽階段且極具吸引力，但往往在幾秒后就會(huì)失去連貫性。

盡管當(dāng)前最先進(jìn)的 AI 在閱讀、寫(xiě)作、研究和數(shù)據(jù)模式識(shí)別等方面表現(xiàn)出色，但這些模型在表征或交互物理世界時(shí)，仍存在根本性局限。

人類對(duì)世界的認(rèn)知是整體性的—— 不僅包括我們所看到的事物，還包括萬(wàn)物之間的空間關(guān)系、其內(nèi)在意義及重要性。

通過(guò)想象、推理、創(chuàng)造和交互（而非僅僅通過(guò)描述）來(lái)理解世界，這正是空間智能的力量所在。缺乏空間智能，AI 便與它試圖理解的物理現(xiàn)實(shí)脫節(jié)，無(wú)法有效駕駛汽車、在家庭和醫(yī)院中引導(dǎo)機(jī)器人、創(chuàng)造全新的沉浸式學(xué)習(xí)和娛樂(lè)交互方式，也無(wú)法加速材料科學(xué)和醫(yī)學(xué)領(lǐng)域的發(fā)現(xiàn)進(jìn)程。

哲學(xué)家維特根斯坦曾寫(xiě)道：“我的語(yǔ)言的界限，意味著我的世界的界限?！?/strong>我并非哲學(xué)家，但我深知，至少對(duì)于人工智能而言，世界遠(yuǎn)不止于文字。

空間智能代表著語(yǔ)言之外的前沿領(lǐng)域 —— 它連接想象力、感知與行動(dòng)，為機(jī)器真正改善人類生活開(kāi)辟了可能性，從醫(yī)療健康到創(chuàng)意創(chuàng)作，從科學(xué)發(fā)現(xiàn)到日常輔助，無(wú)所不包。

人工智能的下一個(gè)十年：構(gòu)建真正具備空間智能的機(jī)器

那么，我們?cè)撊绾螛?gòu)建具備空間智能的人工智能？通往能夠像埃拉托色尼那樣洞察、像工業(yè)設(shè)計(jì)師那樣精準(zhǔn)設(shè)計(jì)、像敘事者那樣富有想象力、像急救人員那樣熟練與環(huán)境交互的模型，路徑何在？

構(gòu)建空間智能 AI 需要比大型語(yǔ)言模型更宏大的目標(biāo)：世界模型（world models）。

這是一種新型生成式模型，其理解、推理、生成和交互語(yǔ)義、物理、幾何及動(dòng)態(tài)復(fù)雜世界（無(wú)論是虛擬還是真實(shí)）的能力，遠(yuǎn)超當(dāng)前的大型語(yǔ)言模型。

該領(lǐng)域尚處萌芽階段，現(xiàn)有方法涵蓋從抽象推理模型到視頻生成系統(tǒng)等多個(gè)方向。World Labs 于 2024 年初成立，正是基于這樣一種信念：基礎(chǔ)方法仍在建立之中，這將是未來(lái)十年人工智能領(lǐng)域的核心挑戰(zhàn)。

在這一新興領(lǐng)域，最重要的是確立指導(dǎo)發(fā)展的原則。對(duì)于空間智能，我將世界模型定義為具備以下三項(xiàng)核心能力：

生成性：能夠生成具備感知、幾何和物理一致性的世界

解鎖空間理解與推理能力的世界模型，必須能夠自主生成模擬世界。它們需要能夠根據(jù)語(yǔ)義或感知指令，生成無(wú)限多樣的模擬世界，同時(shí)保持幾何、物理和動(dòng)態(tài)的一致性 ——無(wú)論所表征的是真實(shí)空間還是虛擬空間。

研究界正在積極探索，這些世界是否應(yīng)該基于內(nèi)在幾何結(jié)構(gòu)進(jìn)行隱式或顯式表征。此外，除了強(qiáng)大的潛在表征能力，我認(rèn)為通用世界模型的輸出還應(yīng)能夠?yàn)槎喾N應(yīng)用場(chǎng)景生成明確、可觀測(cè)的世界狀態(tài)。

特別是，它對(duì)當(dāng)前狀態(tài)的理解必須與過(guò)去（即導(dǎo)致當(dāng)前狀態(tài)的先前世界狀態(tài)）保持連貫。

多模態(tài)：天生具備多模態(tài)處理能力

與動(dòng)物和人類一樣，世界模型應(yīng)能夠處理多種形式的輸入（在生成式 AI 領(lǐng)域被稱為 “提示詞”）。給定部分信息 ——無(wú)論是圖像、視頻、深度圖、文本指令、手勢(shì)還是動(dòng)作—— 世界模型都應(yīng)能預(yù)測(cè)或生成盡可能完整的世界狀態(tài)。

這需要模型既能以真實(shí)視覺(jué)的保真度處理視覺(jué)輸入，又能同等熟練地解讀語(yǔ)義指令。這使得智能體和人類都能通過(guò)多樣化輸入與模型進(jìn)行關(guān)于世界的溝通，并獲得多樣化輸出。

交互性：能夠根據(jù)輸入動(dòng)作輸出下一狀態(tài)

最后，如果動(dòng)作和 / 或目標(biāo)是世界模型提示詞的一部分，其輸出必須包括世界的下一狀態(tài)（無(wú)論是隱式還是顯式表征）。

當(dāng)僅輸入動(dòng)作（無(wú)論是否包含目標(biāo)狀態(tài)）時(shí)，世界模型應(yīng)生成與世界先前狀態(tài)、預(yù)期目標(biāo)狀態(tài)（如有）、語(yǔ)義意義、物理定律和動(dòng)態(tài)行為一致的輸出。

隨著具備空間智能的世界模型在推理和生成能力上變得更加強(qiáng)大和穩(wěn)健，未來(lái)當(dāng)給定目標(biāo)時(shí)，世界模型或許不僅能預(yù)測(cè)世界的下一狀態(tài)，還能基于新?tīng)顟B(tài)預(yù)測(cè)后續(xù)動(dòng)作。

這一挑戰(zhàn)的規(guī)模遠(yuǎn)超人工智能以往面臨的任何任務(wù)。

語(yǔ)言是人類認(rèn)知中一種純粹的生成現(xiàn)象，但世界的運(yùn)行遵循著復(fù)雜得多的規(guī)則。例如，在地球上，重力支配著運(yùn)動(dòng)，原子結(jié)構(gòu)決定了光線如何產(chǎn)生顏色和亮度，無(wú)數(shù)物理定律約束著每一次交互。

即便是最奇幻、最具創(chuàng)意的世界，其構(gòu)成的空間物體和智能體也必須遵循定義它們的物理定律和動(dòng)態(tài)行為。

要始終如一地協(xié)調(diào)語(yǔ)義、幾何、動(dòng)態(tài)和物理等多方面因素，需要全新的方法。

表征一個(gè)世界的維度復(fù)雜度，遠(yuǎn)高于語(yǔ)言這種一維序列信號(hào)。

要實(shí)現(xiàn)具備人類級(jí)通用能力的世界模型，需要克服多個(gè)嚴(yán)峻的技術(shù)障礙。在 World Labs，我們的研究團(tuán)隊(duì)正致力于朝著這一目標(biāo)取得基礎(chǔ)性進(jìn)展。

以下是我們當(dāng)前的部分研究方向：

一種新的通用訓(xùn)練任務(wù)函數(shù)

定義一種像大型語(yǔ)言模型中的下一個(gè)詞預(yù)測(cè)那樣簡(jiǎn)單優(yōu)雅的通用任務(wù)函數(shù)，長(zhǎng)期以來(lái)一直是世界模型研究的核心目標(biāo)。

其輸入和輸出空間的復(fù)雜性使得這種函數(shù)的設(shè)計(jì)本身極具挑戰(zhàn)性。盡管仍有大量探索空間，但這一目標(biāo)函數(shù)及相應(yīng)表征必須反映幾何和物理定律，彰顯世界模型作為想象力與現(xiàn)實(shí)基礎(chǔ)表征的本質(zhì)。

大規(guī)模訓(xùn)練數(shù)據(jù)

訓(xùn)練世界模型需要比文本數(shù)據(jù)復(fù)雜得多的數(shù)據(jù)集。好消息是，海量數(shù)據(jù)來(lái)源已經(jīng)存在：互聯(lián)網(wǎng)規(guī)模的圖像和視頻集合構(gòu)成了豐富且易于獲取的訓(xùn)練材料——關(guān)鍵挑戰(zhàn)在于開(kāi)發(fā)算法，能夠從這些二維圖像或視頻幀信號(hào)（即 RGB）中提取更深層次的空間信息。

過(guò)去十年的研究已經(jīng)證明了語(yǔ)言模型中數(shù)據(jù)量與模型規(guī)模之間的縮放定律；而世界模型的關(guān)鍵突破，在于構(gòu)建能夠以相當(dāng)規(guī)模利用現(xiàn)有視覺(jué)數(shù)據(jù)的架構(gòu)。

此外，高質(zhì)量合成數(shù)據(jù)以及深度、觸覺(jué)等額外模態(tài)數(shù)據(jù)的潛力也不容小覷。它們?cè)谟?xùn)練過(guò)程的關(guān)鍵階段對(duì)互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)起到補(bǔ)充作用。

但前進(jìn)的道路取決于更先進(jìn)的傳感器系統(tǒng)、更穩(wěn)健的信號(hào)提取算法，以及更強(qiáng)大的神經(jīng)模擬方法。

新的模型架構(gòu)與表征學(xué)習(xí)

世界模型研究必將推動(dòng)模型架構(gòu)和學(xué)習(xí)算法的進(jìn)步，尤其是突破當(dāng)前多模態(tài)大型語(yǔ)言模型和視頻擴(kuò)散模型的范式。

這兩種模型通常將數(shù)據(jù) token 化為一維或二維序列，這使得簡(jiǎn)單的空間任務(wù)（如統(tǒng)計(jì)短視頻中獨(dú)特椅子的數(shù)量，或記住一小時(shí)前房間的樣子）變得不必要地復(fù)雜。

替代架構(gòu)可能會(huì)有所幫助，例如用于 token 化、上下文處理和記憶的三維或四維感知方法。

例如，在 World Labs，我們最近推出的實(shí)時(shí)生成式幀基模型（RTFM）就體現(xiàn)了這一轉(zhuǎn)變 —— 它利用基于空間的幀作為空間記憶形式，實(shí)現(xiàn)高效的實(shí)時(shí)生成，同時(shí)保持生成世界的連續(xù)性。

顯然，要通過(guò)世界模型完全解鎖空間智能，我們?nèi)悦媾R巨大挑戰(zhàn)。但這項(xiàng)研究并非純理論探索，它是新型創(chuàng)意和生產(chǎn)力工具的核心引擎。而 World Labs 取得的進(jìn)展令人鼓舞。

我們最近向少數(shù)用戶展示了 Marble——首個(gè)能夠通過(guò)多模態(tài)輸入提示，生成并維持一致的三維環(huán)境，供用戶和敘事者在創(chuàng)意工作流中探索、交互和進(jìn)一步構(gòu)建的世界模型。我們正努力盡快將其向公眾開(kāi)放！

Marble 只是我們構(gòu)建真正具備空間智能世界模型的第一步。隨著進(jìn)展加速，研究人員、工程師、用戶和企業(yè)領(lǐng)導(dǎo)者都開(kāi)始認(rèn)識(shí)到其非凡潛力。

下一代世界模型將使機(jī)器在空間智能方面達(dá)到全新高度 —— 這一成就將解鎖當(dāng)前 AI 系統(tǒng)中仍大量缺失的關(guān)鍵能力。

利用世界模型構(gòu)建更美好的人類世界

人工智能的發(fā)展動(dòng)力至關(guān)重要。

作為助力開(kāi)啟現(xiàn)代人工智能時(shí)代的科學(xué)家之一，我的動(dòng)機(jī)始終明確：人工智能必須增強(qiáng)人類能力，而非取代人類。多年來(lái)，我一直致力于使人工智能的開(kāi)發(fā)、部署和治理與人類需求保持一致。

如今，技術(shù)烏托邦和世界末日的極端敘事層出不窮，但我依然秉持更務(wù)實(shí)的觀點(diǎn)：人工智能由人類開(kāi)發(fā)、供人類使用、受人類監(jiān)管。

它必須始終尊重人類的能動(dòng)性和尊嚴(yán)。其魅力在于拓展我們的能力邊界，讓我們更具創(chuàng)造力、更緊密相連、更高效且更有成就感。

空間智能正是這一愿景的體現(xiàn)：人工智能賦能人類創(chuàng)造者、護(hù)理人員、科學(xué)家和夢(mèng)想家，實(shí)現(xiàn)曾經(jīng)看似不可能的目標(biāo)。

這一信念驅(qū)動(dòng)著我將空間智能視為人工智能的下一個(gè)偉大前沿。

空間智能的應(yīng)用跨越不同時(shí)間維度。

創(chuàng)意工具已嶄露頭角——World Labs 的 Marble 已將這些能力交付給創(chuàng)造者和敘事者；

機(jī)器人技術(shù)代表著中期的宏大愿景，我們正在完善感知與行動(dòng)之間的循環(huán)；而最具變革性的科學(xué)應(yīng)用雖需更長(zhǎng)時(shí)間，但有望對(duì)人類福祉產(chǎn)生深遠(yuǎn)影響。

在所有這些時(shí)間維度中，有幾個(gè)領(lǐng)域尤其有望重塑人類能力。這需要集體的巨大努力，遠(yuǎn)非單個(gè)團(tuán)隊(duì)或公司所能獨(dú)立完成。

它需要整個(gè)人工智能生態(tài)系統(tǒng)的參與，研究人員、創(chuàng)新者、企業(yè)家、企業(yè)乃至政策制定者，朝著共同的愿景努力。

但這一愿景值得我們追求。

以下是未來(lái)的發(fā)展圖景：

創(chuàng)意領(lǐng)域：賦能敘事與沉浸式體驗(yàn)

“創(chuàng)造力是智能在享受樂(lè)趣。”這是我個(gè)人偶像阿爾伯特?愛(ài)因斯坦的名言之一。

早在文字出現(xiàn)之前，人類就開(kāi)始講故事 —— 將其繪制在洞穴墻壁上、代代相傳、在共同敘事的基礎(chǔ)上構(gòu)建整個(gè)文化。

故事是我們理解世界、跨越時(shí)空連接彼此、探索人性意義的方式，更重要的是，它讓我們?cè)谏詈蛺?ài)中找到歸屬感。

如今，空間智能有望以尊重故事核心價(jià)值的方式，重塑我們創(chuàng)造和體驗(yàn)敘事的方式，并將其影響從娛樂(lè)拓展至教育、設(shè)計(jì)和建筑等領(lǐng)域。

World Labs的Marble平臺(tái)將前所未有的空間能力和編輯可控性交付給電影人、游戲設(shè)計(jì)師、建筑師和各類敘事者，使他們能夠快速創(chuàng)建和迭代可完全探索的三維世界，而無(wú)需承擔(dān)傳統(tǒng)三維設(shè)計(jì)軟件的高昂成本。

創(chuàng)意行為本身仍然保持著人類特有的生命力和核心地位；AI 工具只是放大和加速了創(chuàng)造者的成就。

這包括：

多維度敘事體驗(yàn)

電影人和游戲設(shè)計(jì)師正利用 Marble 擺脫預(yù)算和地理限制，自由構(gòu)建整個(gè)世界，探索在傳統(tǒng)制作流程中難以實(shí)現(xiàn)的場(chǎng)景和視角。

隨著不同媒體和娛樂(lè)形式的界限逐漸模糊，我們正邁向一種融合藝術(shù)、模擬和游戲的全新交互式體驗(yàn) —— 個(gè)性化世界，讓任何人（而非僅僅是工作室）都能創(chuàng)造和棲息于自己的故事中。

隨著將概念和故事板快速轉(zhuǎn)化為完整體驗(yàn)的方法不斷涌現(xiàn)，敘事將不再局限于單一媒介，創(chuàng)造者可以自由構(gòu)建跨越多種平臺(tái)和載體、擁有共同主線的世界。

設(shè)計(jì)中的空間敘事

本質(zhì)上，幾乎所有人造物體或建筑空間在物理創(chuàng)建之前，都需要在虛擬三維環(huán)境中進(jìn)行設(shè)計(jì)。

這一過(guò)程具有高度迭代性，且在時(shí)間和金錢(qián)上成本高昂。借助具備空間智能的模型，建筑師可以在投入數(shù)月設(shè)計(jì)時(shí)間之前快速可視化結(jié)構(gòu)，在尚未存在的空間中漫步 ——本質(zhì)上是講述我們可能如何生活、工作和聚集的故事。

工業(yè)設(shè)計(jì)師和時(shí)裝設(shè)計(jì)師可以將想象力瞬間轉(zhuǎn)化為實(shí)體形態(tài)，探索物體與人體和空間的交互方式。

全新的沉浸式交互體驗(yàn)

體驗(yàn)本身是人類創(chuàng)造意義的最深刻方式之一。

在整個(gè)人類歷史中，我們只有一個(gè)統(tǒng)一的三維世界：我們共同生活的物理世界。

直到最近幾十年，通過(guò)游戲和早期虛擬現(xiàn)實(shí)（VR）技術(shù)，我們才開(kāi)始瞥見(jiàn)共享自己創(chuàng)造的替代世界的可能性。

如今，空間智能與虛擬現(xiàn)實(shí)（VR）、擴(kuò)展現(xiàn)實(shí)（XR）頭顯和沉浸式顯示器等新型設(shè)備相結(jié)合，以前所未有的方式提升了這些體驗(yàn)。

我們正邁向一個(gè)未來(lái)。

前沿動(dòng)態(tài)
前沿大會(huì)

前沿人物

點(diǎn)「在看」，給前前加雞腿