機(jī)器之心編輯部

AI 時(shí)代，我們已經(jīng)習(xí)慣了用「說話」搞定一切：想要一個(gè)表格，動(dòng)動(dòng)嘴皮子，大模型分分鐘就給生成出來；想完成個(gè)復(fù)雜任務(wù)，交代清楚目標(biāo)和限制，「小龍蝦」自己就干活去了。

這個(gè)時(shí)代，只要會(huì)用語言，就能調(diào)動(dòng)越來越復(fù)雜的系統(tǒng)。大模型之所以迅速滲透各行各業(yè)，本質(zhì)上是因?yàn)樗鼈儾仍诹恕肝谋尽惯@個(gè)成熟接口之上。

但當(dāng)問題換成空間時(shí)，事情就沒那么簡(jiǎn)單了。比如你想改一套房子的布局，或者給機(jī)器人一個(gè)新的倉(cāng)庫環(huán)境讓它學(xué)會(huì)搬貨，你不能只靠一句話反復(fù)「生成畫面」。如果每次移動(dòng)一面墻、改變一盞燈，都要把整個(gè)世界從頭渲染一遍，那效率和可靠性都會(huì)出問題?？臻g世界需要結(jié)構(gòu)，需要持久存在的物體和規(guī)則，就像程序需要代碼，而不是每次都臨時(shí)算一遍結(jié)果。

這篇來自 World Labs 的博客，討論的正是這個(gè)問題：當(dāng) AI 開始真正參與空間創(chuàng)作和現(xiàn)實(shí)世界任務(wù)時(shí)，什么才是它與人類、與其他系統(tǒng)溝通的「通用接口」？作者給出的答案是：3D。3D 不只是視覺效果，而是一種像代碼一樣的結(jié)構(gòu)化表達(dá)。它可以被生成、被檢查、被修改、被版本管理，也可以接入模擬系統(tǒng)、機(jī)器人系統(tǒng)和現(xiàn)有的設(shè)計(jì)工具鏈。

圍繞這個(gè)核心類比，文章進(jìn)一步展開：神經(jīng)圖形學(xué)像編程語言，負(fù)責(zé)表達(dá)空間結(jié)構(gòu)；模擬引擎像芯片，負(fù)責(zé)執(zhí)行規(guī)則與物理；而世界模型則開始承擔(dān)「寫空間代碼」的角色。理解這一點(diǎn)，其實(shí)是在理解一個(gè)更大的變化——當(dāng)空間本身變成可編程的媒介，人類和機(jī)器協(xié)作的方式，也會(huì)被重新定義。

以下是博客的具體內(nèi)容。

3D —— 空間「代碼」

我們可以通過將 3D 表示與代碼進(jìn)行比較，來理解它在空間領(lǐng)域中的作用。代碼是一種持久的抽象，旨在指定由處理器執(zhí)行的底層邏輯。幾十年來，它驅(qū)動(dòng)了現(xiàn)代世界的很大一部分。如今，AI 模型在推理和生成代碼方面變得極其熟練；隨后，這些代碼在遠(yuǎn)早于 LLM 出現(xiàn)的硬件上執(zhí)行。作為接口，代碼和 3D 在我們使用它們的原因和方式上有著重要的結(jié)構(gòu)相似性。

人與機(jī)器之間

• 代碼是人機(jī)之間極其強(qiáng)大的接口。當(dāng) AI 系統(tǒng)生成代碼時(shí)，人類可以對(duì)其進(jìn)行檢查、修改、調(diào)試，并將其集成到更大的系統(tǒng)中。這促成了復(fù)合工作流：程序員和 AI 編程智能體可以共同迭代完善解決方案。
• 3D 表示也可以發(fā)揮類似的作用。當(dāng)世界模型生成一個(gè) 3D 場(chǎng)景、物體或環(huán)境時(shí)，人類可以在熟悉的工具中打開它，編輯幾何體、調(diào)整約束、重新運(yùn)行模擬并糾正錯(cuò)誤。在這里，同樣可以構(gòu)建復(fù)合工作流和流水線：設(shè)計(jì)師和工程師可以與生成式世界模型進(jìn)行協(xié)作。

機(jī)器與機(jī)器之間

• 代碼還可以作為機(jī)器到機(jī)器的接口。AI 生成的程序可以插入編譯器、運(yùn)行時(shí)環(huán)境、API 以及現(xiàn)有的軟件基礎(chǔ)設(shè)施中。由于代碼遵循既定的抽象，它可以與現(xiàn)有工具互操作。
• 同樣，3D 輸出也能與渲染引擎、模擬系統(tǒng)、物理求解器、機(jī)器人軟件棧和 CAD 工具集成。當(dāng)世界模型生成結(jié)構(gòu)化的 3D 表示而非像素時(shí)，它就可以參與到現(xiàn)有的流水線中，并與編輯軟件和模擬引擎對(duì)接。

在這兩種情況下，關(guān)鍵屬性都是將狀態(tài)外化為其他系統(tǒng)可以使用的結(jié)構(gòu)化構(gòu)件。

試想在「代碼」領(lǐng)域的一種替代方案。與其讓 LLM 編寫程序，我們不如讓它成為程序本身。例如，我們可以提示 LLM：「對(duì)以下一百萬個(gè)數(shù)字的列表進(jìn)行排序?！乖撃Ｐ陀心芰L試完全在其 token 流中模擬這種行為，方法是攝取列表并嘗試以排序后的順序重新輸出。

但我們很少這樣使用 LLM，除非是作為一種「小把戲」，而且我們也不指望它們能在這種任務(wù)上完美成功。為什么？因?yàn)榇a執(zhí)行提供了原始推理所不具備的保證，比如可重復(fù)執(zhí)行性、人類可讀性和模塊化可組合性。代碼可以獨(dú)立于模型的短暫上下文窗口進(jìn)行存儲(chǔ)、版本控制、測(cè)試和運(yùn)行。它將推理、表示和執(zhí)行分離開來：你思考算法，將程序?qū)懗晌谋?，然后再運(yùn)行它。

空間系統(tǒng)中也有一個(gè)直接的對(duì)應(yīng)關(guān)系。讓 LLM 「成為程序」的等效做法，就是拋棄結(jié)構(gòu)化的世界表示和模擬引擎，轉(zhuǎn)而純粹依賴狀態(tài)與觀測(cè)混雜的黑盒系統(tǒng)，例如逐幀查詢用于動(dòng)作條件像素或狀態(tài)生成的模型。此類模型可能在其核心任務(wù)上表現(xiàn)優(yōu)異，并可用于各種應(yīng)用，但它們缺乏可操作的結(jié)構(gòu)：它們的輸出無法被檢查、編輯、輕松共享（例如，像多人系統(tǒng)這樣的共享體驗(yàn)，或機(jī)器人之間的共享意圖和狀態(tài)），也無法集成到現(xiàn)有的模擬和控制系統(tǒng)中。

神經(jīng)圖形學(xué) —— 空間「編程語言」

如果說 3D 是代碼在空間領(lǐng)域的類比，那么什么扮演著編程語言的角色：精確、具有表現(xiàn)力且足夠通用以模擬世界？

幾十年來，出現(xiàn)了各種各樣的 3D 表示：網(wǎng)格（meshes）、體素（voxels）、點(diǎn)云（point clouds）、隱式場(chǎng)（implicit fields）、CAD 格式等等。但是，創(chuàng)建豐富的大規(guī)?？臻g，特別是針對(duì)數(shù)字孿生，一直十分困難并受制于硬件。傳統(tǒng)的 3D 引擎是圍繞嚴(yán)格的內(nèi)存和計(jì)算限制構(gòu)建的，需要簡(jiǎn)化的幾何體，且通常需要手工制作資產(chǎn)。為了最大限度地減少內(nèi)存使用和帶寬，流水線的設(shè)計(jì)初衷是資產(chǎn)的重用和壓縮。數(shù)據(jù)驅(qū)動(dòng)的方法過于昂貴，并與驅(qū)動(dòng)這些系統(tǒng)設(shè)計(jì)的基本假設(shè)相沖突。

針對(duì)機(jī)器學(xué)習(xí)優(yōu)化的軟硬件的爆炸式增長(zhǎng)打破了這些限制?，F(xiàn)代 GPU 最初是為了渲染三角形而創(chuàng)建的，事實(shí)證明它對(duì)支持神經(jīng)網(wǎng)絡(luò)的大規(guī)模矩陣乘法運(yùn)算異常有用。新一代的 GPU 被顯式設(shè)計(jì)為適應(yīng) AI 工作負(fù)載，擁有龐大的內(nèi)存芯片來容納模型和數(shù)據(jù)集。與此同時(shí)，這些 GPUs 依然能夠異常出色地渲染圖形和運(yùn)行模擬。

具體而言，這一硬件趨勢(shì)使得 NeRF 和 Gaussian splatting 等新的消耗大量?jī)?nèi)存和計(jì)算資源的技術(shù)大放異彩。我們現(xiàn)在可以生成、存儲(chǔ)和渲染能夠裝入內(nèi)存的世界級(jí)規(guī)模的表示，并在需要時(shí)動(dòng)態(tài)重新計(jì)算它們。曾經(jīng)依賴靜態(tài)資產(chǎn)的流水線可以變得（部分或完全）生成式。這催生了保真度更高的環(huán)境、更大的多樣性以及新的應(yīng)用領(lǐng)域。例如，數(shù)字孿生可以從簡(jiǎn)化且需手動(dòng)更新的模型，轉(zhuǎn)變?yōu)槠湮锢韺?duì)應(yīng)物不斷更新的高精度鏡像，從而支持監(jiān)控、控制和安全關(guān)鍵型工作流。

在這個(gè)新穎的架構(gòu)棧中，神經(jīng)圖形學(xué)發(fā)揮著類似編程語言的作用。它提供了一種表現(xiàn)力豐富的媒介，用于描述和生成空間結(jié)構(gòu)，就像高級(jí)語言描述計(jì)算結(jié)構(gòu)一樣。

模擬引擎 —— 空間「芯片」

當(dāng)世界模型隨著時(shí)間運(yùn)行以實(shí)現(xiàn)交互、持久性和動(dòng)態(tài)變化時(shí)，它才變得真正有用。如果 3D 是代碼，那么模擬引擎就是運(yùn)行它的芯片。

交互性不僅是一個(gè)單一功能。它是模擬引擎幾十年來一直在解決的一系列系統(tǒng)問題：狀態(tài)管理、物理機(jī)制、碰撞檢測(cè)、光照、同步、確定性和回放。

至少，長(zhǎng)時(shí)間跨度的交互體驗(yàn)需要持久性。世界必須擁有一種能在單次渲染傳遞之后依然存活的身份。動(dòng)作會(huì)留下痕跡，物體會(huì)保持狀態(tài)，而一個(gè)會(huì)話也可以被恢復(fù)。這涉及三個(gè)核心組件：

• 狀態(tài)管理（存在什么）
• 更新規(guī)則（動(dòng)作和物理/規(guī)則如何改變它）
• 觀測(cè)（當(dāng)前狀態(tài)如何被渲染為像素或傳感器輸出）

原則上，大型擴(kuò)散或生成模型可以將這一切折疊成一個(gè)端到端的映射：（歷史 + 動(dòng)作）→ 下一幀。在這里，「狀態(tài)」僅存在于短暫的神經(jīng)激活之中。這是一個(gè)引人注目的研究方向，已有多個(gè)模型和項(xiàng)目在探索這種「完全像素化」方法究竟能走多遠(yuǎn)。

但折疊這個(gè)架構(gòu)棧會(huì)引入一個(gè)根本性的權(quán)衡。當(dāng)內(nèi)存、動(dòng)態(tài)和渲染都糾纏在一個(gè)單一網(wǎng)絡(luò)內(nèi)部時(shí)，創(chuàng)造和消費(fèi)之間的界限就模糊了。運(yùn)行時(shí)的物理交互（踢球）和非物理編輯（拆除墻壁）變成了同一類型的輸入。使用我們上面的類比，編輯代碼變得與執(zhí)行代碼無法區(qū)分。雖然這作為訓(xùn)練大規(guī)模模型的目標(biāo)很方便，但這種混為一談削弱了有關(guān)物理一致性、可回放性和確定性的保證。

另一種替代方案是因式分解或混合運(yùn)行時(shí)：學(xué)習(xí)到的世界模型生成和解釋結(jié)構(gòu)，但在 3D 接口和表示的媒介作用下，有針對(duì)性地使用類似于現(xiàn)有引擎組件的外部工具。鑒于基于 LLM 的編程的發(fā)展軌跡，這些模型很可能能夠比現(xiàn)成的庫和引擎構(gòu)建出更適合其用例的定制邏輯。但我們預(yù)測(cè)，在用于感知、生成和推理的組件與那些「規(guī)則至關(guān)重要」的組件之間，依然會(huì)存在明顯的區(qū)分。

在因式分解的系統(tǒng)中，3D 成為人機(jī)之間一個(gè)強(qiáng)大的接口，暴露出可控、可重復(fù)且可互操作的輸入和輸出。

3D 是人機(jī)接口

鑒于我們將 3D 比作代碼，讓我們探討一下為什么 3D 是人機(jī)之間交互的一門強(qiáng)大媒介，能夠描述物理和虛擬世界并與之互動(dòng)。

對(duì)于機(jī)器：許多軟件系統(tǒng)已經(jīng)在空間維度上運(yùn)行：模擬器、機(jī)器人軟件棧、游戲引擎、CAD 工具和 GIS 系統(tǒng)都通過幾何體、變換、材質(zhì)、軌跡和約束來進(jìn)行交互。如果世界模型以相同的結(jié)構(gòu)化語言生成輸出，它就可以直接接入現(xiàn)有的流水線。

同樣重要的是，機(jī)器越來越需要相互交流空間意圖。規(guī)劃智能體可能會(huì)標(biāo)記目標(biāo)區(qū)域，安全監(jiān)視器可能會(huì)標(biāo)記禁區(qū)，感知模塊可能會(huì)標(biāo)注不確定的幾何體，渲染模塊可能會(huì)請(qǐng)求新的視角：這些都是空間概念。

如果所有的空間推理都糾纏在一個(gè)單一的龐大模型中，實(shí)現(xiàn)這一目標(biāo)的一種方法可能是共享隱向量。但這是一種很強(qiáng)的假設(shè)，需要共享模型或者至少共享隱空間。在異構(gòu)的模塊化環(huán)境中，這種假設(shè)不成立。哪怕是語言，對(duì)于傳達(dá)幾何和約束而言也是一種效率低下的交換格式；而結(jié)構(gòu)化的 3D 則是一種更為自然的通用語。

導(dǎo)出能力同樣重要。當(dāng)一個(gè)世界模型能夠?qū)⑵洹杆枷搿雇饣癁榫唧w的表示（如 splats、網(wǎng)格、視頻）時(shí)，它們就成了可以被檢查、驗(yàn)證、進(jìn)行版本控制、測(cè)試和重用的構(gòu)件 —— 可組合的流水線應(yīng)運(yùn)而生。

對(duì)于人：3D 交互對(duì)人類來說也是很自然的。我們一生中醒著的時(shí)間都在空間中導(dǎo)航：伸手、行走、操縱、對(duì)齊……我們的心智模型是圍繞持久的物體和關(guān)系構(gòu)建的：「椅子在桌子下面」，「門廊連接著這些房間」。當(dāng)系統(tǒng)暴露出這種顯式的結(jié)構(gòu)時(shí)，它們便與我們?cè)械乃伎挤绞綄?duì)齊了。

這與純粹基于圖像的工作流形成了鮮明的對(duì)比。在 2D 動(dòng)畫中，每一幀都必須重繪，實(shí)際上相當(dāng)于每秒將世界重建幾十次。而在 3D 中，世界被構(gòu)建一次，隨后只需移動(dòng)相機(jī)、改變光照、讓物體動(dòng)起來即可。單次空間編輯會(huì)自動(dòng)傳播到渲染出的每一幀。

這種將空間 3D 表示與渲染分離的做法，恰恰反映了代碼與執(zhí)行之間的分離。你只需修改一次源代碼然后重新運(yùn)行，而不是從頭重寫每一個(gè)輸出。

邁向未來

如果 3D 扮演著類似于代碼作為人機(jī)接口的角色，那么發(fā)展軌跡就很清晰了：世界變得「可編程」，成為一種人與機(jī)器都能生成、編輯、組合和分享的媒介。

這正是我們?cè)?World Labs 努力建設(shè)的方向：

• Marble是一個(gè)多模態(tài)世界模型，旨在重建、生成和模擬 3D 世界。它可以從文本、圖像、視頻或粗略的 3D 布局中創(chuàng)建持久的、可導(dǎo)航的世界。這些世界可以被編輯、擴(kuò)展、導(dǎo)出（作為 Gaussian splats、網(wǎng)格或視頻），并集成到下游工具中。
• Marble 的 3D 調(diào)節(jié)接口是一個(gè)名為Chisel的實(shí)驗(yàn)性功能，它推進(jìn)了將 3D 作為粗粒度控制層的理念。它允許創(chuàng)作者使用墻壁、平面、體積和導(dǎo)入的資產(chǎn)來勾勒出結(jié)構(gòu)輪廓，然后將這些作為輸入提供給我們的模型，從而在上面生成豐富詳細(xì)的視覺效果。將布局和樣式分離，讓用戶能夠?qū)?gòu)圖和外觀進(jìn)行顯式的控制。
• RTFMSpark探索了渲染層。RTFM 正在對(duì)「學(xué)習(xí)型渲染（learned rendering）」進(jìn)行實(shí)驗(yàn)，能從簡(jiǎn)單的結(jié)構(gòu)化輸入中產(chǎn)生復(fù)雜的視覺效果（如反射和陰影）。Spark 是一款高性能的 Gaussian splatting 渲染器，它集成了 WebGL，將神經(jīng)圖形學(xué)帶入了實(shí)時(shí)的 Web 環(huán)境中。

這一領(lǐng)域正在快速演變。世界模型將越來越多地參與到混合架構(gòu)棧中：生成結(jié)構(gòu)化的世界（「代碼」），通過神經(jīng)圖形學(xué)（「語言」）進(jìn)行表達(dá)，并在模擬引擎（「芯片」）內(nèi)部執(zhí)行。這是一場(chǎng)向可編程、數(shù)據(jù)驅(qū)動(dòng)的空間系統(tǒng)邁進(jìn)的范式轉(zhuǎn)移，該系統(tǒng)能夠支持逼真的環(huán)境、數(shù)字孿生、機(jī)器人、培訓(xùn)、設(shè)計(jì)以及全新的應(yīng)用類別。其核心前提始終不變：人類、智能體和軟件之間可靠的溝通與協(xié)作，需要一個(gè)精確、緊湊、可檢查且可操縱的接口。

那個(gè)接口，就是 3D。

原文鏈接：https://www.worldlabs.ai/blog/3d-as-code