剛剛，李飛飛的創(chuàng)業(yè)公司 World Labs 正式宣布，他們的世界模型 Marble 正式向所有人開放使用。

兩天前，李飛飛發(fā)布了，闡釋自己對世界模型和空間智能的看法。果然，她的正式"作品"緊接著就公開上線了。

*Marble介紹視頻

一句話總結(jié)，Marble 是 World Labs 的第一款產(chǎn)品，基于多模態(tài)世界模型打造。

這個模型現(xiàn)在允許任何人通過圖片/文字/視頻/3D素材，創(chuàng)建高保真、持久的3D世界，讓每個人腦海中的個性化場景精準(zhǔn)地呈現(xiàn)在現(xiàn)實(shí)中。

世界模型被期待為下一個 AI 重大突破的機(jī)遇，也是近期全球科技圈的焦點(diǎn)。李飛飛發(fā)布 Marble 自然引起各路大佬圍觀，YC、a16z 的合伙人都第一時間轉(zhuǎn)發(fā)or體驗(yàn)。

*YC的Garry Tan稱李飛飛的這次發(fā)布非常重要

*a16z 的 Justine Moore 試用完稱非常有趣

與 Marble 模型開放使用的消息一起公開的，還有 World Labs 的一篇產(chǎn)品解讀長文。這篇文章里，團(tuán)隊(duì)不僅介紹了 Marble 的特點(diǎn)，還花式展示了不少效果案例和使用Tips。

我們第一時間對它進(jìn)行評測（附在文末），并根據(jù)官方介紹整理出 Marble 的功能亮點(diǎn)：

全面多模態(tài)化

這是 Marble 最本質(zhì)的特點(diǎn)。它已實(shí)現(xiàn)大規(guī)模多模態(tài)融合，可以根據(jù)文本、圖像、視頻或粗略的 3D 素材生成三維世界。

*圖片提示案例

*文本提示案例

多圖像提示

在使用中，用戶輸入多個圖像的提示，往往能以更高的精度創(chuàng)建 3D 世界。

原因在于，僅僅輸入文本或單圖像作為提示詞時，Marble 必須自行創(chuàng)造提示詞中未提供的世界部分。而如果使用多圖像，模型就可以根據(jù)這些圖像生成"世界"從不同角度看起來的樣子。

官方認(rèn)為，這個功能事實(shí)上帶來了一個全新的世界生成工作流：用戶可以使用自己喜歡的圖像生成工具，生成并輸入?yún)⒖紙D，而 Marble 會將這些圖生成為完整的 3D 世界，同時還能在各個輸入圖之間無縫過渡。

多圖像提示還可以用來創(chuàng)建受現(xiàn)實(shí)世界空間啟發(fā)的"世界"。

Marble 可以輸入幾張從不同角度拍攝的現(xiàn)實(shí)場景照片，或一段短視頻，并將它們組合生成一個基于現(xiàn)實(shí)空間的世界。

編輯功能，讓生成更符合心意

對許多人而言，創(chuàng)作是一個需要迭代的過程，所以 Marble 還內(nèi)置了原生 AI 世界編輯工具，方便用戶調(diào)整。

用戶可以通過它做微調(diào)，例如刪除一個物體，或修飾某個區(qū)域；也能用它做更大幅度的改動，例如替換物體、改變視覺風(fēng)格，或重新構(gòu)建世界中的大片區(qū)域。

*編輯案例

*編輯案例

*編輯案例

Marble 的多模態(tài)輸入與編輯功能，為生成的三維世界提供了高度控制能力。

但有時若要讓世界完全符合用戶腦海中的構(gòu)想，還需對場景布局、物體尺寸與位置等方面進(jìn)行更精細(xì)的控制。針對這種需求，他們推出了 Chisel ——一款能夠在 3D 空間中直接編輯 Marble 世界的原生 AI 工具。

*Chisel 編輯效果

*Chisel 編輯效果

*Chisel 編輯效果

*3D 編輯效果

構(gòu)建更大世界

World Labs認(rèn)為，有時候更大的確意味著更好。因?yàn)楦鼜V闊的"世界"帶來更多可能性、更多空間，也更能展示用戶的創(chuàng)造力。

所以他們提供了兩種方式，讓用戶構(gòu)建比之前更宏大的 3D 世界。

第一種，在"世界"生成完成后，Marble 支持一鍵擴(kuò)展，讓世界變得更大。

在這個過程中，用戶擁有完全的控制權(quán)：

可以選擇對"世界"中的某個區(qū)域進(jìn)行擴(kuò)展，Marble 會自動生成更多內(nèi)容來填充所選區(qū)域。而且，擴(kuò)展功能不僅可以讓"世界"變得更大，還可以修復(fù)或優(yōu)化原本存在瑕疵的部分——那些在初始生成時出現(xiàn)偽影或細(xì)節(jié)模糊的區(qū)域，在擴(kuò)展后可以變得更加清晰干凈。

另外，擴(kuò)展還可用于針對性地增強(qiáng)局部細(xì)節(jié)。比如有時，一張桌子的背面或房間的遠(yuǎn)角可能不像房間中心那樣清晰，此時對該區(qū)域進(jìn)行擴(kuò)展，就能顯著改善畫面效果。

豐富的導(dǎo)出模式

在使用 Marble 創(chuàng)建"世界"之后，用戶可以通過多種方式將其導(dǎo)出，整合到接下來的操作中。

Gaussian splats（高斯點(diǎn)云）是 Marble 中最高保真度的表示形式。它將 3D 場景表示為一組半透明粒子的集合。用戶可以使用 Spark —— World Lab 基于 THREE.js 的開源跨平臺渲染器 ——在瀏覽器中直接渲染這些高斯點(diǎn)云。

另外 Marble 還可以導(dǎo)出為三角網(wǎng)格（triangle meshes），以便與眾多業(yè)界標(biāo)準(zhǔn)的三維工具兼容與互操作。

它現(xiàn)在支持生成兩種類型的網(wǎng)格：

• 碰撞網(wǎng)格（collider meshes）：低保真度網(wǎng)格，用于粗略的物理模擬；

• 高質(zhì)量網(wǎng)格（high-quality meshes）：盡可能貼近高斯點(diǎn)云的視覺效果。

將世界導(dǎo)出為網(wǎng)格格式，能夠讓它與眾多業(yè)界標(biāo)準(zhǔn)的三維工具進(jìn)行兼容與互操作。

用戶還可以 Marble 將生成的"世界"渲染為視頻，采用像素級精度的相機(jī)控制，能夠精準(zhǔn)構(gòu)圖每一個鏡頭。

Marble 還可以對導(dǎo)出的視頻進(jìn)行增強(qiáng)。增強(qiáng)后的視頻能夠：

• 添加更多細(xì)節(jié)；

• 去除偽影與瑕疵；

• 為場景增添動態(tài)元素，同時仍保持像素級的相機(jī)控制精度，并嚴(yán)格遵循已生成三維世界的結(jié)構(gòu)。

在 Marble 正式開放后，我第一時間進(jìn)行了體驗(yàn)。

地址：marble.worldlabs.ai

目前，Marble 分為免費(fèi)版和會員賬號，區(qū)別在于生成數(shù)量、編輯功能豐富度、商用授權(quán)等。

該說不說，這個產(chǎn)品的操作非常容易上手——用戶只用點(diǎn)擊頂部對話框，就能選擇需要上傳的素材，目前可以上傳 2D 圖片或者 3D 模型，也可以通過文字生成。

我測試了四個案例，整體效果在交互性和邏輯性上都還不錯，但是細(xì)節(jié)精細(xì)程度有時還需提升。

先看免費(fèi)賬號的效果。我讓 Marble 通過一張霍格沃茲圣誕節(jié)時的圖片，生成一個中世紀(jì)城堡內(nèi)部樣子的世界。

*提示圖片

耗時約10分鐘后，我的第一個 Marble 世界出現(xiàn)了。這個"世界"的交互性和物理一致性都挺好，空間感也不錯，但或許由于圖片清晰度不夠，生成的效果有點(diǎn)粗糙——不是很清晰，細(xì)節(jié)也不夠精致。

接下來，看看我氪金后用Pro賬號多圖生成的效果。

讓模型生成火星表面的世界

*采用多圖提示

通過倫敦的街景圖，生成的世界

*采用多圖提示

整體感覺畫面比較細(xì)膩，效果比免費(fèi)賬號更清晰。

BTW，官方這次還一起推出了 Marble Labs。

在Marble Labs里，官方希望藝術(shù)家、工程師與設(shè)計師們共同探索世界模型，展示創(chuàng)意和真實(shí)工作流程，以及游戲、視覺特效（VFX）、設(shè)計、機(jī)器人等領(lǐng)域中的可能性。

這里也是 Marble 的案例研究、教程與文檔的集合地，感興趣的朋友可以嘗試訪問 marble.worldlabs.ai。