轉(zhuǎn)自機(jī)器之心，僅用于學(xué)術(shù)分享，如有侵權(quán)留言刪除

機(jī)器之心編輯部

就在今天，斯坦福大學(xué)教授李飛飛的創(chuàng)業(yè)公司 World Labs 發(fā)布了新成果 —— 限量開(kāi)放的測(cè)試預(yù)覽版空間智能模型 Marble。

「只需一張圖片，就能生成持久存在的 3D 世界，比以往更宏大、更震撼！」

我們先看下面一段視頻 demo：

李飛飛對(duì)此表示，「這是一個(gè)使用我們的 3D 世界生成模型創(chuàng)建的極其龐大的世界，它令我驚嘆不已！」

實(shí)現(xiàn)這一切，輸入的既可以是單張圖片，也可以是文本提示。

當(dāng)被問(wèn)到與谷歌的 Genie 有什么區(qū)別時(shí)，李飛飛表示，「我們生成的 3D 世界是永久存在的，用戶可以自由地在其中導(dǎo)航探索，而這一切對(duì)你來(lái)說(shuō)完全免費(fèi)。」

有 X 博主表示，「這才是真正的大規(guī)模 3D 生成?！?/p>

另有網(wǎng)友測(cè)試后表示效果很棒，也提出了一些改進(jìn)的建議。

目前，用戶可以加入候補(bǔ)名單，訪問(wèn) Marble 預(yù)覽版。

白名單地址：https://www.worldlabs.ai/waitlist

在 World Labs 放出的官方博客中，我們可以看到更詳細(xì)的技術(shù)細(xì)節(jié)（下文以第一人稱陳述）。

今天，我們很高興分享在「空間智能」前沿探索上的最新進(jìn)展 —— 生成持久、可導(dǎo)航、可控的 3D 世界。

同時(shí)，我們正式推出 Marble，一個(gè)限量測(cè)試版預(yù)覽模型，現(xiàn)已開(kāi)放試用。

試用地址：marble.worldlabs.ai

無(wú)論是輸入一張圖片還是一段文字提示，Marble 都能生成一個(gè) 3D 世界，供你無(wú)限制地探索 —— 沒(méi)有時(shí)間限制、沒(méi)有形變、沒(méi)有不一致性。

與此前成果相比，現(xiàn)在生成的 3D 世界規(guī)模更大、風(fēng)格更多樣化、幾何結(jié)構(gòu)也更為干凈。

Marble 讓用戶可以瀏覽和構(gòu)建 3D 世界。愛(ài)好者和開(kāi)發(fā)者還可以將生成的世界導(dǎo)出為高斯點(diǎn)云，并在下游項(xiàng)目中加以使用。這在開(kāi)源渲染庫(kù) Spark 的支持下尤為方便，它能夠?qū)⒏咚裹c(diǎn)云無(wú)縫集成進(jìn) Three.js，用于構(gòu)建基于 Web 的 3D 體驗(yàn)，并能高效地在桌面電腦、筆記本電腦、移動(dòng)設(shè)備和 VR 頭顯上運(yùn)行。

憑借模型在一致性和風(fēng)格遵循上的進(jìn)步，用戶現(xiàn)在可以通過(guò)組合多個(gè)單獨(dú)的生成結(jié)果來(lái)構(gòu)建出更大的世界。

更優(yōu)質(zhì)的幾何結(jié)構(gòu)

在許多視覺(jué)創(chuàng)作者的工作流與應(yīng)用場(chǎng)景中，能夠在一致的 3D 世界中進(jìn)行導(dǎo)航和交互是核心需求。

我們生成的 3D 世界支持用戶在瀏覽器中進(jìn)行自由視角的導(dǎo)航，且完全零成本。相比深度圖或點(diǎn)云所提供的有限 3D 體驗(yàn)，我們的世界具備更豐富的幾何復(fù)雜度，能夠生成更完整的 3D 場(chǎng)景，使用戶可以從輸入視角的背后或更遠(yuǎn)處進(jìn)行探索。

目前，我們的模型主要面向 3D 環(huán)境的創(chuàng)建，而不是聚焦于單個(gè)或中心對(duì)象（例如人物或動(dòng)物）。所以，對(duì)于自拍愛(ài)好者或?qū)櫸镏魅藖?lái)說(shuō)，暫時(shí)可能會(huì)有些遺憾。

更多樣化的風(fēng)格

生成式 AI 最令人興奮的一點(diǎn)，是它能在創(chuàng)作過(guò)程中自由迭代外觀與風(fēng)格。

我們的模型可以將各種風(fēng)格的輸入轉(zhuǎn)化為 3D 世界，從平面、色彩鮮明的卡通到逼真、細(xì)節(jié)豐富的圖像，讓用戶能夠不斷探索和嘗試，找到最契合需求的 3D 世界。

更宏大場(chǎng)景的探索

以房間大小為尺度的世界是一個(gè)很好的起點(diǎn)，但創(chuàng)作者的想象往往超越這些界限。

我們想展示一些可能性：用戶可以將自己生成的空間拼接在一起，從而構(gòu)建更宏大的環(huán)境。得益于我們的模型在風(fēng)格一致性和幾何一致性上的表現(xiàn)，如今已經(jīng)可以暢快地在這些更大的世界中進(jìn)行導(dǎo)航和瀏覽，并設(shè)想出豐富多樣的應(yīng)用場(chǎng)景。

博客地址：https://www.worldlabs.ai/blog/bigger-better-worlds