智東西
編譯｜萬貴霞
編輯｜云鵬

智東西1月14日消息，據(jù)外媒Upload昨日報道，蘋果Vision Pro用戶已經(jīng)可以通過一款名為Splat Studio的新應用，將普通圖像轉(zhuǎn)換為可交互的3D場景。

Splat Studio由葡萄牙開發(fā)者Rob Matwiejczyk開發(fā)，是一款基于蘋果開源AI模型SHARP的3D場景生成應用。

▲Splat Studio應用介紹（圖源：蘋果應用商店）

Vision Pro用戶可在蘋果應用商店免費下載Splat Studio，并從照片庫中選擇任意圖像，應用即可將其實時轉(zhuǎn)換為可交互的3D場景。

生成后的場景支持手勢操作，用戶可以在虛擬空間中對畫面進行旋轉(zhuǎn)、移動和縮放，以全新的視角探索圖像內(nèi)容。

一、Splat Studio實測：設(shè)備端生成可自由移動的3D場景

外媒Upload在搭載蘋果M5芯片的Vision Pro上對Splat Studio進行了測試。作為對比，Upload還將同一張圖片通過visionOS 26的系統(tǒng)功能生成空間場景。

visionOS 26是蘋果于去年9月為Vision Pro推出的操作系統(tǒng)版本，也支持將照片轉(zhuǎn)換為3D場景。但其本質(zhì)是一種體積照片（Volumetric Photo），用戶的可移動和觀察范圍相對有限。

在實際體驗中，用戶從照片庫選擇圖像后，Splat Studio會將其轉(zhuǎn)化為一個完整的3D場景，支持通過手勢進行旋轉(zhuǎn)、移動和縮放操作。

▲由蘋果SHARP驅(qū)動的Splat Studio應用測試效果，邊緣細節(jié)有損失（圖源：Upload）

從處理速度來看，Splat Studio將圖像轉(zhuǎn)換為3D場景大約需要20秒，而visionOS 26的處理幾乎可以瞬時完成。

目前尚不清楚其中的延遲究竟有多少來自SHARP模型本身，又有多少是Splat Studio應用額外引入的運行負擔。

在畫質(zhì)方面，Splat Studio生成的3D場景在部分細節(jié)上存在一定損失，且隨著用戶視角偏離原始拍攝角度，畫面會逐漸出現(xiàn)模糊現(xiàn)象。

▲同一圖片在visionOS 26中生成的3D場景，視角較為受限（圖源：Upload）

不過，Splat Studio的優(yōu)勢也十分明顯：其生成的3D場景可移動范圍顯著大于visionOS 26。

相比之下，visionOS 26雖然支持用戶在空間中觀看照片，但在各個方向上的移動空間相對受限；而Splat Studio生成的場景允許用戶在更大的范圍內(nèi)自由移動和探索。

二、Splat Studio的技術(shù)實現(xiàn)：蘋果SHARP從云端到本地打開低成本3D重建路徑

在過去一年中，已經(jīng)出現(xiàn)了不少開源和專有的AI系統(tǒng)，能夠?qū)⒄掌D(zhuǎn)化為可自由探索的3D場景。例如Marble允許用戶在頭顯的瀏覽器中，借助WebXR技術(shù)直接探索生成的場景。

▲之前在Marble中生成的3D場景，效果較好但費時（圖源：Upload）

但Marble通常依賴高計算成本的服務器端模型，生成一次結(jié)果往往需要好幾分鐘。這也正是蘋果SHARP模型引發(fā)關(guān)注的原因所在。

SHARP可以直接運行在典型的消費級設(shè)備上，支持通用CPU以及英偉達CUDA、蘋果Silicon的Metal硬件加速。在大多數(shù)硬件環(huán)境下，其處理時間不到1秒，顯著降低了3D場景生成的門檻。

結(jié)語：SHARP免費開源，3D場景可在任何標準查看器中查看

蘋果罕見地將SHARP以免費、開源的形式對外發(fā)布，相關(guān)代碼已在GitHub上開放，用戶可以輕松下載并在Mac等設(shè)備上運行。

與過去幾年幾乎所有重要的3D重建技術(shù)進展一樣，SHARP生成的仍是一個高斯濺射（Gaussian splat）場景：通過將數(shù)百萬個半透明彩色斑點（即“高斯”）嵌入3D空間，實現(xiàn)對任意視角的實時渲染。

最終生成的結(jié)果以.ply文件形式輸出，可被任何標準的3DGS查看器渲染和查看。

這也意味著，蘋果正在通過SHARP，為低成本、設(shè)備端3D重建打開一條新的技術(shù)路徑。

來源：Upload