在空間智能（Spatial Intelligence）飛速發(fā)展的今天，全景視角因其 360° 的環(huán)繞覆蓋能力，成為了機(jī)器人導(dǎo)航、自動駕駛及虛擬現(xiàn)實的核心基石。然而，全景深度估計長期面臨 “數(shù)據(jù)荒” 與 “模型泛化差” 的瓶頸。

近日，來自 Insta360 研究團(tuán)隊、加州大學(xué)圣地亞哥分校 (UCSD)、武漢大學(xué)以及加州大學(xué)默塞德分校的研究者共同推出了Depth Any Panoramas (DAP)。這是首個在大規(guī)模多樣化數(shù)據(jù)集上訓(xùn)練的全景度量深度（Metric Depth）基礎(chǔ)模型，不僅統(tǒng)一了室內(nèi)外場景，更通過 200 萬量級的數(shù)據(jù)引擎與創(chuàng)新的幾何一致性設(shè)計，刷新了多項 benchmark 紀(jì)錄，在多種 open-world 場景下保持優(yōu)異的效果。

• 論文標(biāo)題：Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation
• 項目主頁：https://insta360-research-team.github.io/DAP_website/
• 論文鏈接：https://insta360-research-team.github.io/DAP_website/assets/paper.pdf
• Demo：https://huggingface.co/spaces/Insta360-Research/DAP

模型對由 Gemini 或 DiT-360 等合成的全景圖同樣展現(xiàn)出了極佳的預(yù)測效果，生成的深度圖邊緣銳利、邏輯自洽，是空間 AIGC 鏈路中理想的幾何基石。 除了靜態(tài)圖像，DAP 在處理全景視頻流時同樣展現(xiàn)出了極佳的預(yù)測效果，具備優(yōu)秀的幀間一致性與穩(wěn)定性 。

破局：從「貧礦」到 200 萬量級的「數(shù)據(jù)海洋」

在深度學(xué)習(xí)時代，數(shù)據(jù)的規(guī)模決定了模型的上限。然而，獲取帶高精度深度標(biāo)注的全景數(shù)據(jù)成本極高，導(dǎo)致學(xué)術(shù)界長期依賴于幾萬張規(guī)模的小型數(shù)據(jù)集，如 Stanford2D3D 或 Matterport3D。

為了打破這一僵局，DAP 團(tuán)隊構(gòu)建了一個規(guī)模空前的全景數(shù)據(jù)引擎，將數(shù)據(jù)量直接推向了200 萬（2M）級別，除了現(xiàn)有的 Structured3D：

• 1.7M 互聯(lián)網(wǎng)真實全景圖：從海量網(wǎng)頁中收集并精細(xì)過濾，覆蓋了極為豐富的真實世界場景。
• UE5 模擬器精準(zhǔn)補全：利用基于虛幻引擎 5 的 AirSim360 模擬器，生成了 90K 張高質(zhì)量、帶像素級深度標(biāo)簽的室外航拍數(shù)據(jù)，解決了戶外訓(xùn)練數(shù)據(jù)稀缺的痛點。
• AIGC 技術(shù)協(xié)同：引入 DiT360 模型生成了 200K 張室內(nèi)全景圖，進(jìn)一步增強了模型對多樣化室內(nèi)環(huán)境的理解力。

三階段偽標(biāo)簽管線：讓「無監(jiān)督」變「強監(jiān)督」

面對 1.9M 沒有任何標(biāo)簽的原始全景圖，如何挖掘它們的價值？

DAP 巧妙地設(shè)計了一個三階段偽標(biāo)簽精煉管線，像漏斗一樣層層篩選，最終淬煉出高質(zhì)量的監(jiān)督信號：

1.Stage 1：場景不變標(biāo)注器。先用小規(guī)模但精準(zhǔn)的合成數(shù)據(jù)（Structured3D + DAP-2M-Labeled）練出一個基本功扎實的標(biāo)注器，確立物理意義上的深度基準(zhǔn)。

2.Stage 2：寫實性不變標(biāo)注器。引入專門的深度質(zhì)量判別器（Discriminator），從 1.9M 預(yù)測結(jié)果中篩選出最靠譜的 600K 樣本（300K 室內(nèi) + 300K 戶外），再次訓(xùn)練標(biāo)注器，消除合成數(shù)據(jù)與真實場景之間的紋理鴻溝。

3.Stage 3：全量 DAP 訓(xùn)練。在匯集了精煉偽標(biāo)簽和原始強監(jiān)督標(biāo)簽的 2M 數(shù)據(jù)集上，正式煉成 DAP 基礎(chǔ)模型。

模型架構(gòu)細(xì)節(jié)：DINOv3 骨干+動態(tài)距離掩碼

除了海量數(shù)據(jù)，DAP 在模型架構(gòu)上也進(jìn)行了設(shè)計：

• 強大的 “大腦”：采用最新的DINOv3-Large作為特征提取骨干，賦予了模型極強的視覺先驗和零樣本泛化能力。
• 距離自適應(yīng)（Range Mask Head）：模型內(nèi)置了即插即用的距離閾值分支，允許用戶根據(jù)應(yīng)用場景（如室內(nèi)掃地機(jī)器人 vs 戶外無人機(jī)）切換深度感知范圍，有效解決了全景圖中遠(yuǎn)景區(qū)域深度分布不均、預(yù)測不穩(wěn)的問題。
• 多維幾何優(yōu)化：引入了包括SILog 損失、鋒利度損失（LDF/Lgrad）、表面法線損失以及點云一致性損失在內(nèi)的聯(lián)合優(yōu)化。這些損失函數(shù)專門針對全景圖的等距柱狀投影（ERP）進(jìn)行了畸變補償，確保預(yù)測出的深度圖不僅數(shù)值準(zhǔn)，而且邊緣銳利、幾何結(jié)構(gòu)不崩塌。

效果：三大主流榜單

在多項嚴(yán)苛的零樣本（Zero-shot）測試中，DAP 展現(xiàn)了優(yōu)異的效果：

• 室內(nèi)場景（Stanford2D3D / Matterport3D）：DAP 的絕對相對誤差（AbsRel）大幅下降，在沒有針對目標(biāo)數(shù)據(jù)集進(jìn)行任何微調(diào)的情況下，依然保持了極高的預(yù)測一致性。
• 戶外場景（Deep360 / DAP-Test）：在極具挑戰(zhàn)性的戶外測試集中，DAP 顯著超越了此前的 DAC 和 Unik3D。它預(yù)測出的建筑物邊緣清晰，天空區(qū)域深度穩(wěn)定，不再出現(xiàn)傳統(tǒng)模型的 “深度空洞” 或 “結(jié)構(gòu)扭曲”。

圖示對比：圖中的實測對比中可以看到，對比 baseline 出現(xiàn)的遠(yuǎn)景模糊和天空深度誤判，DAP 無論是復(fù)雜的家具紋理還是遠(yuǎn)處的山脈輪廓，都清晰可見。

全空間智能的新里程碑

DAP 的出現(xiàn)，標(biāo)志著全景深度估計正式進(jìn)入了 open-world 時代。

它不僅能為自動駕駛、機(jī)器人避障提供更廣闊的 “全知視角”，也為 3D 場景重建、VR/AR 內(nèi)容創(chuàng)作提供了極低成本的深度獲取手段。正如論文總結(jié)所言，DAP 通過大規(guī)模數(shù)據(jù)擴(kuò)展和統(tǒng)一的三階段管線，成功構(gòu)建了一個能跨越室內(nèi)外、統(tǒng)一米制深度的全景視覺基座。

目前，DAP 的項目頁面已經(jīng)正式上線，相關(guān)的代碼與模型也已開源。

“數(shù)據(jù)是在全景領(lǐng)域?qū)崿F(xiàn) AGI 感知的關(guān)鍵�！�DAP 不僅為機(jī)器人全向避障提供了更精準(zhǔn)的 “眼睛”，也為 VR/AR 場景的大規(guī)模 3D 重建和場景生成奠定了堅實的技術(shù)底座。如果你對全景視覺、空間計算或深度估計感興趣，DAP 絕對是不容錯過的年度之作！