從單幅圖像恢復(fù)三維結(jié)構(gòu)，到多視圖場景建模、動態(tài) 4D 重建，再到機器人、自動駕駛、SLAM 與視頻生成，如何讓模型在不依賴逐場景優(yōu)化的前提下，直接、高效地理解并重建三維世界，正在成為 3D 視覺領(lǐng)域的重要方向。

與傳統(tǒng) SfM、MVS、NeRF、3D Gaussian Splatting 等方法不同，前饋式 3D 場景建模（Feed-Forward 3D Scene Modeling）通過一次前向推理，直接從輸入圖像預(yù)測三維場景表示，從而顯著降低測試階段的優(yōu)化成本，并具備更強的跨場景泛化能力與實際部署潛力。論文摘要和引言都強調(diào)，這一范式正快速發(fā)展，并逐漸成為連接效率、泛化和系統(tǒng)落地能力的重要路線。

近日，來自浙江大學(xué)、南洋理工大學(xué)、Monash University、ETH Zurich、圖賓根大學(xué)等機構(gòu)的研究者聯(lián)合發(fā)布綜述論文，系統(tǒng)梳理了前饋式 3D 場景建模的研究進(jìn)展，并提出了一種區(qū)別于以往工作的全新組織方式：不再主要按 NeRF、3DGS、Pointmap 等表示形式劃分方法，而是從模型試圖解決的核心問題出發(fā)，構(gòu)建 problem-driven 的統(tǒng)一分析框架。

• 論文標(biāo)題：Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective
• 論文地址: https://arxiv.org/abs/2604.14025
• 項目地址：https://ff3d-survey.github.io/
• Github 論文整理：https://github.com/ziplab/Awesome-Feed-Forward-3D

圖 1：本文綜述整體框架。從 3D 表示、五大研究方向，到數(shù)據(jù)集、應(yīng)用場景與未來趨勢，系統(tǒng)展示了前饋式 3D 場景建模的整體脈絡(luò)。

為什么這篇綜述值得關(guān)注？

前饋式 3D 方向發(fā)展很快，但長期以來，很多工作仍然主要按照 3D 表示形式來分類，例如 NeRF 一類、3DGS 一類、Pointmap 一類。論文指出，這種方式雖然直觀，卻往往掩蓋了真正推動方法演進(jìn)的關(guān)鍵因素。因為在現(xiàn)實中，使用同一種表示的方法，可能在解決完全不同的問題；而針對同一挑戰(zhàn)的不同方法，也可能采用截然不同的表示。

基于這一觀察，作者提出：與其圍繞「輸出是什么」來組織文獻(xiàn)，不如圍繞「方法到底在解決什么問題」來重新理解這一領(lǐng)域。論文摘要中明確提出，現(xiàn)有前饋式方法雖然輸出表示多樣，但在高層架構(gòu)設(shè)計上共享大量共性，例如圖像特征提取、多視圖信息融合、幾何感知設(shè)計等，因此更有解釋力的組織方式，應(yīng)當(dāng)是圍繞模型設(shè)計策略和核心挑戰(zhàn)進(jìn)行歸納。

也正因此，這篇綜述最突出的貢獻(xiàn)，不只是「總結(jié)得全」，而是給出了一個新的觀察框架。它把前饋式 3D 場景建?？偨Y(jié)為五個核心研究方向：特征增強、幾何感知、模型效率、增強策略、時序感知模型。這一 problem-driven taxonomy 構(gòu)成了全文的方法主線。

圖 2：前饋式 3D 重建方法的 problem-driven 分類框架。作者將現(xiàn)有方法歸納為特征增強、幾何感知、模型效率、增強策略和時序感知五大方向。

從「表示分類」走向「問題驅(qū)動」：

五大研究方向重新組織前饋式 3D

1. 特征增強：先把 2D 特征學(xué)好，才能更穩(wěn)地 lift 到 3D

論文指出，前饋式 3D 系統(tǒng)中，隱式特征圖質(zhì)量直接決定后續(xù) 3D 解碼效果。因此，大量工作首先圍繞feature enhancement展開，包括 backbone 架構(gòu)演進(jìn)、跨視圖特征融合，以及視覺基礎(chǔ)模型的引入。換句話說，很多方法的關(guān)鍵改進(jìn)，并不在輸出層，而在「輸入圖像特征如何被建模、對齊并增強」這一層。

從論文的整理可以看到，這條路線已經(jīng)從早期 CNN-based 條件建模，逐步發(fā)展到 Transformer、Mamba、ViT 等更強的編碼架構(gòu)，同時不斷加強 cross-view fusion 和 foundation model priors 的引入。作者還專門總結(jié)了近期前饋式 3D 模型常見的 encoder taxonomy，覆蓋 ResNet、ViT、U-Net、Mamba 以及 DINO、CLIP、CroCo、diffusion 等預(yù)訓(xùn)練先驗。

圖 3：近期前饋式 3D 模型常見編碼器與預(yù)訓(xùn)練先驗的演化脈絡(luò)。包括 ViT、ResNet、Mamba 等骨干網(wǎng)絡(luò)，以及 DINO、CLIP、CroCo、diffusion 等基礎(chǔ)模型先驗。

2. 幾何感知：前饋式 3D 的核心不只是看圖，更是「懂幾何」

如果說特征增強解決的是「看得更清楚」，那 geometry awareness 解決的就是「想得更對」。論文認(rèn)為，僅依賴 2D 圖像特征容易帶來幾何歧義，因此需要通過顯式幾何聚合、后處理細(xì)化、無位姿重建、預(yù)訓(xùn)練幾何引導(dǎo)等策略，把更強的幾何推理能力注入模型。

這部分的一個重要價值在于，它把 cost volume、epipolar constraints、surface-aware modeling、pose-free reconstruction 等看似分散的方法路線，統(tǒng)一放進(jìn)了一個更高層的框架里。這樣讀者能更清楚地看到，這些方法雖然形式不同，但本質(zhì)上都在回答同一個問題：前饋式 3D 模型如何在一次推理中恢復(fù)更可靠的場景幾何。

圖 4：幾何感知方向的主要改進(jìn)路徑。包括顯式幾何聚合、后處理細(xì)化、無位姿重建和預(yù)訓(xùn)練幾何引導(dǎo)等幾類代表性路線。

3. 模型效率：前饋式 3D 要真正落地，必須同時解決速度和內(nèi)存問題

除了「準(zhǔn)不準(zhǔn)」，前饋式 3D 的另一個核心問題是「能不能真正用起來」。論文因此把model efficiency單獨作為一條主線，并分成兩類：一類關(guān)注feature efficiency，即如何更高效地進(jìn)行多視圖特征聚合；另一類關(guān)注representation compaction，即如何壓縮顯式 3D 表示，尤其是 Gaussian 的數(shù)量和存儲開銷。

這也反映出前饋式 3D 當(dāng)前發(fā)展的現(xiàn)實目標(biāo)：它不只是要在 benchmark 上提高指標(biāo)，還要推動方法走向?qū)崟r應(yīng)用、資源受限場景和長序列重建。論文專門給出了不同代表性方法在顯存占用、Gaussian 數(shù)量和推理時間上的對比，清楚展示了這一方向在效率層面的權(quán)衡關(guān)系。

圖 5：不同前饋式新視角合成方法在效率上的對比。從顯存占用、Gaussian 數(shù)量和推理時間三個維度，展示不同方法在工程部署上的權(quán)衡。

4. 增強策略：不只擴訓(xùn)練數(shù)據(jù)，也借助生成模型補足視覺先驗

論文中的augmentation strategies不是狹義的數(shù)據(jù)增強，而是被分成了兩條互補路線：一條是data augmentation，通過合成場景、偽標(biāo)注、多視圖生成等方式擴充訓(xùn)練分布；另一條是visual augmentation，借助 diffusion 等生成模型增強渲染結(jié)果、去除偽影并補全缺失細(xì)節(jié)。這一點非常重要，因為它說明前饋式 3D 已不再只是一個純幾何建模問題，而是在逐漸和生成式建模融合。未來更強的前饋式 3D 系統(tǒng)，很可能既要恢復(fù)可靠幾何，也要通過大規(guī)模視覺先驗提升完整性與逼真度。

圖 6：數(shù)據(jù)增強與視覺增強兩類 augmentation 策略的區(qū)別。前者擴充訓(xùn)練分布，后者借助生成模型增強渲染結(jié)果，共同提升模型的泛化性與視覺質(zhì)量。

5. 時序感知模型：從靜態(tài) 3D 走向動態(tài) 4D 和持續(xù)世界建模

前饋式 3D 的最后一條關(guān)鍵方向，是 temporal-aware models。論文指出，這類方法通過建模跨幀幾何與運動一致性，進(jìn)一步把前饋式 3D 擴展到動態(tài)場景和低延遲 4D 建模。作者將其分為在線流式、離線處理、交互式建模以及面向特定任務(wù)的時序方法。

這部分也清楚表明，前饋式 3D 正在從「單個靜態(tài)場景的快速重建」逐漸走向「持續(xù)建模世界」的能力形態(tài)。這對機器人、自動駕駛、動態(tài)場景理解以及空間智能系統(tǒng)都非常關(guān)鍵。

圖 7：時序感知前饋式 3D 模型的主要范式。涵蓋在線流式建模、離線時序處理、交互式建模以及面向特定任務(wù)的時序方法。

不只方法整理，這篇綜述還

重新梳理了 benchmark 和應(yīng)用全景

很多綜述在數(shù)據(jù)集和 benchmark 部分往往只是羅列，而這篇文章進(jìn)一步從評測目標(biāo)出發(fā)，將數(shù)據(jù)集劃分為 geometry-oriented 和 visual-oriented 兩類。前者更強調(diào)點云、深度、位姿等幾何質(zhì)量，后者則更關(guān)注新視角合成中的視覺真實感。論文明確提到，這樣的劃分有助于更清晰地理解不同 benchmark 對方法發(fā)展的牽引作用。

與此同時，文章還系統(tǒng)總結(jié)了前饋式 3D 在自動駕駛、機器人、場景理解、SfM/SLAM、視頻生成和視覺定位等方向上的應(yīng)用。作者認(rèn)為，這一范式已經(jīng)從研究概念逐步走向?qū)嶋H技術(shù)能力組件，正在持續(xù)降低 3D 建模在真實系統(tǒng)中的使用門檻。

表 1：前饋式 3D 重建代表性數(shù)據(jù)集匯總。本文按照主要用途將現(xiàn)有數(shù)據(jù)集劃分為幾何導(dǎo)向、視覺導(dǎo)向和混合類型，并進(jìn)一步統(tǒng)計其數(shù)據(jù)規(guī)模、來源類型、場景類別以及代表性的訓(xùn)練與測試方法，用于展示當(dāng)前前饋式 3D 場景建模的數(shù)據(jù)基礎(chǔ)與評測生態(tài)。

未來趨勢：前饋式 3D 會走向哪里？

在最后的討論中，論文將未來方向總結(jié)為 benchmark rigor、model efficiency、scalable scene representations、world models、unified perception and reconstruction 等幾條主線。尤其值得注意的是，作者把world models納入前饋式 3D 的未來圖景中，這意味著前饋式 3D 不再只是「更快的三維重建」，而可能成為未來空間智能和世界建模系統(tǒng)中的基礎(chǔ)模塊。

總結(jié)

這篇綜述最大的價值，不只是系統(tǒng)總結(jié)了前饋式 3D 場景建模的發(fā)展，更在于它提出了一個更具解釋力的視角：相比按表示形式分類，圍繞特征、幾何、效率、增強和時序這些核心問題來理解方法演進(jìn)，更能揭示這一領(lǐng)域真正的研究脈絡(luò)。

從這個意義上說，這篇工作不僅為新進(jìn)入這一方向的研究者提供了一張清晰的路線圖，也為整個社區(qū)重新理解前饋式 3D 提供了一個更統(tǒng)一的分析框架。它讓我們看到，前饋式 3D 的核心，不只是「輸出什么三維表示」，而是「如何更穩(wěn)、更準(zhǔn)、更快地建立對三維世界的理解」。

作者介紹

本文由浙江大學(xué)、南洋理工大學(xué)、Monash 大學(xué)、蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）及圖賓根大學(xué)等機構(gòu)聯(lián)合完成。作者包括：Weijie Wang（浙江大學(xué)博士生）、Qihang Cao（共同一作）、Sensen Gao（共同一作），Donny Y. Chen（Project Lead），Haofei Xu、Wenjing Bian、Songyou Peng、Tat-Jen Cham、Chuanxia Zheng、Andreas Geiger（圖賓根大學(xué)教授）、Jianfei Cai（Monash 大學(xué)教授，IEEE Fellow），及通訊作者 Jiawang Bian 與 Bohan Zhuang。