本研究由北京大學(xué)、高德地圖研究團(tuán)隊(duì)聯(lián)合完成。通訊作者包括北京大學(xué)博雅特聘教授，智能學(xué)院副院長(zhǎng)陳寶權(quán)，北京大學(xué)助理教授陳文拯及高德地圖徐牧。

試想一下，無論是為下一代 3A 大作（如《GTA 6》）構(gòu)建一個(gè) 1:1 的紐約城，還是為城市級(jí)無人機(jī)送貨系統(tǒng)規(guī)劃一條在摩天大樓間穿梭的低空物流航線，甚至是為特大城市的應(yīng)急響應(yīng)系統(tǒng)構(gòu)建一個(gè)毫厘畢現(xiàn)的數(shù)字底座，高精度的逼真 3D 城市模型都是關(guān)鍵。

通常，構(gòu)建一座這樣的 3D 城市模型需要數(shù)千人的美術(shù)團(tuán)隊(duì)耗時(shí)數(shù)年手工建模，或者動(dòng)用昂貴的專業(yè)設(shè)備進(jìn)行掃描。如何低成本、高效率地將龐大的 “實(shí)體都市” 復(fù)刻進(jìn)數(shù)字空間，一直是計(jì)算機(jī)圖形學(xué)與 3D 視覺領(lǐng)域試圖攻克的終極難題。

相比之下，衛(wèi)星圖像覆蓋全球、易于獲取，似乎是理想的數(shù)據(jù)源。但實(shí)際上，用衛(wèi)星圖重建城市卻一直非常困難。根本原因在于視角問題：衛(wèi)星是從正上方俯拍，而我們需要的是帶有清晰立面的地面視角。

這種從 “頂視圖” 推理 “側(cè)視圖” 的視角極端外推，讓現(xiàn)有先進(jìn)方法如 NeRF 和 3DGS 都難以應(yīng)對(duì)，重建出的建筑側(cè)立面常常幾何扭曲、紋理模糊。

SOTA 城市重建方法（CityGS-X）在衛(wèi)星場(chǎng)景下，可以重建出良好的城市屋頂幾何和自頂向下視角，但難以重建城市建筑側(cè)立面，在近地視角產(chǎn)生嚴(yán)重的偽影。

為了解決這一難題，北大與高德團(tuán)隊(duì)提出了一種全新的生成式攝影測(cè)量方案Orbit2Ground。它巧妙地結(jié)合城市幾何先驗(yàn)與生成式 AI，僅憑稀疏的衛(wèi)星圖像，就構(gòu)建出了精細(xì)美觀的逼真 3D 城市。

• 論文標(biāo)題：From Orbit to Ground: Generative City Photogrammetry from Extreme Off-Nadir Satellite Images
• 項(xiàng)目主頁：https://pku-vcl-geometry.github.io/Orbit2Ground
• 論文地址：https://arxiv.org/pdf/2512.07527

SDF 單調(diào)性約束

強(qiáng)制從屋頂 “長(zhǎng)” 出墻壁

衛(wèi)星圖可以為屋頂提供良好的多視角立體視覺（Multi-View Stereo, MVS），但很難捕捉到建筑側(cè)面的視差信息，這導(dǎo)致傳統(tǒng)算法雖然能恢復(fù)出清晰的屋頂，但一處理側(cè)面就會(huì)遭遇嚴(yán)重的幾何崩塌，復(fù)原的墻面支離破碎，充滿懸浮的碎片。

與常規(guī)的街景重建不同，衛(wèi)星圖像稀疏且視角嚴(yán)重地自頂向下，幾乎無法捕捉垂直結(jié)構(gòu)的視差。如圖所示，多視角重建（黃色點(diǎn)）僅能恢復(fù)地面和屋頂，無法重建建筑物外立面。

為了補(bǔ)足缺失的側(cè)面幾何，團(tuán)隊(duì)利用了一個(gè)關(guān)鍵現(xiàn)象：絕大多數(shù)城市建筑的墻壁都是平整外凸的，極少出現(xiàn)向內(nèi)凹陷的結(jié)構(gòu)。

基于此，團(tuán)隊(duì)提出了Z-Monotonic SDF (Z 軸單調(diào)符號(hào)距離場(chǎng))。其核心邏輯在于：約束 SDF 場(chǎng)在 Z 軸方向上單調(diào)遞增。

若將常規(guī)的城市建筑形成 SDF 場(chǎng)，則在其中任意選取平面一條豎線，其上所有點(diǎn)的 SDF 值，均沿高度向上單調(diào)遞增。

這一數(shù)學(xué)約束直接決定了最終的幾何形態(tài) —— 因?yàn)镾DF 場(chǎng)的單調(diào)性強(qiáng)制要求其生成的等值面（即幾何表面）必須是連續(xù)且非凹陷的，所以這意味著，幾何體不允許在中間斷開、破碎或是向內(nèi)塌陷。

這種 “SDF 單調(diào) → 幾何非凹” 的強(qiáng)力約束，使得算法即便在僅有頂部觀測(cè)數(shù)據(jù)的情況下，也能自動(dòng)從屋頂向下 “拉伸” 出連續(xù)、閉合的完整墻壁。正是這一約束，從根本上避免了 “空心樓” 和墻面破碎的問題，從稀疏的衛(wèi)星數(shù)據(jù)中生成了結(jié)構(gòu)完整的建筑幾何。

AI “精裝修”，變模糊為高清

有了幾何 “毛坯房”，下一步是解決紋理模糊的問題。

由于大氣干擾和分辨率限制，衛(wèi)星拍攝的側(cè)面紋理往往不夠清晰。為了解決這個(gè)問題，團(tuán)隊(duì)基于 FLUX 模型，訓(xùn)練了一個(gè)專門的確定性紋理修復(fù)網(wǎng)絡(luò)。他們并沒有讓 AI 憑空捏造，而是讓它基于衛(wèi)星圖提供的基礎(chǔ)色調(diào)和結(jié)構(gòu)，利用學(xué)習(xí)到的海量城市外觀知識(shí)，對(duì)模糊的立面進(jìn)行確定性修復(fù)。

通過將擴(kuò)散模型微調(diào)為 “確定性” 模式，確保了在不同視角下生成的紋理是連貫統(tǒng)一的，避免了生成式 AI 常見的由隨機(jī)性導(dǎo)致的鬼影、模糊等問題。

整體流程

Orbit2Ground 將重建任務(wù)解耦為幾何與外觀兩個(gè)階段：

• 第一階段（幾何重建）：基于稀疏的 MVS 點(diǎn)云優(yōu)化 Z-Monotonic SDF (Z 軸單調(diào)符號(hào)距離場(chǎng))，從而提取出具有干凈垂直立面的高保真 Mesh 幾何。
• 第二階段（外觀精修）：以初始紋理（由衛(wèi)星圖像反向投影得到）為起點(diǎn)，我們利用修復(fù)網(wǎng)絡(luò)增強(qiáng)近距離新視角的渲染效果，進(jìn)而將其作為清晰、高保真的監(jiān)督信號(hào)，用于最終的紋理優(yōu)化。

方法效果

在多個(gè)數(shù)據(jù)集上的測(cè)試表明，Orbit2Ground 在幾何完整性和視覺保真度上均超越了當(dāng)前的 SOTA 方法。

更重要的是，Orbit2Ground 展現(xiàn)了碾壓級(jí)的視覺效果：

當(dāng)其他方法在缺乏數(shù)據(jù)的區(qū)域產(chǎn)生云霧狀的偽影時(shí)，Orbit2Ground 生成的是堅(jiān)實(shí)、連貫的物理表面。在近距離的地面視角下，建筑立面的紋理清晰可辨，極大地提升了畫面的真實(shí)感與沉浸感。

此外，與目前流行的 NeRF 或 3DGS 等 “云霧狀” 表達(dá)不同，Orbit2Ground 最終輸出的是標(biāo)準(zhǔn)的 Mesh (網(wǎng)格) 模型。

這意味著這套資產(chǎn)不是只能看、不能碰的 “全息影像”，而是可以直接導(dǎo)入 Unity、Unreal Engine 5 等主流引擎的實(shí)體資產(chǎn)。

Orbit2Ground 形成的城市 Mesh 模型，可以完成廣泛的下游應(yīng)用，例如降雪模擬。

開發(fā)者可以直接在這些模型上添加剛體碰撞、進(jìn)行物理模擬（如積雪堆積、洪水淹沒），或者進(jìn)行光照渲染。這意味著我們擁有了一種低成本方案，能夠生成不僅 “看得清”，而且真正 “用得上” 的城市級(jí)數(shù)字資產(chǎn)。

或許在不遠(yuǎn)的將來，

我們真的只需要幾顆衛(wèi)星，

就能在數(shù)字世界中復(fù)刻一個(gè)鮮活的地球。