近年來(lái)，Sim2Real作為連接仿真環(huán)境和真實(shí)三維世界的主要橋梁，在越來(lái)越多的應(yīng)用（如具身智能，虛擬現(xiàn)實(shí)）中扮演著至關(guān)重要的角色。在這一背景下，一個(gè)基本問(wèn)題是——如何模擬和仿真真實(shí)捕獲的三維數(shù)據(jù)。為了解決這個(gè)問(wèn)題，現(xiàn)有多數(shù)方法將預(yù)定義的顯式物理先驗(yàn)引入到仿真深度傳感器中，以模擬真實(shí)的深度傳感器，但這種方式難以充分捕捉真實(shí)世界的復(fù)雜性。最優(yōu)解決方案應(yīng)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)從合成數(shù)據(jù)到真實(shí)數(shù)據(jù)的隱式映射，遺憾的是，這一方案的研究近年來(lái)陷入了停滯。

為了重新推動(dòng)這一研究方向的進(jìn)展，港中大（深圳）韓曉光團(tuán)隊(duì)提出了Stable-Sim2Real，探索了一種數(shù)據(jù)驅(qū)動(dòng)3D模擬的新路徑——Stable-Sim2Real。其基于一種新穎的兩階段深度圖擴(kuò)散模型，采用一階段穩(wěn)定生成+二階段局部增強(qiáng)。實(shí)驗(yàn)表明，使用該方法生成的三維模擬數(shù)據(jù)訓(xùn)練模型，能顯著提升在真實(shí)世界下三維視覺(jué)任務(wù)的性能。目前論文和代碼已經(jīng)在項(xiàng)目主頁(yè)公開(kāi)，歡迎大家一起探索！

論文標(biāo)題： Stable-Sim2Real: Exploring Simulation of Real-Captured 3D Data with Two-Stage Depth Diffusion 論文地址： https://arxiv.org/abs/2507.23483 項(xiàng)目代碼： https://github.com/GAP-LAB-CUHK-SZ/stable-sim2real 項(xiàng)目主頁(yè)： https://mutianxu.github.io/stable-sim2real/

圖1. Stable-Sim2Real概念圖 一、背景介紹

近年來(lái)，真實(shí)世界三維數(shù)據(jù)集在解決三維視覺(jué)與機(jī)器人學(xué)領(lǐng)域的廣泛任務(wù)中發(fā)揮著至關(guān)重要的作用。然而，真實(shí)三維數(shù)據(jù)的采集往往需要耗費(fèi)大量人力與時(shí)間，且近年來(lái)日益凸顯的數(shù)據(jù)隱私問(wèn)題進(jìn)一步增加了數(shù)據(jù)收集的復(fù)雜性。在此背景下，合成數(shù)據(jù)（即通過(guò)模擬生成的數(shù)據(jù)）作為一種替代性數(shù)據(jù)資源應(yīng)運(yùn)而生，其具有成本效益高、生成速度快且可規(guī)?；a(chǎn)的優(yōu)勢(shì)。盡管如此，基于合成數(shù)據(jù)訓(xùn)練的模型在真實(shí)世界中的表現(xiàn)缺乏魯棒性。

這一問(wèn)題催生了三維數(shù)據(jù)仿真技術(shù)的發(fā)展，旨在縮小仿真數(shù)據(jù)與真實(shí)采集三維數(shù)據(jù)之間的差距。盡管已有研究嘗試通過(guò)引入物理先驗(yàn)知識(shí)來(lái)模擬深度傳感器，但由于依賴預(yù)定義的顯式物理建模，這些方法難以捕捉真實(shí)世界的全部復(fù)雜性。更優(yōu)的解決方案是以數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)從合成數(shù)據(jù)到真實(shí)數(shù)據(jù)的隱式映射，從而更好地適應(yīng)現(xiàn)實(shí)世界的多樣性。然而，受限于數(shù)據(jù)的匱乏和早期模型的能力，僅有少數(shù)現(xiàn)有工作探索這一路徑，相關(guān)的進(jìn)展陷入了停滯狀態(tài)（圖2）。

圖 2. 三維數(shù)據(jù)仿真研究現(xiàn)狀

本工作旨在探索數(shù)據(jù)驅(qū)動(dòng)的三維仿真到真實(shí)（Sim2Real）轉(zhuǎn)換方法，并推動(dòng)學(xué)術(shù)界重新關(guān)注這一關(guān)鍵問(wèn)題。本工作選用最新的合成-真實(shí)配對(duì)數(shù)據(jù)集LASA（圖3），該數(shù)據(jù)集包含10,412個(gè)與真實(shí)物體掃描數(shù)據(jù)精確配準(zhǔn)的高質(zhì)量三維形狀CAD標(biāo)注。以LASA數(shù)據(jù)集為驅(qū)動(dòng)，本工作的研究重點(diǎn)在于設(shè)計(jì)一種高效的數(shù)據(jù)驅(qū)動(dòng)三維Sim2Real算法。鑒于真實(shí)采集數(shù)據(jù)模式固有的不確定性和多樣性，本工作選用擴(kuò)散模型進(jìn)行生成。然而，由于三維數(shù)據(jù)的匱乏，訓(xùn)練三維擴(kuò)散模型以獲得強(qiáng)三維先驗(yàn)知識(shí)用于三維仿真仍存在困難。因此，本工作選擇利用二維擴(kuò)散基礎(chǔ)模型（如SD——Stable Diffusion）的強(qiáng)泛化先驗(yàn)來(lái)模擬真實(shí)二維深度圖，繼而通過(guò)融合生成三維數(shù)據(jù)。這一策略與真實(shí)三維數(shù)據(jù)采集過(guò)程相似，即通過(guò)采集二維深度信息并融合成三維數(shù)據(jù)。

圖 3. LASA數(shù)據(jù)集與Stable-Sim2Real 二、核心挑戰(zhàn)與方法

為了實(shí)現(xiàn)這一方案，一個(gè)直觀的baseline方法是從LASA數(shù)據(jù)集中獲取CAD（即合成）深度圖及其配對(duì)的真實(shí)深度圖像，然后對(duì)Stable Diffusion（SD）模型進(jìn)行微調(diào)，以學(xué)習(xí)二者之間的隱式映射。然而，本工作面臨特殊挑戰(zhàn)（圖4）：傳統(tǒng)圖像轉(zhuǎn)換通常通過(guò)去除噪聲來(lái)生成清晰圖像，而本工作的任務(wù)目標(biāo)卻是輸出具有高度不確定性的含噪聲深度數(shù)據(jù)，這使得需要學(xué)習(xí)的分布規(guī)律變得更為復(fù)雜。

圖4. 核心挑戰(zhàn)

圖5. Stable-Sim2Real方法流程圖

為應(yīng)對(duì)這些挑戰(zhàn)，本工作提出Stable-Sim2Real（如圖5所示）。在第一階段擴(kuò)散過(guò)程中，模型并非直接生成對(duì)應(yīng)的真實(shí)世界深度圖，而是生成真實(shí)深度圖與CAD深度圖之間的殘差（即差異值）。隨后通過(guò)將生成的殘差與CAD深度圖相加，得到模擬的深度圖。與直接生成含噪聲的真實(shí)深度相比，向本身干凈且視角一致的CAD深度添加噪聲，能夠產(chǎn)生更穩(wěn)定的深度數(shù)據(jù)——其視角變化更小，且能更好地保持原始幾何結(jié)構(gòu)（詳細(xì)討論與概率分析見(jiàn)原文）。

盡管第一階段生成的深度圖中某些區(qū)域成功擬合了真實(shí)的pattern，但部分局部區(qū)域仍存在生成結(jié)果與真實(shí)采集數(shù)據(jù)間顯著的幾何差異。為解決該問(wèn)題，模型在第二階段訓(xùn)練了一個(gè)三維感知判別器（3D-Aware Discriminator，僅在訓(xùn)練時(shí)使用），在局部幾何層面區(qū)分第一階段生成結(jié)果與真實(shí)采集數(shù)據(jù)，隨后通過(guò)調(diào)整擴(kuò)散損失函數(shù)，對(duì)第一階段生成結(jié)果進(jìn)行局部增強(qiáng)。最終，將生成的深度圖融合以得到模擬三維數(shù)據(jù)。

三、實(shí)驗(yàn)與驗(yàn)證

首先，本工作提供了三維數(shù)據(jù)仿真的直觀效果對(duì)比，其中Stable-Sim2Real更貼近真實(shí)世界掃描的三維數(shù)據(jù)，并且在out-of-domain (e.g. ShapeNet, ABO, 3D-Future)的合成數(shù)據(jù)上也展現(xiàn)出了極佳的泛化性（圖6，7）。

圖6. 使用LASA數(shù)據(jù)測(cè)試三維數(shù)據(jù)仿真效果對(duì)比

圖7. 使用ShapeNet數(shù)據(jù)（out-of-domain generalization）測(cè)試三維數(shù)據(jù)仿真效果對(duì)比

此外，針對(duì)于下游應(yīng)用，本工作提出了一套針對(duì)三維數(shù)據(jù)仿真的綜合基準(zhǔn)測(cè)試方案：若使用生成的仿真數(shù)據(jù)訓(xùn)練模型后能在真實(shí)世界中的性能得到提升，則驗(yàn)證了仿真方法的有效性。聚焦于兩個(gè)基礎(chǔ)性真實(shí)世界三維任務(wù)：三維形狀重建與三維物體/場(chǎng)景理解（圖8）。

圖8. 下游任務(wù)驗(yàn)證

對(duì)于三維形狀重建任務(wù)，預(yù)訓(xùn)練一個(gè)以生成的仿真三維數(shù)據(jù)為輸入、輸出干凈三維表面的重建網(wǎng)絡(luò)。對(duì)于三維物體/場(chǎng)景理解任務(wù)，生成的三維仿真數(shù)據(jù)被用于預(yù)訓(xùn)練自監(jiān)督點(diǎn)云學(xué)習(xí)框架。為更純粹地評(píng)估生成的仿真數(shù)據(jù)帶來(lái)的性能增益，本工作對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行少樣本評(píng)估，有效剝離其他干擾因素，直接衡量生成的仿真數(shù)據(jù)對(duì)模型性能的提升貢獻(xiàn)。

表1. 使用來(lái)自不同方法獲得的三維仿真數(shù)據(jù)預(yù)訓(xùn)練模型，并用少樣本真實(shí)數(shù)據(jù)微調(diào)后，在真實(shí)三維形狀重建任務(wù)的數(shù)值結(jié)果

圖9. 使用來(lái)自不同方法獲得的三維仿真數(shù)據(jù)預(yù)訓(xùn)練模型，并用少樣本真實(shí)數(shù)據(jù)微調(diào)后，在真實(shí)三維形狀重建任務(wù)的可視化結(jié)果

表2. 使用來(lái)自不同方法獲得的三維仿真數(shù)據(jù)預(yù)訓(xùn)練模型，直接在真實(shí)三維形狀重建任務(wù)中測(cè)試的數(shù)值結(jié)果 四、思考與展望

圖10. 解決Real2Sim2Real問(wèn)題的數(shù)據(jù)閉環(huán)

本研究所提出的"clean-to-noisy"的方法，本質(zhì)上將服務(wù)于提升"noisy-to-clean"這一逆問(wèn)題的求解效果。其背后的主要原因是：訓(xùn)練"noisy-to-clean"模型仍需大規(guī)模clean-noisy配對(duì)數(shù)據(jù)。而獲取/擴(kuò)增此類配對(duì)數(shù)據(jù)時(shí)，本方法恰好提供了合理的解決方案：通過(guò)易于獲得的合成數(shù)據(jù)生成難以采集的真實(shí)noisy數(shù)據(jù)。最終，該方法填補(bǔ)并完善了"clean-noisy-clean"的閉環(huán)流程。從更宏觀的角度來(lái)看，這實(shí)則構(gòu)成了"真實(shí)→仿真→真實(shí)"（Real2Sim2Real）的完整技術(shù)閉環(huán)（圖10）。更多實(shí)驗(yàn)細(xì)節(jié)請(qǐng)參閱原論文。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門(mén)創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛(ài)的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說(shuō)/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門(mén)”

將門(mén)是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過(guò)連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門(mén)成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門(mén)”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈