新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】讓3D模型「活」起來！南洋理工大學(xué)團(tuán)隊(duì)提出MonoArt，通過逐步推理實(shí)現(xiàn)從單圖生成可動(dòng)3D模型。該方法先恢復(fù)幾何結(jié)構(gòu)，再識(shí)別部件，最后推斷運(yùn)動(dòng)方式與參數(shù)。無需外部數(shù)據(jù)或先驗(yàn)，即可構(gòu)建出具備運(yùn)動(dòng)能力的3D表示，有效提升重建穩(wěn)定性與實(shí)用性。

在3D生成領(lǐng)域，我們已經(jīng)習(xí)慣了從單張圖片中生成3D物體模型。

然而，隨著具身智能（Embodied AI）的爆發(fā)，一個(gè)新的現(xiàn)實(shí)擺在研究者面前：這些模型大多是難以交互的靜態(tài)資產(chǎn)。

你想打開生成的冰箱門？它是焊死的。你想讓機(jī)器人搬動(dòng)生成的椅子？它不知道哪里可以折疊 。

近日，來自南洋理工大學(xué)S-Lab的研究團(tuán)隊(duì)提出MonoArt，嘗試高效的解決這一問題：與其讓模型直接「猜」物體怎么動(dòng)，不如先讓它一步步「理解」物體的結(jié)構(gòu)。

MonoArt 的核心思路可以概括為一句話： 把單目可動(dòng)物體重建，建模為一個(gè)漸進(jìn)式結(jié)構(gòu)推理過程（progressive structural reasoning）。

在這個(gè)框架里，模型不是一次性輸出articulation，而是依次完成幾何恢復(fù)、部件感知、運(yùn)動(dòng)推理和運(yùn)動(dòng)學(xué)參數(shù)估計(jì)，最終得到一個(gè)既有形狀、又有部件層級(jí)和關(guān)節(jié)信息的3D表示。

論文鏈接：https://arxiv.org/abs/2603.19231

項(xiàng)目鏈接：https://lihaitian.com/MonoArt/

GitHub鏈接：https://github.com/Quest4Science/MonoArt

引言

與靜態(tài)3D重建不同，articulated 3D reconstruction不僅要恢復(fù)物體形狀，還要進(jìn)一步建模部件劃分、關(guān)節(jié)類型、運(yùn)動(dòng)軸、旋轉(zhuǎn)中心和運(yùn)動(dòng)范圍。這個(gè)任務(wù)的難點(diǎn)不僅在于需要預(yù)測(cè)的參數(shù)更多，更在于結(jié)構(gòu)與運(yùn)動(dòng)是耦合的：不知道可動(dòng)部件怎么劃分，就很難推斷它如何運(yùn)動(dòng)；反過來，不理解運(yùn)動(dòng)關(guān)系，又很難真正建好可動(dòng)部件的結(jié)構(gòu)。也正因?yàn)槿绱�，直接從圖像特征回歸articulation往往不穩(wěn)定，泛化也有限。

現(xiàn)有方法大致可以分為三類：

• 基于多視角或視頻的方法：依賴同一物體在不同開合狀態(tài)下的觀測(cè)，雖然效果較好，但對(duì)數(shù)據(jù)條件要求高，真實(shí)場(chǎng)景中往往不具備。

• 基于檢索與拼裝的方法：通過已有資產(chǎn)庫(kù)組裝可動(dòng)物體，但容易受到庫(kù)內(nèi)形狀覆蓋的限制，結(jié)果常出現(xiàn)幾何誤差和紋理不匹配。

• 基于額外先驗(yàn)的方法：借助視覺語言模型、輔助視頻生成或預(yù)定義運(yùn)動(dòng)方向來推斷articulation，雖然減少了對(duì)多視角數(shù)據(jù)的依賴，但系統(tǒng)更復(fù)雜，更依賴外部先驗(yàn)，同時(shí)通常需要更漫長(zhǎng)的推理時(shí)間。

這些方法有一個(gè)共同問題：它們都沒有真正把結(jié)構(gòu)理解本身作為articulation inference的起點(diǎn)。

要么依賴更多觀測(cè)補(bǔ)信息，要么依賴外部先驗(yàn)補(bǔ)線索，但都沒有回答一個(gè)更本質(zhì)的問題：?jiǎn)螐垐D像里的可動(dòng)物體，能否先被拆解為穩(wěn)定的幾何與部件結(jié)構(gòu)，再在此基礎(chǔ)上推斷運(yùn)動(dòng)關(guān)系？

MonoArt正是為了解決這個(gè)問題而提出。它不再把 articulation 視為一個(gè)直接回歸的結(jié)果，而是將單目可動(dòng)物體重建建模為一個(gè)漸進(jìn)式結(jié)構(gòu)推理過程，把 geometry、part structure 和 motion 放進(jìn)同一條連續(xù)的推理鏈里，讓運(yùn)動(dòng)成為結(jié)構(gòu)理解的自然結(jié)果。

方法設(shè)計(jì)

具體來看，MonoArt 由四個(gè)關(guān)鍵模塊組成，來實(shí)現(xiàn)圖像 → 幾何恢復(fù) → 部件感知 → 運(yùn)動(dòng)推理 → 運(yùn)動(dòng)學(xué)參數(shù)估計(jì)的逐步的推理。

第一步：先有一個(gè)靠譜的3D形狀

一切的起點(diǎn)是從單張圖像恢復(fù)出物體的三維幾何。MonoArt使用TRELLIS作為凍結(jié)的3D生成骨干，輸出一個(gè)canonical mesh以及與之對(duì)齊的latent features。這一步的意義在于：后續(xù)所有關(guān)于「部件」和「運(yùn)動(dòng)」的推理，都建立在三維空間而非二維圖像上——這比直接從像素特征回歸關(guān)節(jié)參數(shù)要穩(wěn)定得多。

第二步：知道物體由哪些可動(dòng)部件組成

有了3D形狀，下一個(gè)問題是：這個(gè)形狀里哪些部分是可動(dòng)的？一個(gè)柜子的門和柜體是兩個(gè)不同的部件，但mesh本身不會(huì)告訴你這一點(diǎn)。Part-Aware Semantic Reasoner的作用就是讓模型「看懂」部件結(jié)構(gòu)。

它將表面上每個(gè)點(diǎn)的幾何特征投影到三個(gè)正交平面上（triplane），再通過Transformer 捕捉全局結(jié)構(gòu)關(guān)系，最終為每個(gè)點(diǎn)生成一個(gè)包含部件歸屬信息的embedding。

訓(xùn)練時(shí)通過triplet loss來拉開不同部件特征之間的距離，讓屬于同一部件的點(diǎn)聚在一起，不同部件的點(diǎn)彼此遠(yuǎn)離。

下面的可視化很直觀地展示了這一步的效果：沒有這個(gè)模塊時(shí)，點(diǎn)特征對(duì)于部件難以有運(yùn)動(dòng)層級(jí)上的區(qū)分（第二列）；加上模塊和triplet監(jiān)督后，不同部件的特征有了較好的區(qū)分（最后一列）。

第三步：推斷每個(gè)部件怎么動(dòng)

知道了部件劃分，接下來要推斷運(yùn)動(dòng)。但這里有一個(gè)微妙的難點(diǎn)：描述一個(gè)部件的運(yùn)動(dòng)，需要同時(shí)回答兩類不同性質(zhì)的問題——它「是什么」（語義：這是一扇門還是一個(gè)抽屜？）和它的運(yùn)動(dòng)「發(fā)生在哪里」（空間：旋轉(zhuǎn)中心在什么位置？）。

如果把這兩類信息混在同一個(gè)表征里端到端回歸，往往不穩(wěn)定。 MonoArt的Dual-Query Motion Decoder用了一個(gè)解耦的設(shè)計(jì)：用content query編碼部件語義，用position query編碼空間運(yùn)動(dòng)錨點(diǎn)，兩者通過6層迭代 refinement 逐步對(duì)齊。

每一層中，query之間通過self-attention建模部件間關(guān)系，再通過 cross-attention 從點(diǎn)特征中提取證據(jù)。這種「一邊搞清楚是什么，一邊搞清楚在哪里」的并行迭代方式，讓運(yùn)動(dòng)推理更加穩(wěn)定。

第四步：輸出物理上可用的運(yùn)動(dòng)學(xué)參數(shù)

最后，Kinematic Estimator 把前面的推理結(jié)果轉(zhuǎn)化為明確的、物理可解釋的輸出：每個(gè)部件的 mask、關(guān)節(jié)類型（固定、旋轉(zhuǎn)、平移等）、旋轉(zhuǎn)軸方向、旋轉(zhuǎn)中心位置、以及運(yùn)動(dòng)范圍上下限。

此外，它還預(yù)測(cè)部件之間的父子關(guān)系，構(gòu)建出完整的 kinematic tree——也就是「哪個(gè)部件連在哪個(gè)部件上」。

一個(gè)值得注意的設(shè)計(jì)細(xì)節(jié)是：關(guān)節(jié)位置的預(yù)測(cè)采用了殘差形式，以上一步輸出的 position query（即部件質(zhì)心）為錨點(diǎn)，只預(yù)測(cè)偏移量。消融實(shí)驗(yàn)表明這比直接回歸絕對(duì)坐標(biāo)更準(zhǔn)確——這也呼應(yīng)了整個(gè)框架「漸進(jìn)式」的設(shè)計(jì)哲學(xué)：每一步都站在上一步的肩膀上。

這四步遞進(jìn)的設(shè)計(jì)帶來一個(gè)直接的好處：整個(gè)articulation推理不需要任何外部先驗(yàn)——不需要多視角、不需要資產(chǎn)庫(kù)、不需要VLM、不需要輔助視頻生成。那么它的效果到底怎么樣？

實(shí)驗(yàn)效果

在PartNet-Mobility基準(zhǔn)測(cè)試中，MonoArt在7類和46類兩種設(shè)置下均展現(xiàn)出領(lǐng)先性能。

相比SINGAPO、URDFormer、Articulate-Anything、PhysXAnything等代表性方法，MonoArt在幾何重建質(zhì)量、關(guān)節(jié)類型預(yù)測(cè)以及關(guān)鍵運(yùn)動(dòng)參數(shù)估計(jì)等多個(gè)核心指標(biāo)上取得最優(yōu)表現(xiàn)，同時(shí)兼顧了更高的推理效率。

相比Articulate-Anything的229.9s和PhysXAnything的256.8s, MonoArt只需要20.5s（其中 18.2 秒花在 TRELLIS做3D重建上，articulation reasoning本身只增加了約 2 秒的開銷）。

同時(shí)，在下游任務(wù)中，MonoArt生成的3D物體可以用在機(jī)械臂的仿真訓(xùn)練，MonoArt 重建出來的物體可以直接導(dǎo)入 IsaacSim，讓 Franka 機(jī)械臂去抓取和開門，不需要任何額外的關(guān)節(jié)標(biāo)注。

MonoArt可以擴(kuò)展到具有可動(dòng)部件的場(chǎng)景生成上。

局限性與思考

MonoArt給單目articulated 3D reconstruction提供了一條清晰的新路線：不是依賴越來越重的外部先驗(yàn)去「補(bǔ)」運(yùn)動(dòng)，而是通過progressive structural reasoning，讓模型真正學(xué)會(huì)物體為什么這樣組成、又為什么可以這樣運(yùn)動(dòng)。

但是對(duì)于尺度極不均衡的小部件，均勻采樣可能導(dǎo)致特征不夠明顯；對(duì)于非常新的拓?fù)浣Y(jié)構(gòu)或罕見模式，模型的運(yùn)動(dòng)參數(shù)預(yù)測(cè)也可能下降。這些問題也為后續(xù)工作留下了空間。

參考資料：

[1] TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation. CVPR 2025.

[2] URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images. RSS 2024.

[3] SINGAPO: Single Image Controlled Generation of Articulated Parts in Objects. ICLR 2025.

[4] Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model. ICLR 2025.

[5] PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image. CVPR 2026.

[6] DreamArt: Generating Interactable Articulated Objects from a Single Image. SIGGRAPH Asia 2025.

[7] Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics. ICCV 2025.

[8] PARIS: Part-level Reconstruction and Motion Analysis for Articulated Objects. ICCV 2023.

[9] ArticulatedGS: Self-supervised Digital Twin Modeling of Articulated Objects using 3D Gaussian Splatting. CVPR 2025.

[10] PhysX-3D: Physical-Grounded 3D Asset Generation. NeurIPS 2025.