新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】讓靜態(tài)3D模型「動(dòng)起來」一直是圖形學(xué)界的難題：物理模擬太慢，生成模型又不講「物理基本法」。近日，北京大學(xué)團(tuán)隊(duì)提出DragMesh，通過「語義-幾何解耦」范式與雙四元數(shù)VAE，成功將核心生成模塊的算力消耗降低至SOTA模型的1/10，同時(shí)將運(yùn)動(dòng)軸預(yù)測誤差降低了10倍。得益于底層數(shù)學(xué)的完備性，該模型無需任何標(biāo)注，即可讓任意靜態(tài)Mesh實(shí)現(xiàn)符合物理規(guī)律的實(shí)時(shí)交互。

在生成式AI的浪潮下，業(yè)界已經(jīng)可以通過LRM、TripoSR等模型生成高質(zhì)量的靜態(tài)3D資產(chǎn)。

然而，一個(gè)完整的3D世界模型（World Model）不僅需要知道物體「長什么樣」，更需要理解它們「怎么動(dòng)」以及如何響應(yīng)用戶的交互。

當(dāng)前的3D交互生成領(lǐng)域面臨著一道難以逾越的「交互-保真度鴻溝」：

1. 物理模擬派（如基于優(yōu)化的方法）：雖然物理一致性高，但計(jì)算過于沉重，無法滿足實(shí)時(shí)交互需求。

2. 純生成派（如基于擴(kuò)散模型的方法）：雖然生成速度較快，但經(jīng)常違反運(yùn)動(dòng)學(xué)約束，產(chǎn)生「關(guān)節(jié)脫臼」、「穿?！够蜍壽E漂移等幻覺。

為了打破這一僵局，北京大學(xué)團(tuán)隊(duì)推出了DragMesh，這是一個(gè)專為實(shí)時(shí)交互設(shè)計(jì)的輕量級(jí)框架，它沒有盲目堆砌算力，而是從數(shù)學(xué)表征和架構(gòu)設(shè)計(jì)底層入手，實(shí)現(xiàn)了物理真實(shí)性與計(jì)算效率的雙重飛躍。

論文鏈接：https://arxiv.org/abs/2512.06424

代碼鏈接：https://github.com/AlGeeksGroup/DragMesh

項(xiàng)目主頁：https://aigeeksgroup.github.io/DragMesh

核心技術(shù)

兩大創(chuàng)新重塑3D交互

DragMesh 并沒有采用端到端的暴力生成，而是提出了解耦的設(shè)計(jì)哲學(xué)。團(tuán)隊(duì)認(rèn)為，現(xiàn)有模型之所以龐大且低效，是因?yàn)樵噲D用一個(gè)網(wǎng)絡(luò)同時(shí)解決「語義理解」（這是微波爐還是柜子？）和「動(dòng)作生成」（它該怎么轉(zhuǎn)？）這兩個(gè)性質(zhì)完全不同的問題。

語義-幾何解耦范式

DragMesh將交互過程拆解為兩個(gè)輕量級(jí)流水線：

inference pipeline（推理流程）

意圖推理：利用 VLM（如 GPT-4o）的通識(shí)能力，快速判斷用戶的交互意圖，解決語義歧義（例如：判斷關(guān)節(jié)類型是旋轉(zhuǎn)的合頁還是滑動(dòng)的抽屜）。

幾何回歸：團(tuán)隊(duì)設(shè)計(jì)了專用的 KPP-Net (Kinematics Prediction Network) 。不同于通用的點(diǎn)云編碼器，KPP-Net采用了雙流注意力機(jī)制，專門用于從 Mesh 和拖拽信號(hào)中回歸精準(zhǔn)的關(guān)節(jié)軸和原點(diǎn)。

這種解耦設(shè)計(jì)使得核心生成網(wǎng)絡(luò)不再需要「猜測」物體結(jié)構(gòu)，而是直接基于預(yù)測出的運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行生成，大幅減輕了模型負(fù)擔(dān)。

雙四元數(shù)VAE

為了解決傳統(tǒng)歐拉角（萬向節(jié)死鎖）或變換矩陣（參數(shù)冗余、不連續(xù)）的問題，團(tuán)隊(duì)引入了雙四元數(shù) (Dual Quaternions, DQ) 作為核心運(yùn)動(dòng)表征。

一個(gè)單位雙四元數(shù)僅需8個(gè)參數(shù)，即可同時(shí)完美描述三維空間中的旋轉(zhuǎn)和平移，且天然滿足螺旋運(yùn)動(dòng)理論。

基于此，團(tuán)隊(duì)構(gòu)建了DQ-VAE。

DQ-VAE training pipeline

非自回歸Transformer解碼器：摒棄了容易產(chǎn)生誤差累積的自回歸方式，采用并行解碼，保證了長序列動(dòng)作的連貫性 。

FiLM條件注入：將KPP-Net預(yù)測的關(guān)節(jié)先驗(yàn)通過FiLM (Feature-wise Linear Modulation) 層注入到Transformer的每一層中，確保生成的每一幀都嚴(yán)格「聽從」物理約束。

物理修正模塊：在解碼器末端引入殘差修正，進(jìn)一步微調(diào)軌跡以消除微小的物理漂移，確保最終輸出嚴(yán)格遵循物理法則 。

性能評(píng)測

算力暴降，精度暴漲

團(tuán)隊(duì)在GAPartNet和Objaverse數(shù)據(jù)集上進(jìn)行了廣泛的對(duì)比實(shí)驗(yàn)，結(jié)果顯示DragMesh在各項(xiàng)指標(biāo)上均實(shí)現(xiàn)了高效提升 。

效率：比SOTA提速10倍

性能對(duì)比，橫軸為計(jì)算量 (GFLOPs)，氣泡大小代表參數(shù)量。紫色氣泡代表現(xiàn)有的通用模型（如DragAPart, PartRM），它們往往參數(shù)量巨大且計(jì)算昂貴 。DragMesh（左下角）的核心生成模塊參數(shù)量僅為27.5M，GFLOPs 僅為5.2 。

相比MeshArt (304M Params, 1540 GFLOPs) 和DragAPart (1100M Params, 350 GFLOPs)，DragMesh的計(jì)算開銷降低了5到10倍，且無需針對(duì)每個(gè)物體單獨(dú)訓(xùn)練。

精度：幾何誤差降低一個(gè)數(shù)量級(jí)

在運(yùn)動(dòng)學(xué)預(yù)測的消融實(shí)驗(yàn)中，架構(gòu)的優(yōu)勢尤為明顯 ：

Baseline (PointNet)，軸預(yù)測誤差高達(dá)450.0mrad

Ours (KPP-Net)，通過解耦設(shè)計(jì)與雙流注意力機(jī)制，軸預(yù)測誤差降至45.0mrad，原點(diǎn)預(yù)測誤差僅為1.8mm

這意味著用戶在拖拽柜門時(shí)，DragMesh預(yù)測的旋轉(zhuǎn)軸偏差極小，幾乎不會(huì)出現(xiàn)門板「飛出」或「歪斜」的現(xiàn)象。

物理一致性可視化

對(duì)比分析

在定性對(duì)比中，面對(duì)微波爐、折疊椅等物體時(shí)，

ArtGS / PartRM：因?yàn)榱鞒虖?fù)雜需要的前驗(yàn)內(nèi)容較多，經(jīng)常出現(xiàn)結(jié)構(gòu)崩壞或無法識(shí)別的情況（圖中標(biāo)空缺部分）。

DragMesh：無論是平移（抽屜）還是旋轉(zhuǎn)（門、翻蓋），都能生成平滑、結(jié)構(gòu)完整的運(yùn)動(dòng)軌跡，且嚴(yán)格保持了物體的剛性結(jié)構(gòu) 。

總結(jié)與展望

開啟通用物理交互新紀(jì)元

DragMesh的發(fā)布不僅僅是提出了一個(gè)新的模型，更重要的是驗(yàn)證了一條通往3D世界模型的極簡路徑 。

傳統(tǒng)方法往往需要針對(duì)「旋轉(zhuǎn)」和「平移」分別設(shè)計(jì)約束，而DragMesh采用的雙四元數(shù)從數(shù)學(xué)底層上實(shí)現(xiàn)了剛體運(yùn)動(dòng)的「大一統(tǒng)」 。

根據(jù)沙勒定理，空間中任意剛體運(yùn)動(dòng)都可以描述為螺旋運(yùn)動(dòng)。這意味著 DragMesh 的核心架構(gòu)天然具備描述世間萬物復(fù)雜運(yùn)動(dòng)的能力。

無論是機(jī)械臂的復(fù)合扭轉(zhuǎn)，還是更精密的螺旋傳動(dòng)，DragMesh 無需修改底層架構(gòu)，即可將其納入「語義-幾何」的統(tǒng)一流形中。

得益于解耦設(shè)計(jì)與DQ-VAE的緊湊表征，DragMesh成功將物理交互帶入實(shí)時(shí)時(shí)代，證明了我們不需要等待分鐘級(jí)的物理模擬，也不需要忍受離線渲染的延遲。

在未來的元宇宙構(gòu)建、機(jī)器人仿真以及數(shù)字孿生場景中，DragMesh這種「即拖即動(dòng)、即動(dòng)即真」的輕量化范式，將成為賦予靜態(tài)資產(chǎn)「物理常識(shí)」的基礎(chǔ)設(shè)施 。

未來，DragMesh將繼續(xù)利用其在螺旋理論上的數(shù)學(xué)優(yōu)勢，向多關(guān)節(jié)級(jí)聯(lián)及更復(fù)雜的動(dòng)力學(xué)場景從容擴(kuò)展，讓AI真正理解物理世界的運(yùn)行規(guī)律。

參考資料：

https://arxiv.org/abs/2512.06424

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！