這項(xiàng)由上?？萍即髮W(xué)聯(lián)合騰訊混元團(tuán)隊(duì)共同完成的研究發(fā)表于2026年3月的arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2603.01142v1。對(duì)于想要深入了解技術(shù)細(xì)節(jié)的讀者，可以通過(guò)該編號(hào)查詢完整的學(xué)術(shù)論文。

當(dāng)你看到游戲中的門(mén)能夠開(kāi)合、抽屜能夠拉開(kāi)、機(jī)器人能夠活動(dòng)時(shí)，是否想過(guò)這些看似簡(jiǎn)單的3D物體背后需要多么復(fù)雜的制作過(guò)程？傳統(tǒng)的方式就像手工制作精密鐘表一樣，每個(gè)零件都需要工程師逐一設(shè)計(jì)、調(diào)試，耗時(shí)耗力且容易出錯(cuò)。現(xiàn)在，研究團(tuán)隊(duì)提出了一個(gè)名為ArtLLM的全新框架，它能夠像搭積木一樣，僅僅通過(guò)一張圖片或一段文字描述，就自動(dòng)生成出具有真實(shí)運(yùn)動(dòng)能力的3D物體。

這項(xiàng)研究的意義遠(yuǎn)超游戲娛樂(lè)。在機(jī)器人訓(xùn)練領(lǐng)域，科學(xué)家們迫切需要大量可交互的虛擬環(huán)境來(lái)訓(xùn)練機(jī)器人，就像飛行員需要在飛行模擬器中練習(xí)一樣。而在游戲開(kāi)發(fā)、工業(yè)仿真、虛擬現(xiàn)實(shí)等領(lǐng)域，快速生成高質(zhì)量的可動(dòng)3D物體一直是個(gè)難題。ArtLLM的出現(xiàn)為這些應(yīng)用場(chǎng)景提供了全新的解決方案，讓原本需要數(shù)小時(shí)甚至數(shù)天完成的工作在幾十秒內(nèi)就能完成。

**一、從靜態(tài)到動(dòng)態(tài)：為什么制作會(huì)動(dòng)的3D物體如此困難**

要理解這項(xiàng)研究的價(jià)值，我們先來(lái)看看傳統(tǒng)制作可動(dòng)3D物體面臨的挑戰(zhàn)。這個(gè)過(guò)程就像制作一個(gè)復(fù)雜的機(jī)械玩具，不僅要設(shè)計(jì)出每個(gè)零件的形狀，還要確定它們之間如何連接、如何運(yùn)動(dòng)，以及運(yùn)動(dòng)的范圍限制。

傳統(tǒng)方法主要有兩種思路，每種都有明顯的局限性。第一種方法類似于逆向工程，研究人員拍攝物體從多個(gè)角度的照片或視頻，然后通過(guò)復(fù)雜的數(shù)學(xué)計(jì)算來(lái)推測(cè)物體的結(jié)構(gòu)和運(yùn)動(dòng)方式。這種方法就像考古學(xué)家通過(guò)化石碎片重建恐龍骨架一樣，需要大量的計(jì)算時(shí)間，而且只能處理相對(duì)簡(jiǎn)單的物體，比如只有一個(gè)轉(zhuǎn)動(dòng)關(guān)節(jié)的門(mén)。更麻煩的是，這種方法生成的3D模型質(zhì)量往往不夠理想，就像用粗糙的材料拼湊出的模型，缺乏真實(shí)感。

第二種方法則像是從現(xiàn)成的樂(lè)高積木庫(kù)中挑選零件來(lái)組裝新玩具。研究人員預(yù)先建立了一個(gè)包含各種標(biāo)準(zhǔn)零件的數(shù)據(jù)庫(kù)，然后通過(guò)匹配和組合來(lái)創(chuàng)建新物體。這種方法雖然速度較快，但就像用有限的積木只能搭建有限種類的建筑一樣，生成的物體缺乏新穎性，而且外觀往往重復(fù)單調(diào)。更關(guān)鍵的是，由于零件庫(kù)的限制，這種方法很難適應(yīng)新的物體類型或設(shè)計(jì)需求。

這兩種傳統(tǒng)方法都存在一個(gè)根本問(wèn)題：它們將物體的外觀設(shè)計(jì)和運(yùn)動(dòng)結(jié)構(gòu)分開(kāi)處理，就像分別設(shè)計(jì)汽車的外殼和引擎，然后再試圖將它們拼裝到一起。這種分離式處理往往導(dǎo)致外觀與功能不匹配的問(wèn)題，比如一個(gè)看起來(lái)像抽屜的部分實(shí)際上不能拉開(kāi)，或者一個(gè)門(mén)的轉(zhuǎn)軸位置不合理導(dǎo)致無(wú)法正常開(kāi)關(guān)。

近年來(lái)，雖然3D物體生成技術(shù)取得了巨大進(jìn)步，能夠創(chuàng)造出質(zhì)量很高的3D模型，但這些技術(shù)通常只關(guān)注外觀，對(duì)物體的內(nèi)在運(yùn)動(dòng)結(jié)構(gòu)一無(wú)所知。就像制作了一個(gè)看起來(lái)很漂亮的機(jī)械表，但內(nèi)部沒(méi)有真正的機(jī)械結(jié)構(gòu)，只是一個(gè)裝飾品而已。這種局限性嚴(yán)重制約了這些技術(shù)在實(shí)際應(yīng)用中的價(jià)值。

**二、ArtLLM：像語(yǔ)言大師一樣理解3D物體的運(yùn)動(dòng)結(jié)構(gòu)**

面對(duì)這些挑戰(zhàn)，研究團(tuán)隊(duì)提出了一個(gè)革命性的思路：既然大型語(yǔ)言模型在理解和生成復(fù)雜文本方面表現(xiàn)出色，為什么不讓它們也來(lái)理解3D物體的結(jié)構(gòu)和運(yùn)動(dòng)關(guān)系呢？這就像教會(huì)一個(gè)語(yǔ)言大師不僅能寫(xiě)作，還能理解機(jī)械圖紙一樣。

ArtLLM的核心創(chuàng)新在于將3D物體的結(jié)構(gòu)信息轉(zhuǎn)化為一種特殊的"語(yǔ)言"。傳統(tǒng)的機(jī)械設(shè)計(jì)圖紙使用URDF（統(tǒng)一機(jī)器人描述格式）這種XML格式來(lái)描述物體的各個(gè)部分及其運(yùn)動(dòng)關(guān)系，就像用特定的語(yǔ)法規(guī)則來(lái)描述一個(gè)復(fù)雜的機(jī)械系統(tǒng)。研究團(tuán)隊(duì)巧妙地將這種技術(shù)描述轉(zhuǎn)換成了語(yǔ)言模型能夠理解的文本格式，讓AI能夠像閱讀文章一樣"閱讀"物體的結(jié)構(gòu)信息。

這個(gè)過(guò)程就像翻譯工作。原本的3D物體信息是用數(shù)字和坐標(biāo)表示的，就像一串串的數(shù)學(xué)公式。ArtLLM將這些數(shù)學(xué)信息翻譯成了結(jié)構(gòu)化的文本描述，比如"零件A是一個(gè)位于特定位置的長(zhǎng)方體盒子"、"零件A和零件B通過(guò)一個(gè)旋轉(zhuǎn)關(guān)節(jié)連接"等等。通過(guò)這種翻譯，語(yǔ)言模型就能運(yùn)用其強(qiáng)大的語(yǔ)言理解能力來(lái)處理3D物體的結(jié)構(gòu)問(wèn)題。

更c(diǎn)lever的是，ArtLLM采用了自回歸生成方式，就像寫(xiě)作時(shí)一個(gè)詞接一個(gè)詞地構(gòu)建句子一樣。它首先預(yù)測(cè)物體包含哪些部分以及這些部分的位置和大小，然后預(yù)測(cè)這些部分之間如何連接和運(yùn)動(dòng)。這種順序化的處理方式確保了生成結(jié)果的邏輯一致性，避免了傳統(tǒng)方法中容易出現(xiàn)的結(jié)構(gòu)矛盾問(wèn)題。

為了讓語(yǔ)言模型能夠處理3D空間信息，研究團(tuán)隊(duì)還開(kāi)發(fā)了一個(gè)特殊的編碼器-投影器架構(gòu)。這就像給語(yǔ)言模型配備了一副"3D眼鏡"，讓它能夠"看懂"3D點(diǎn)云數(shù)據(jù)。系統(tǒng)使用了Point Transformer v3作為點(diǎn)云編碼器，這是一個(gè)專門(mén)處理3D點(diǎn)云數(shù)據(jù)的高效模型。編碼后的3D信息通過(guò)一個(gè)簡(jiǎn)單的兩層神經(jīng)網(wǎng)絡(luò)投影器轉(zhuǎn)換成語(yǔ)言模型能夠理解的格式，就像同聲傳譯員在不同語(yǔ)言之間架起溝通的橋梁。

**三、數(shù)據(jù)的智慧：從離散化到多任務(wù)學(xué)習(xí)的全方位訓(xùn)練策略**

訓(xùn)練一個(gè)能夠理解3D結(jié)構(gòu)的語(yǔ)言模型面臨著獨(dú)特的挑戰(zhàn)。語(yǔ)言模型天生擅長(zhǎng)處理離散的文本符號(hào)，但3D空間中的坐標(biāo)、角度、距離等都是連續(xù)的數(shù)值。這就像讓一個(gè)只會(huì)處理漢字的人去理解數(shù)學(xué)公式一樣困難。

研究團(tuán)隊(duì)采用了一個(gè)巧妙的量化策略來(lái)解決這個(gè)問(wèn)題。他們將所有的連續(xù)數(shù)值轉(zhuǎn)換成離散的"詞匯"，就像將連續(xù)的溫度讀數(shù)轉(zhuǎn)換成"熱"、"溫"、"涼"、"冷"這樣的詞匯標(biāo)簽。具體來(lái)說(shuō)，物體邊界框的坐標(biāo)被量化到128個(gè)離散區(qū)間內(nèi)，關(guān)節(jié)角度被分成48個(gè)區(qū)間，關(guān)節(jié)位置也有對(duì)應(yīng)的量化方案。這種量化不僅解決了連續(xù)數(shù)值的處理問(wèn)題，還大大提高了模型訓(xùn)練的數(shù)值穩(wěn)定性。

特別值得注意的是關(guān)節(jié)軸向的處理方式。研究團(tuán)隊(duì)發(fā)現(xiàn)，大多數(shù)物體的運(yùn)動(dòng)軸向都與坐標(biāo)軸對(duì)齊，比如門(mén)通常沿Y軸旋轉(zhuǎn)，抽屜沿X軸滑動(dòng)?；谶@個(gè)觀察，他們?cè)O(shè)計(jì)了一個(gè)分層的編碼本系統(tǒng)：首先密集采樣坐標(biāo)平面上的方向，然后用Fibonacci球面采樣補(bǔ)充其他方向。這種設(shè)計(jì)既保證了常見(jiàn)軸向的精確表示，又保持了對(duì)任意方向的覆蓋能力。

在訓(xùn)練策略方面，研究團(tuán)隊(duì)采用了多任務(wù)學(xué)習(xí)方法，將復(fù)雜的結(jié)構(gòu)預(yù)測(cè)問(wèn)題分解為三個(gè)相互關(guān)聯(lián)的子任務(wù)。第一個(gè)任務(wù)專注于部分布局預(yù)測(cè)，讓模型學(xué)會(huì)識(shí)別物體包含哪些部分以及它們的空間位置。第二個(gè)任務(wù)處理運(yùn)動(dòng)學(xué)預(yù)測(cè)，在已知部分布局的條件下預(yù)測(cè)各部分之間的連接關(guān)系。第三個(gè)任務(wù)則是端到端的完整預(yù)測(cè)，從輸入的3D點(diǎn)云直接生成完整的結(jié)構(gòu)描述。

這種多任務(wù)設(shè)計(jì)的巧妙之處在于任務(wù)間的互補(bǔ)性。部分布局預(yù)測(cè)幫助模型建立幾何理解能力，運(yùn)動(dòng)學(xué)預(yù)測(cè)強(qiáng)化了對(duì)物體功能的理解，而端到端預(yù)測(cè)則鍛煉了模型的整體協(xié)調(diào)能力。就像學(xué)習(xí)彈鋼琴時(shí)，分別練習(xí)左手、右手，然后再進(jìn)行雙手配合一樣，這種漸進(jìn)式學(xué)習(xí)策略顯著提升了模型的性能。

訓(xùn)練過(guò)程采用了兩階段策略。第一階段專門(mén)訓(xùn)練部分布局預(yù)測(cè)任務(wù)，讓模型的3D編碼器獲得扎實(shí)的幾何理解基礎(chǔ)。這個(gè)階段還使用了P3SAM模型的預(yù)訓(xùn)練權(quán)重進(jìn)行初始化，P3SAM是一個(gè)在大規(guī)模部分分割任務(wù)上預(yù)訓(xùn)練的模型，為幾何理解提供了良好的起點(diǎn)。第二階段在第一階段的基礎(chǔ)上，使用所有三個(gè)任務(wù)進(jìn)行聯(lián)合訓(xùn)練，進(jìn)一步提升模型的綜合能力。

為了增強(qiáng)模型的泛化能力，訓(xùn)練過(guò)程中還加入了3D數(shù)據(jù)增強(qiáng)技術(shù)。每個(gè)樣本有75%的概率被施加隨機(jī)的縮放和旋轉(zhuǎn)變換，縮放因子在0.8到1.05之間選擇，旋轉(zhuǎn)角度在90度的整數(shù)倍中選擇。這些變換不僅應(yīng)用于輸入的點(diǎn)云數(shù)據(jù)，還同步應(yīng)用于對(duì)應(yīng)的部分布局和關(guān)節(jié)參數(shù)，確保了數(shù)據(jù)的一致性。

**四、數(shù)據(jù)集的精心構(gòu)建：匯聚現(xiàn)有資源與程序化生成的智慧**

構(gòu)建一個(gè)高質(zhì)量的訓(xùn)練數(shù)據(jù)集對(duì)ArtLLM的成功至關(guān)重要。研究團(tuán)隊(duì)采用了"兼收并蓄"的策略，將現(xiàn)有的標(biāo)準(zhǔn)數(shù)據(jù)集與新生成的數(shù)據(jù)有機(jī)結(jié)合，最終構(gòu)建出包含20,673個(gè)物體的大規(guī)模訓(xùn)練集。

這個(gè)數(shù)據(jù)集的基礎(chǔ)來(lái)自三個(gè)重要來(lái)源。PartNet-Mobility數(shù)據(jù)集提供了2,168個(gè)精心標(biāo)注的物體，涵蓋43個(gè)類別，這些數(shù)據(jù)質(zhì)量很高但數(shù)量相對(duì)有限。PhysX3D數(shù)據(jù)集貢獻(xiàn)了7,672個(gè)物體，涉及23個(gè)類別，為數(shù)據(jù)集增添了更多樣的物理結(jié)構(gòu)。最大的貢獻(xiàn)來(lái)自Infinite-Mobility的程序化生成方法，產(chǎn)生了12,833個(gè)合成物體，雖然只覆蓋13個(gè)類別，但大大增加了數(shù)據(jù)的總量和多樣性。

數(shù)據(jù)預(yù)處理過(guò)程就像精心挑選和整理圖書(shū)館藏書(shū)一樣細(xì)致。研究團(tuán)隊(duì)首先進(jìn)行了嚴(yán)格的過(guò)濾：移除了關(guān)節(jié)數(shù)量超過(guò)20的復(fù)雜物體，因?yàn)檫^(guò)于復(fù)雜的結(jié)構(gòu)會(huì)增加學(xué)習(xí)難度；排除了包含過(guò)小零件的類別，比如鍵盤(pán)和遙控器，因?yàn)檫@些細(xì)小組件難以從單張圖片中準(zhǔn)確識(shí)別；同時(shí)也過(guò)濾掉了體積過(guò)小的零件，如按鈕等，以保持模型關(guān)注于主要的功能結(jié)構(gòu)。

結(jié)構(gòu)簡(jiǎn)化是另一個(gè)重要步驟。原始數(shù)據(jù)中的固定關(guān)節(jié)被移除，相連的部件被合并為單一組件，這樣做能夠減少不必要的復(fù)雜性。螺旋關(guān)節(jié)通常在URDF文件中表示為旋轉(zhuǎn)和平移關(guān)節(jié)的組合，研究團(tuán)隊(duì)將它們合并為單一的螺旋關(guān)節(jié)，簡(jiǎn)化了預(yù)測(cè)任務(wù)的復(fù)雜度。

數(shù)據(jù)標(biāo)準(zhǔn)化確保了不同來(lái)源數(shù)據(jù)的一致性。所有關(guān)節(jié)參數(shù)都被轉(zhuǎn)換到全局坐標(biāo)系中，物體尺寸被標(biāo)準(zhǔn)化到[-0.9, 0.9]的范圍內(nèi)。這種標(biāo)準(zhǔn)化不僅便于模型學(xué)習(xí)，還提高了訓(xùn)練過(guò)程的數(shù)值穩(wěn)定性。

特別值得一提的是表面法向量的修正工作。PartNet-Mobility數(shù)據(jù)集中的一些模型存在表面法向量錯(cuò)誤的問(wèn)題，這會(huì)影響后續(xù)的幾何處理。研究團(tuán)隊(duì)對(duì)這些模型進(jìn)行了水密重建，確保了表面法向量的正確性。這個(gè)過(guò)程就像修復(fù)古籍中的錯(cuò)別字一樣細(xì)致，雖然工作量大，但對(duì)最終結(jié)果質(zhì)量至關(guān)重要。

最終構(gòu)建的數(shù)據(jù)集呈現(xiàn)出良好的多樣性分布。在零件數(shù)量方面，雖然大多數(shù)物體包含相對(duì)較少的零件，但數(shù)據(jù)集中也包含了足夠數(shù)量的復(fù)雜多零件物體，確保模型能夠處理不同復(fù)雜度的結(jié)構(gòu)。數(shù)據(jù)排序也經(jīng)過(guò)精心設(shè)計(jì)：零件邊界框按照最小坐標(biāo)的z-y-x順序排列，關(guān)節(jié)按照子零件ID的升序排列，這種確定性排序消除了順序歧義，提高了訓(xùn)練穩(wěn)定性。

**五、幾何生成的藝術(shù)：從布局到真實(shí)3D模型的精確轉(zhuǎn)換**

預(yù)測(cè)出物體的結(jié)構(gòu)布局只是成功的一半，將這個(gè)抽象的布局轉(zhuǎn)換為真實(shí)的3D幾何模型才是真正的挑戰(zhàn)。ArtLLM采用了與現(xiàn)有部分級(jí)生成模型無(wú)縫集成的策略，特別選擇了XPart作為幾何生成的后端引擎。

XPart是一個(gè)專門(mén)設(shè)計(jì)用于從邊界框條件生成3D部件的先進(jìn)模型，它就像一個(gè)精準(zhǔn)的3D打印機(jī)，能夠根據(jù)給定的空間邊界精確地"打印"出對(duì)應(yīng)的幾何形狀。這種選擇的智慧在于避免了重復(fù)造輪子，而是充分利用現(xiàn)有技術(shù)的優(yōu)勢(shì)，將精力集中在結(jié)構(gòu)理解這個(gè)核心問(wèn)題上。

然而，實(shí)際應(yīng)用中會(huì)遇到一個(gè)技術(shù)挑戰(zhàn)：預(yù)測(cè)的邊界框可能無(wú)法完美覆蓋真實(shí)的幾何形狀。這就像用稍小的盒子裝一個(gè)稍大的物品，可能會(huì)導(dǎo)致部分內(nèi)容被截?cái)嗷蜻z漏。為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)智能的邊界框擴(kuò)展算法。

這個(gè)算法的工作過(guò)程非常直觀。首先，系統(tǒng)檢查輸入點(diǎn)云中的每一個(gè)點(diǎn)，找出那些沒(méi)有被任何預(yù)測(cè)邊界框包含的"孤兒"點(diǎn)。然后，將這些孤兒點(diǎn)分配給距離最近的邊界框，就像將流浪的小貓分配給最近的收容所。最后，將每個(gè)邊界框擴(kuò)展到恰好能包含所有分配給它的點(diǎn)，確保沒(méi)有任何幾何信息丟失。

這種邊界框擴(kuò)展策略看似簡(jiǎn)單，但效果顯著。它保證了整個(gè)輸入點(diǎn)云都能得到有效覆蓋，防止了幾何工件的產(chǎn)生，確保了最終生成部件的完整性和真實(shí)性。同時(shí)，這種方法的計(jì)算開(kāi)銷很小，不會(huì)顯著影響整體的生成效率。

幾何生成過(guò)程的另一個(gè)優(yōu)勢(shì)是其模塊化設(shè)計(jì)。由于采用了標(biāo)準(zhǔn)的邊界框接口，ArtLLM可以輕松地與其他部件生成模型集成，如OmniPart等。這種靈活性使得系統(tǒng)能夠適應(yīng)不同的應(yīng)用需求和技術(shù)發(fā)展，就像標(biāo)準(zhǔn)化的接口使得不同廠商的設(shè)備能夠互相兼容一樣。

生成的幾何模型最終與預(yù)測(cè)的關(guān)節(jié)信息結(jié)合，輸出標(biāo)準(zhǔn)的URDF格式文件。URDF是機(jī)器人學(xué)中廣泛使用的描述格式，這意味著生成的模型可以直接導(dǎo)入到各種仿真環(huán)境中，如SAPIEN、Gazebo等，為機(jī)器人訓(xùn)練和仿真應(yīng)用提供了便利。

**六、物理約束的智慧：確保運(yùn)動(dòng)的真實(shí)性和安全性**

即使成功生成了幾何模型和關(guān)節(jié)信息，生成的可動(dòng)物體仍可能在實(shí)際運(yùn)動(dòng)中出現(xiàn)問(wèn)題。最常見(jiàn)的問(wèn)題是關(guān)節(jié)限制范圍設(shè)置不當(dāng)，導(dǎo)致物體在運(yùn)動(dòng)過(guò)程中發(fā)生自碰撞。這就像設(shè)計(jì)一扇門(mén)時(shí)，沒(méi)有考慮到門(mén)框的限制，結(jié)果門(mén)開(kāi)得太大撞到了墻。

研究團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)基于物理碰撞檢測(cè)的關(guān)節(jié)限制校正模塊來(lái)解決這個(gè)問(wèn)題。這個(gè)模塊的工作原理類似于安全測(cè)試：讓物體在預(yù)測(cè)的關(guān)節(jié)范圍內(nèi)運(yùn)動(dòng)，實(shí)時(shí)監(jiān)測(cè)是否發(fā)生碰撞，一旦發(fā)現(xiàn)碰撞就調(diào)整關(guān)節(jié)限制。

具體的校正過(guò)程采用了分層搜索策略。對(duì)于旋轉(zhuǎn)關(guān)節(jié)，系統(tǒng)讓子部件在預(yù)測(cè)的角度范圍內(nèi)轉(zhuǎn)動(dòng)，同時(shí)計(jì)算它與其他靜止部件的碰撞體積。當(dāng)發(fā)生嚴(yán)重碰撞時(shí)，碰撞體積會(huì)急劇增加，其導(dǎo)數(shù)會(huì)出現(xiàn)尖銳的峰值。系統(tǒng)首先識(shí)別包含這種峰值的粗略角度窗口，然后在該窗口內(nèi)進(jìn)行精細(xì)搜索，準(zhǔn)確定位初始接觸的角度。這個(gè)角度就被設(shè)定為新的關(guān)節(jié)限制。

對(duì)于平移關(guān)節(jié)，采用類似的處理方法，但監(jiān)測(cè)的是沿平移方向的碰撞情況。這種方法能夠有效識(shí)別各種類型的運(yùn)動(dòng)沖突，包括直接接觸、部分重疊、完全穿插等不同程度的碰撞情況。

碰撞檢測(cè)的精度對(duì)校正效果至關(guān)重要。系統(tǒng)使用了基于體積的碰撞檢測(cè)方法，這種方法比簡(jiǎn)單的距離檢測(cè)更加準(zhǔn)確和穩(wěn)定。體積重疊能夠更好地反映真實(shí)物理世界中的碰撞情況，避免了基于距離檢測(cè)可能產(chǎn)生的誤判。

這個(gè)物理約束校正模塊的另一個(gè)優(yōu)勢(shì)是其通用性。它不依賴于特定的物體類型或關(guān)節(jié)配置，能夠處理各種復(fù)雜的運(yùn)動(dòng)結(jié)構(gòu)。無(wú)論是簡(jiǎn)單的門(mén)窗開(kāi)合，還是復(fù)雜的多關(guān)節(jié)機(jī)械臂運(yùn)動(dòng)，這個(gè)模塊都能提供有效的碰撞預(yù)防。

校正后的關(guān)節(jié)限制確保了生成的可動(dòng)物體在仿真環(huán)境中能夠安全、穩(wěn)定地運(yùn)動(dòng)。這對(duì)于機(jī)器人訓(xùn)練應(yīng)用特別重要，因?yàn)椴徽鎸?shí)的物理行為會(huì)導(dǎo)致機(jī)器人學(xué)到錯(cuò)誤的操作策略。通過(guò)這種物理約束校正，ArtLLM生成的物體能夠?yàn)闄C(jī)器人提供高質(zhì)量的訓(xùn)練環(huán)境。

**七、實(shí)驗(yàn)驗(yàn)證：全方位性能評(píng)估展現(xiàn)技術(shù)優(yōu)勢(shì)**

為了驗(yàn)證ArtLLM的有效性，研究團(tuán)隊(duì)在PartNet-Mobility數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)評(píng)估。評(píng)估采用了SINGAPO論文提出的數(shù)據(jù)劃分方案，選擇了7個(gè)具有代表性的類別進(jìn)行測(cè)試，包括儲(chǔ)物柜、桌子、冰箱、洗碗機(jī)、烤箱、洗衣機(jī)和微波爐，共計(jì)77個(gè)測(cè)試物體。

實(shí)驗(yàn)評(píng)估采用了多維度的指標(biāo)體系，就像從不同角度檢驗(yàn)一件藝術(shù)品的質(zhì)量一樣。對(duì)于部分布局預(yù)測(cè)，使用平均交并比（mIoU）來(lái)衡量預(yù)測(cè)部分與真實(shí)部分的重疊程度，這個(gè)指標(biāo)能夠直觀地反映空間定位的準(zhǔn)確性。對(duì)于關(guān)節(jié)預(yù)測(cè)，評(píng)估指標(biāo)包括關(guān)節(jié)類型準(zhǔn)確率、軸向誤差、樞軸位置誤差、運(yùn)動(dòng)范圍交并比等，全面考察了關(guān)節(jié)預(yù)測(cè)的各個(gè)方面。

實(shí)驗(yàn)結(jié)果令人印象深刻。與現(xiàn)有的最先進(jìn)方法相比，ArtLLM在幾乎所有評(píng)估指標(biāo)上都取得了顯著優(yōu)勢(shì)。在部分布局預(yù)測(cè)方面，ArtLLM達(dá)到了0.6884的mIoU，顯著超過(guò)了Articulate-Anything的0.3381、SINGAPO的0.4330和URDFormer的0.1225。這種優(yōu)勢(shì)體現(xiàn)了ArtLLM在理解3D空間結(jié)構(gòu)方面的卓越能力。

在關(guān)節(jié)預(yù)測(cè)方面，ArtLLM同樣表現(xiàn)出色。關(guān)節(jié)類型準(zhǔn)確率達(dá)到90.84%，表明系統(tǒng)能夠正確識(shí)別絕大多數(shù)關(guān)節(jié)的運(yùn)動(dòng)類型。軸向誤差僅為0.1271弧度，遠(yuǎn)低于其他方法，說(shuō)明系統(tǒng)對(duì)運(yùn)動(dòng)軸向的預(yù)測(cè)非常精確。樞軸位置誤差為0.0801，也明顯優(yōu)于對(duì)比方法，體現(xiàn)了對(duì)關(guān)節(jié)位置定位的準(zhǔn)確性。

特別值得注意的是圖結(jié)構(gòu)準(zhǔn)確率，ArtLLM達(dá)到了77.41%，這個(gè)指標(biāo)衡量的是整體運(yùn)動(dòng)結(jié)構(gòu)的正確性。這個(gè)結(jié)果表明，ArtLLM不僅能夠準(zhǔn)確預(yù)測(cè)單個(gè)關(guān)節(jié)，還能正確理解各部分之間的整體連接關(guān)系，構(gòu)建出邏輯一致的運(yùn)動(dòng)結(jié)構(gòu)。

在計(jì)算效率方面，ArtLLM也展現(xiàn)出明顯優(yōu)勢(shì)。單個(gè)物體的推理時(shí)間僅為19秒，遠(yuǎn)快于Articulate-Anything的522秒、SINGAPO的84秒和URDFormer的183秒。這種高效性使得ArtLLM在實(shí)際應(yīng)用中具有很強(qiáng)的實(shí)用價(jià)值，特別適合需要批量生成可動(dòng)物體的應(yīng)用場(chǎng)景。

分類別的詳細(xì)分析顯示，ArtLLM在不同類型的物體上都表現(xiàn)穩(wěn)定。對(duì)于結(jié)構(gòu)相對(duì)簡(jiǎn)單的物體如微波爐和洗碗機(jī)，系統(tǒng)達(dá)到了接近完美的性能。對(duì)于結(jié)構(gòu)復(fù)雜的儲(chǔ)物柜和桌子，雖然挑戰(zhàn)更大，但ArtLLM仍然保持了明顯的性能優(yōu)勢(shì)。這種跨類別的穩(wěn)定性證明了方法的泛化能力。

消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了設(shè)計(jì)選擇的正確性。去除量化策略會(huì)導(dǎo)致性能顯著下降，證明了離散化處理的重要性。移除多任務(wù)學(xué)習(xí)設(shè)置也會(huì)影響性能，表明任務(wù)間的協(xié)同效應(yīng)確實(shí)有效。去除數(shù)據(jù)增強(qiáng)和多階段訓(xùn)練同樣會(huì)帶來(lái)性能損失，驗(yàn)證了完整訓(xùn)練策略的必要性。

**八、真實(shí)世界應(yīng)用：從實(shí)驗(yàn)室到機(jī)器人訓(xùn)練的實(shí)際驗(yàn)證**

為了驗(yàn)證ArtLLM在真實(shí)場(chǎng)景中的實(shí)用價(jià)值，研究團(tuán)隊(duì)進(jìn)行了一系列機(jī)器人應(yīng)用實(shí)驗(yàn)。這些實(shí)驗(yàn)的設(shè)計(jì)思路是構(gòu)建"真實(shí)到虛擬再到真實(shí)"的閉環(huán)驗(yàn)證鏈條，檢驗(yàn)生成的可動(dòng)物體是否能夠真實(shí)地再現(xiàn)現(xiàn)實(shí)世界中的物體行為。

實(shí)驗(yàn)過(guò)程的第一步是在真實(shí)環(huán)境中進(jìn)行遙操作演示。研究團(tuán)隊(duì)使用裝備有Robotiq夾爪的Franka Panda機(jī)械臂完成了三個(gè)典型的操作任務(wù)：合上筆記本電腦、關(guān)閉儲(chǔ)物盒、移動(dòng)水桶把手。在執(zhí)行這些任務(wù)的過(guò)程中，系統(tǒng)記錄了機(jī)械臂的完整位姿軌跡，就像記錄舞蹈演員的每一個(gè)動(dòng)作一樣詳細(xì)。

第二步是使用ArtLLM重建虛擬環(huán)境。團(tuán)隊(duì)首先利用Hunyuan3D 3.0從視頻幀中重建出準(zhǔn)確的3D物體幾何，然后運(yùn)用ArtLLM生成對(duì)應(yīng)的URDF格式可動(dòng)物體資產(chǎn)。這些虛擬物體被放置在SAPIEN仿真環(huán)境中，位置和姿態(tài)與真實(shí)實(shí)驗(yàn)中的設(shè)置保持一致。

第三步是在虛擬環(huán)境中重放真實(shí)軌跡。仿真機(jī)械臂按照記錄的真實(shí)軌跡執(zhí)行相同的操作，觀察虛擬物體是否表現(xiàn)出與真實(shí)物體相同的運(yùn)動(dòng)行為。這個(gè)過(guò)程就像讓演員按照舞譜重現(xiàn)原始舞蹈，檢驗(yàn)舞譜的準(zhǔn)確性。

實(shí)驗(yàn)結(jié)果令人振奮。在所有三個(gè)測(cè)試任務(wù)中，虛擬環(huán)境都成功重現(xiàn)了真實(shí)世界的操作效果。筆記本電腦的屏幕能夠順暢地合上，儲(chǔ)物盒的蓋子能夠正確關(guān)閉，水桶把手能夠按預(yù)期方向移動(dòng)。更重要的是，這些虛擬物體的運(yùn)動(dòng)范圍和阻力特性都與真實(shí)物體高度吻合，表明ArtLLM捕捉到了物體的真實(shí)物理特性。

這種真實(shí)世界驗(yàn)證的意義超出了技術(shù)演示本身。它證明了ArtLLM生成的可動(dòng)物體具有足夠的保真度，能夠?yàn)闄C(jī)器人學(xué)習(xí)提供高質(zhì)量的訓(xùn)練環(huán)境。在機(jī)器人學(xué)習(xí)中，仿真環(huán)境的真實(shí)性直接影響學(xué)習(xí)效果，不準(zhǔn)確的仿真會(huì)導(dǎo)致機(jī)器人學(xué)到錯(cuò)誤的操作策略，在真實(shí)環(huán)境中表現(xiàn)不佳。

實(shí)驗(yàn)還展示了ArtLLM在構(gòu)建數(shù)字孿生方面的潛力。數(shù)字孿生是指與真實(shí)物體高度同步的虛擬副本，在工業(yè)4.0、智能制造等領(lǐng)域有重要應(yīng)用。通過(guò)快速?gòu)膱D像生成高保真的可動(dòng)物體模型，ArtLLM為數(shù)字孿生的構(gòu)建提供了高效的技術(shù)手段。

此外，這些實(shí)驗(yàn)也驗(yàn)證了ArtLLM對(duì)真實(shí)世界物體的泛化能力。測(cè)試中使用的物體都不在訓(xùn)練數(shù)據(jù)集中，但系統(tǒng)仍然能夠準(zhǔn)確識(shí)別其結(jié)構(gòu)并生成正確的運(yùn)動(dòng)模型。這種泛化能力對(duì)于實(shí)際應(yīng)用至關(guān)重要，因?yàn)檎鎸?shí)世界中的物體種類遠(yuǎn)比訓(xùn)練數(shù)據(jù)集豐富。

**九、技術(shù)局限與未來(lái)展望：誠(chéng)實(shí)面對(duì)挑戰(zhàn)，展望發(fā)展方向**

盡管ArtLLM在多個(gè)方面取得了突破性進(jìn)展，但研究團(tuán)隊(duì)也坦誠(chéng)地指出了當(dāng)前技術(shù)的局限性。首要的限制來(lái)自訓(xùn)練數(shù)據(jù)的類別覆蓋范圍。雖然數(shù)據(jù)集包含了43個(gè)類別的2萬(wàn)多個(gè)物體，但這個(gè)覆蓋范圍相對(duì)于現(xiàn)實(shí)世界物體的多樣性仍然有限。系統(tǒng)在處理常見(jiàn)的家居用品時(shí)表現(xiàn)出色，但面對(duì)汽車、機(jī)器人等復(fù)雜類別時(shí)可能力不從心。

這種局限性的根源在于可動(dòng)物體數(shù)據(jù)的獲取難度。與靜態(tài)3D模型不同，可動(dòng)物體需要精確標(biāo)注每個(gè)部分的運(yùn)動(dòng)關(guān)系，這個(gè)過(guò)程需要專業(yè)知識(shí)和大量人工投入。雖然程序化生成方法如Infinite-Mobility能夠產(chǎn)生大量數(shù)據(jù)，但其多樣性仍然受到程序規(guī)則的限制。

第二個(gè)重要限制是系統(tǒng)目前不包含物理屬性的建模。ArtLLM專注于幾何形狀和運(yùn)動(dòng)結(jié)構(gòu)，但沒(méi)有考慮質(zhì)量分布、材料屬性、摩擦系數(shù)等物理特性。這些屬性對(duì)于真實(shí)的物理仿真很重要，特別是在精確的機(jī)器人操作任務(wù)中。例如，一個(gè)重頭輕尾的抽屜和一個(gè)均勻分布質(zhì)量的抽屜在開(kāi)啟時(shí)的力學(xué)特性是不同的。

生成質(zhì)量的一致性也是一個(gè)挑戰(zhàn)。雖然ArtLLM在大多數(shù)情況下能夠生成高質(zhì)量的結(jié)果，但仍然會(huì)遇到一些失敗案例。最常見(jiàn)的問(wèn)題出現(xiàn)在幾何生成階段，當(dāng)預(yù)測(cè)的邊界框無(wú)法完美匹配真實(shí)幾何時(shí)，XPart可能生成不完整或不準(zhǔn)確的部件。特別是對(duì)于具有復(fù)雜內(nèi)部結(jié)構(gòu)的物體，如內(nèi)部有多層隔板的儲(chǔ)物柜，單張圖像往往無(wú)法提供足夠的信息來(lái)重建這些隱藏結(jié)構(gòu)。

部件重疊也是一個(gè)技術(shù)難題。當(dāng)物體的不同部分在空間上高度重疊時(shí)，生成的幾何模型可能出現(xiàn)穿插現(xiàn)象。雖然物理約束校正模塊能夠在一定程度上緩解這個(gè)問(wèn)題，但對(duì)于嚴(yán)重重疊的情況，完全避免穿插仍然困難。

面對(duì)這些挑戰(zhàn)，研究團(tuán)隊(duì)提出了幾個(gè)有前景的發(fā)展方向。在數(shù)據(jù)方面，他們建議結(jié)合開(kāi)放詞匯方法，如Kinematify等技術(shù)，來(lái)擴(kuò)展系統(tǒng)對(duì)新物體類別的處理能力。通過(guò)利用大型視覺(jué)語(yǔ)言模型的常識(shí)知識(shí)，可能實(shí)現(xiàn)對(duì)訓(xùn)練數(shù)據(jù)中未出現(xiàn)類別的零樣本或少樣本學(xué)習(xí)。

在物理建模方面，未來(lái)的工作可能包含質(zhì)量、材料等物理屬性的學(xué)習(xí)和預(yù)測(cè)。這需要構(gòu)建包含物理屬性標(biāo)注的大規(guī)模數(shù)據(jù)集，并擴(kuò)展現(xiàn)有的語(yǔ)言建模框架來(lái)處理這些額外信息。這種擴(kuò)展將使生成的物體更適合高精度的物理仿真應(yīng)用。

幾何生成質(zhì)量的提升也是重要的研究方向。一種可能的改進(jìn)是開(kāi)發(fā)能夠處理內(nèi)部結(jié)構(gòu)的3D生成模型，或者結(jié)合多視角信息來(lái)提供更完整的幾何約束。另一種方向是改進(jìn)邊界框預(yù)測(cè)的精度，減少幾何生成階段的誤差傳播。

在應(yīng)用拓展方面，ArtLLM的成功為很多下游應(yīng)用開(kāi)辟了可能性。除了機(jī)器人訓(xùn)練，該技術(shù)還可能應(yīng)用于游戲內(nèi)容生成、建筑設(shè)計(jì)、工業(yè)仿真等領(lǐng)域。特別是在需要快速原型制作和迭代設(shè)計(jì)的場(chǎng)景中，ArtLLM的高效性優(yōu)勢(shì)將得到充分發(fā)揮。

研究團(tuán)隊(duì)還提到了實(shí)時(shí)生成的可能性。雖然當(dāng)前的19秒生成時(shí)間已經(jīng)很快，但某些應(yīng)用場(chǎng)景可能需要更短的響應(yīng)時(shí)間。通過(guò)模型壓縮、推理優(yōu)化等技術(shù)，未來(lái)可能實(shí)現(xiàn)近實(shí)時(shí)的可動(dòng)物體生成，為交互式設(shè)計(jì)工具提供支持。

總體而言，ArtLLM為3D可動(dòng)物體生成領(lǐng)域樹(shù)立了新的技術(shù)標(biāo)桿，但仍有廣闊的改進(jìn)和應(yīng)用空間。隨著相關(guān)技術(shù)的不斷發(fā)展和數(shù)據(jù)資源的日益豐富，我們有理由期待這個(gè)領(lǐng)域?qū)⒂瓉?lái)更多突破性進(jìn)展。

說(shuō)到底，ArtLLM的出現(xiàn)標(biāo)志著我們正在進(jìn)入一個(gè)新的時(shí)代——一個(gè)讓計(jì)算機(jī)理解物體不僅僅是靜態(tài)形狀，更是動(dòng)態(tài)功能的時(shí)代。就像當(dāng)年從黑白電視進(jìn)入彩色電視時(shí)代一樣，這種技術(shù)的成熟將從根本上改變我們與數(shù)字世界交互的方式。從游戲中更真實(shí)的物體交互，到機(jī)器人更智能的學(xué)習(xí)能力，再到工業(yè)設(shè)計(jì)中更快的原型制作，ArtLLM所代表的技術(shù)方向正在為我們的數(shù)字化未來(lái)鋪設(shè)道路。雖然當(dāng)前還存在一些技術(shù)挑戰(zhàn)，但正如任何新生技術(shù)一樣，隨著研究的深入和應(yīng)用的拓展，這些問(wèn)題終將得到解決，為我們帶來(lái)更加精彩的數(shù)字體驗(yàn)。

Q&A

Q1：ArtLLM是什么，它能做什么？

A：ArtLLM是由上?？萍即髮W(xué)聯(lián)合騰訊混元團(tuán)隊(duì)開(kāi)發(fā)的AI系統(tǒng)，能夠僅通過(guò)一張圖片或文字描述就自動(dòng)生成具有真實(shí)運(yùn)動(dòng)能力的3D物體。比如輸入一張桌子的照片，它就能生成一個(gè)抽屜可以真實(shí)開(kāi)合的3D模型。這項(xiàng)技術(shù)主要用于游戲開(kāi)發(fā)、機(jī)器人訓(xùn)練和工業(yè)仿真等領(lǐng)域。

Q2：ArtLLM生成的3D物體和傳統(tǒng)方法有什么不同？

A：傳統(tǒng)方法要么需要耗時(shí)的逐個(gè)物體優(yōu)化，要么只能從固定的零件庫(kù)中拼裝，限制了創(chuàng)新性。ArtLLM則像搭積木一樣，能夠理解物體的整體結(jié)構(gòu)和運(yùn)動(dòng)關(guān)系，自動(dòng)生成全新的幾何形狀，而且生成速度很快，單個(gè)物體只需19秒，比其他方法快數(shù)倍到數(shù)十倍。

Q3：ArtLLM在真實(shí)應(yīng)用中效果怎么樣？

A：研究團(tuán)隊(duì)進(jìn)行了機(jī)器人實(shí)驗(yàn)驗(yàn)證，讓機(jī)械臂在真實(shí)環(huán)境中操作物體，然后用ArtLLM重建虛擬版本，結(jié)果虛擬物體完全重現(xiàn)了真實(shí)物體的運(yùn)動(dòng)特性。這證明ArtLLM生成的模型具有很高的真實(shí)性，能夠?yàn)闄C(jī)器人訓(xùn)練和數(shù)字孿生等應(yīng)用提供高質(zhì)量的虛擬環(huán)境。