論文已被 ICLR 2026 接收，第一作者為 CMU 博士生林谷穎，師從 CMU 的李旻辰教授。研究團隊中還包括 CMU 的 Jun-Yan Zhu 教授、Michael Liu、高睿晗、陳瀚可、陳律豪、盧貝嘉、HKU 的 Taku Komura 教授、黃可蒙，以及 HKUST 的劉緣教授。

現(xiàn)在的 3D AIGC 已經(jīng)可以很快生成場景，但離真正落地還有一段距離。很多場景看起來還行，一進物理模擬就會暴露問題，比如物體懸空、互相穿插，甚至還沒碰就散。這些問題讓它們很難直接用于游戲、XR 或機器人等實際場景。

問題的根源在于，過去的大多數(shù)文生 3D 方法主要優(yōu)化的是視覺效果：只要渲染出來看起來合理就可以。但這種做法忽略了一個關(guān)鍵點——場景是否在物理上成立。一旦進入模擬環(huán)境，物體之間的接觸、支撐關(guān)系以及整體穩(wěn)定性都會成為問題，而這些恰恰是實際應(yīng)用中最關(guān)鍵的部分。

來自卡耐基梅隆大學(xué)（CMU）、香港大學(xué)（HKU）和香港科技大學(xué)（HKUST）的研究團隊提出了 PAT3D（Physics-Augmented Text-to-3D Scene Generation），嘗試解決這個問題。他們的目標很直接：讓生成的 3D 場景不只是視覺上合理，而是在物理上也站得住，可以直接用于編輯、交互和仿真。

圖 1：PAT3D 關(guān)注的不只是視覺效果，而是讓場景在模擬中也能成立。

• 論文標題：PAT3D: Physics-Augmented Text-to-3D Scene Generation
• 論文地址：https://openreview.net/pdf?id=iIRxFkeCuY
• 論文作者：Guying Lin, Kemeng Huang, Michael Liu, Ruihan Gao, Hanke Chen, Lyuhao Chen, Beijia Lu, Taku Komura, Yuan Liu, Jun-Yan Zhu, Minchen Li
• 作者單位：卡耐基梅隆大學(xué)、香港大學(xué)、香港科技大學(xué)
• 項目主頁：https://simulation-intelligence.github.io/PAT3D/
• 代碼鏈接：https://github.com/Simulation-Intelligence/PAT3D

PAT3D 是怎么做的？

PAT3D 的思路可以概括成三步。

第一階段是3D 物體與空間關(guān)系抽取。系統(tǒng)先根據(jù)文本提示生成一張參考圖，再借助視覺語言模型識別場景中的物體類別、材質(zhì)和相對位置，并把圖像分割成多個對象區(qū)域。隨后，系統(tǒng)為每個對象分別生成 3D 資產(chǎn)，而不是把整個場景直接做成一個整體網(wǎng)格。這樣做的關(guān)鍵意義在于：后續(xù)每個物體都能作為獨立剛體參與接觸、碰撞和支撐關(guān)系計算。

第二階段是布局初始化。PAT3D 會先利用單目深度估計，把 2D 參考圖回投成粗略的 3D 布局，再根據(jù)視覺語言模型抽取出的物體依賴關(guān)系，構(gòu)建一個層級化的「場景樹」。這個「場景樹」描述的不是普通語義標簽，而是沿重力方向的物理依賴，例如「支撐」「包含」等。在此基礎(chǔ)上，PAT3D 會對初始布局做兩類修正：

一類是同層物體之間的水平去重疊，避免兄弟節(jié)點互相擠壓；另一類是父子節(jié)點之間沿重力方向的垂直分離，例如讓「杯子里的筆」先處在合理的容器范圍內(nèi)、讓「桌上的書」先位于桌面的支撐區(qū)域之上。這樣得到的初始化場景，不一定已經(jīng)完全穩(wěn)定，但至少是無穿插、適合進入物理模擬的。

第三階段是布局優(yōu)化。PAT3D 引入了 libuipc 的可微剛體仿真，讓物體在重力和接觸力作用下朝靜力平衡狀態(tài)演化。這里更關(guān)鍵的一點是，它并不滿足于「只要物理上站得住就行」。因為單靠物理仿真，很多場景雖然穩(wěn)定，卻可能偏離文本語義，比如本應(yīng)放在桌上的物體滑落到地面，依然可能是一個物理上成立的終態(tài)。

為了解決這個問題，PAT3D 引入了基于物理模擬的閉環(huán)優(yōu)化：它根據(jù)最終模擬狀態(tài)是否滿足「場景樹」中的包含與支撐關(guān)系，定義語義損失，再把這個損失反向傳回初始布局，持續(xù)調(diào)整初始位置。這樣，最終得到的不是單純「不會倒」的場景，而是「既穩(wěn)定、又盡量保留文本語義」的場景。

圖 2：PAT3D 將物體生成、關(guān)系理解、布局初始化和物理優(yōu)化串聯(lián)成一個完整流程。

下面的視頻展示了一個具體示例的生成過程。

實驗結(jié)果說明了什么？

從結(jié)果看，PAT3D 的優(yōu)勢并不只是「更穩(wěn)定一點」，而是把場景生成從「能展示」推到了「能落地」。在包含 18 個復(fù)雜提示詞的測試中，PAT3D 與 GraphDreamer、Blender-MCP、MIDI 等方法進行了比較。結(jié)果顯示，PAT3D 在關(guān)鍵物理指標上非常突出：繼續(xù)模擬位移為 0，物體穿插比例為 0，物理合理性評分高達 88.5。

圖 3：PAT3D 與現(xiàn)有方法在場景質(zhì)量和物理合理性上的定量對比。

更直觀地看，在書本、杯子、餐具、積木、水果籃這些接觸關(guān)系比較復(fù)雜的場景里，PAT3D 能避免物體懸空和模擬后坍塌，并且明顯減少擺放錯位。以積木堆疊為例，普通方法生成的布局往往要么不符合物理規(guī)律，要么一進入模擬就容易倒掉；而 PAT3D 會進一步調(diào)整初始擺放，使最終穩(wěn)定下來的結(jié)果仍然盡量貼近文本描述。

圖 4：與已有方法相比，PAT3D 在復(fù)雜接觸場景里更容易得到物理合理的結(jié)果。

為什么這項工作值得關(guān)注？

更重要的是，PAT3D 的結(jié)果不是停留在論文圖里的靜態(tài)展示，而是可以直接拿去做后續(xù)任務(wù)。論文里展示了三個很有代表性的應(yīng)用方向。

第一個是場景編輯。當用戶刪除一個筆筒、抽走一本書，或在原有布局上再加一個物體時，場景不會立刻變成一團穿插或懸空的模型，而是能在模擬中重新達到平衡。這意味著未來的 3D 內(nèi)容創(chuàng)作可以更像「搭積木」。

圖 5：PAT3D 支持增刪物體后的物理一致場景編輯。注：此處仿真為準靜態(tài)。

第二個是動畫制作。PAT3D 生成的場景本身就滿足基本的物理約束，因此不需要再花很多時間手動修正和調(diào)整初始布局，就可以直接用于后續(xù)動畫制作。換句話說，它生成的不只是一個靜態(tài)場景，而是一個已經(jīng)為運動和模擬做好準備的場景。在傳統(tǒng)的物理仿真動畫制作中，場景建模上往往需要花費大量時間，PAT3D 無疑將大大提高其效率。

圖 6：PAT3D 生成的場景可直接用于后續(xù)動畫制作。

第三個是機器人仿真。機器人通常需要靠模擬環(huán)境檢驗學(xué)習到的抓取、搬運和交互策略。如果場景本身存在漂浮、重疊或碰撞不合理等問題，那么訓(xùn)練出來的結(jié)果往往也不可靠。PAT3D 生成的場景可以直接導(dǎo)入模擬器，用來測試抓取是否成功、操作過程中物體會不會傾倒，從而為機器人訓(xùn)練和評估提供大量更可信的環(huán)境。

圖 7：當生成的場景能夠直接進入機器人模擬流程，文本到場景的價值就不再只是展示。左圖展示了成功抓取的例子，右圖展示了失敗抓取的例子。

PAT3D 的意義，不只是讓生成結(jié)果更好看，而是讓 3D 生成更接近真正可用。隨著生成系統(tǒng)開始同時理解和處理語義、結(jié)構(gòu)與物理，它面向的也不再只是展示層面的效果，而是更完整的數(shù)字內(nèi)容生產(chǎn)流程，以及機器人、仿真等更真實的應(yīng)用場景。

同時，PAT3D 的成功也讓我們看到將物理仿真用于 3D 生成任務(wù)的巨大潛力。更可貴的是，其源代碼已在 Apache-2.0 許可下開源，這不僅降低了研究復(fù)現(xiàn)與二次開發(fā)的門檻，也為社區(qū)進一步驗證、擴展和落地這一路線提供了堅實基礎(chǔ)。