新智元報道

編輯：艾倫

【新智元導讀】北京大學陳寶權教授團隊提出 FieryGS，被 AI 頂會 ICLR 2026 接收。該框架將多模態(tài)大模型、燃燒物理仿真與 3D 高斯濺射深度融合，首次在真實 3D 重建場景中實現(xiàn)了物理可信、語義感知且可控的火焰合成，推動數(shù)字孿生從「靜態(tài)重建」邁向「動態(tài)物理」。

在通往「空間智能」與「世界模型」的征途上，如何讓計算機不僅能以高保真度「重建」靜態(tài)的三維孿生世界，更能深刻「理解」并精準「預測」其中的物理動態(tài)，一直是計算機圖形學與人工智能領域的重要研究挑戰(zhàn)。

近日，北京大學智能學院陳寶權教授團隊的最新研究成果 FieryGS: In-the-Wild Fire Synthesis with Physics-Integrated Gaussian Splatting 被人工智能頂會 ICLR 2026 接收。

這項工作并非視覺層面的簡單合成，而是另辟蹊徑，構建了一套將多模態(tài)大模型（MLLM）的語義理解能力、燃燒動力學物理仿真與 3D 高斯濺射（3DGS）渲染技術深度耦合的框架，首次在真實世界的 3D 重建場景中，實現(xiàn)了物理可信、語義感知且高度可控的燃燒合成。

https://openreview.net/forum?id=ziKFH7whvy

01. 挑戰(zhàn)：當「靜態(tài)重建」遇上「動態(tài)物理」

隨著 3D Gaussian Splatting（3DGS）技術的發(fā)展，我們已經(jīng)能夠以驚人的速度和照片級的保真度將現(xiàn)實世界數(shù)字化。

然而，現(xiàn)有的 3DGS 重建場景本質(zhì)上是「凍結」的數(shù)字孿生——它們擁有精細的幾何與紋理，卻嚴重缺失像物理世界那樣交互和演化的能力。

當我們試圖在這些場景中模擬「起火」這樣復雜的物理現(xiàn)象時，往往面臨著不可調(diào)和的技術矛盾。

一方面，傳統(tǒng)的圖形學流程（如基于 CFD 的流體動力學與 VFX 特效軟件）雖然遵循嚴謹?shù)奈锢矶?，但其應用門檻極高。

它們通常要求藝術家對場景進行繁瑣的手工網(wǎng)格重建、UV 展開及材質(zhì)屬性標注。

面對大規(guī)模、非結構化的、不完整的真實世界掃描數(shù)據(jù)，這種「手動工坊」式的工作流顯然難以擴展。

另一方面，以 Sora、Runway 為代表的視頻生成模型雖然能憑空創(chuàng)造出視覺效果炫酷的火焰視頻，但其本質(zhì)仍是基于像素概率的預測，而非對物理過程的模擬。

這些模型往往缺乏對三維幾何結構和物理守恒規(guī)律的本質(zhì)理解，極易產(chǎn)生「物理幻覺」：例如，火焰在不可燃的金屬表面憑空燃燒，或者在生成過程中扭曲了原本的場景結構。

02. FieryGS：語義感知與物理驅(qū)動的新范式

FieryGS 的研究正是為了打破這一僵局。

針對上述挑戰(zhàn)，F(xiàn)ieryGS 提出了一種「語義感知-物理驅(qū)動」的全新思路：與其讓 AI 去「猜測」像素的運動，不如讓 AI 去「理解」物理屬性，進而利用準確的物理方程來驅(qū)動生成過程。

FieryGS 是一套物理集成的 3DGS 框架，其核心在于搭建了一座橋梁，連接了大模型的常識推理能力與傳統(tǒng)圖形學的物理仿真能力。

系統(tǒng)首先利用多模態(tài)大模型（MLLM）作為「物理常識大腦」，對 3DGS 場景進行材質(zhì)物理屬性推斷；

隨后結合基于歐拉網(wǎng)格的流體力學求解器，驅(qū)動火焰與煙霧的演化；

最后通過統(tǒng)一的體積渲染器，輸出光影逼真、物理自洽且交互可控的燃燒效果。

其完整技術管線如下圖所示：

MLLM 驅(qū)動的零樣本物理屬性推理

要實現(xiàn)符合常識的燃燒，計算機必須具備類似人類的認知能力：「這是什么物體？」「它由什么材質(zhì)構成？」「它的燃燒特性如何？」。

在 FieryGS 中，靜態(tài)的 3DGS 場景不再是無意義的點云集合，而是被賦予了豐富的物理語義。

本工作設計了一套基于 GPT-4o 的零樣本材質(zhì)推理機制。

系統(tǒng)首先利用 3D 分割技術將場景中的高斯基元解耦為獨立的物體實例，隨后通過最佳視角選擇算法，將物體在該視角下的渲染圖輸入給大模型。

通過精心設計的視覺與文本提示詞，大模型化身為「物理專家」，能夠精準推斷出場景中物體的材質(zhì)語義及其對應的熱物理參數(shù)：

精準區(qū)分桌上的樂高積木是易燃的塑料，而馬克杯中的勺子是耐火的金屬；

根據(jù)材質(zhì)類別，推理出相應的可燃性（Burnability）、熱擴散系數(shù)（Thermal Diffusivity）以及燃燒產(chǎn)生的煙霧顏色（如木材產(chǎn)生白煙，塑料產(chǎn)生黑煙）。

這種基于語義的物理屬性初始化，告別了傳統(tǒng)方法中昂貴耗時的人工標注，實現(xiàn)了自動化的場景物理感知，其標注準確性在多個真實復雜場景中得到驗證（詳見論文），為后續(xù)的仿真打下堅實基礎。

高效體積燃燒仿真

在獲取了精確的材質(zhì)屬性后，F(xiàn)ieryGS 引入了一個高效的歐拉網(wǎng)格流體求解器，將燃燒過程建模為嚴謹?shù)牧黧w動力學與熱力學方程。

不同于視頻生成模型的像素預測，F(xiàn)ieryGS 中火焰的升騰、煙霧的擴散，都以納維-斯托克斯方程（Navier-Stokes Equations）等物理學規(guī)律為基礎，受到浮力、風力、渦流以及障礙物邊界條件的共同作用。

FieryGS 還引入了精細的炭化（Charring）模型。

燃燒不僅僅是覆蓋一層火焰特效，而是伴隨著物質(zhì)狀態(tài)的改變，溫度的擴散的復雜有機整體。

FieryGS 模擬了熱量在物體內(nèi)部的傳導過程，當溫度超過燃點，系統(tǒng)會計算炭化程度并實時更新高斯點的外觀屬性，使其表面逐漸變黑。

這種從微觀熱力學出發(fā)的建模，使得燃燒的視覺效果不再是簡單的圖層疊加，而是由溫度場驅(qū)動的真實材質(zhì)演變，不僅呈現(xiàn)出令人信服的物理細節(jié)，更可服務于災害預測等重要實際需求。

統(tǒng)一體積燃燒渲染

如何將網(wǎng)格化的燃燒仿真數(shù)據(jù)與離散化的3D高斯點云融合，是渲染層面的巨大挑戰(zhàn)。

本工作為此提出了一套統(tǒng)一的體積渲染器（Unified Volumetric Renderer）。

這一渲染器打破了傳統(tǒng)渲染管線的邊界，實現(xiàn)了多物理場的光影耦合：

基于黑體輻射定律，根據(jù)仿真得到的溫度場計算火焰的物理自發(fā)光顏色；

根據(jù)材質(zhì)推理結果渲染不同顏色的煙霧；

通過引入 Phong 光照模型，使火焰不再是孤立的發(fā)光體，而是成為了場景中真實的光源。

當火焰在木凳上燃起時，觀察者不僅能看到火光本身，還能看到火光在地面上投下的搖曳倒影，以及周圍物體因被照亮而產(chǎn)生的明暗變化。

這種光影解耦與再渲染，極大地提升了合成畫面的沉浸感。

03. 實驗結果：逼真視效，精準可控

得益于生成式 AI 與圖形學物理防戰(zhàn)的融合，F(xiàn)ieryGS 在多個真實世界場景（如室內(nèi)房間、公園、花園等）的測試中，展現(xiàn)出了超越現(xiàn)有基線方法的卓越性能。

與視頻生成模型相比，F(xiàn)ieryGS 不僅嚴格保持了背景幾何結構的穩(wěn)定性，更展現(xiàn)了從點火、蔓延到熄滅的完整物理過程，兼具物理真實與視覺美觀。

此外，可控性是 FieryGS 的另一大核心優(yōu)勢。

不同于「抽卡式」的視頻生成，F(xiàn)ieryGS 允許用戶以參數(shù)化的方式精確控制仿真過程。

用戶可以靈活地指定起火點，調(diào)整風向風力以改變火焰蔓延方向，改變?nèi)紵龔姸纫约叭剂系奈锢硇再|(zhì)等等，而系統(tǒng)總能生成符合物理邏輯的動態(tài)反饋。

04. 從雨到火，邁向可計算的動態(tài)孿生

FieryGS 并非一次孤立的技術嘗試。

在此之前，北京大學陳寶權教授團隊已在 CVPR 2025 提出 RainyGS，率先探索了在真實世界 3D 重建場景中，引入物理一致、參數(shù)可控的降雨積水等動態(tài)的能力。

RainyGS 以高斯表面表達為核心，將降雨、積水、漣漪等復雜流體現(xiàn)象直接綁定于高斯的幾何描述之上，實現(xiàn)了從「靜態(tài)重建」到「動態(tài)物理」的關鍵跨越，是 Real2Sim2Real 路徑上的重要一步（項目主頁：https://pku-vcl-geometry.github.io/RainyGS/）。

在 RainyGS 中，團隊驗證了一種具有普適性的范式：以緊致、統(tǒng)一的 3DGS 表達作為橋梁，避免在仿真與渲染之間反復切換數(shù)據(jù)結構，從而同時保證物理真實性、幾何一致性與高效性。這一思路為真實場景中的動態(tài)孿生奠定了堅實基礎。

FieryGS 正是在這一體系上的自然演進與系統(tǒng)擴展。

如果說 RainyGS 解決的是「真實場景中如何添加流體動態(tài)」，那么 FieryGS 則進一步引入了真實場景的語義理解，以及與真實場景深度耦合的相互物理作用，從而實現(xiàn)復雜的燃燒，這一具有物理因果鏈條的高階動態(tài)現(xiàn)象。

通過融合多模態(tài)大模型的常識推理能力與嚴謹?shù)娜紵抡妫現(xiàn)ieryGS 讓數(shù)字孿生世界首次具備了理解材質(zhì)、推斷屬性、并據(jù)此演化物理過程的能力。

從雨水的下落、匯聚與反射，到火焰的點燃、蔓延與熄滅，這一系列工作所共同指向的，并非單一視覺效果的提升，而是一條清晰的技術主線：讓數(shù)字孿生世界不再只是「看起來真實」，而是真正遵循物理、可預測、可干預、可用于智能決策。

隨著這一以 3DGS 為核心、融合物理建模與語義推理的動態(tài)孿生體系不斷演進，其應用邊界將持續(xù)拓展至自動駕駛仿真、具身智能訓練、災害推演以及復雜空間智能系統(tǒng)之中。

RainyGS 與 FieryGS 的連續(xù)提出，正在逐步勾勒出一個更具「物理靈魂」的世界模型雛形。

參考資料：

https://openreview.net/forum?id=ziKFH7whvy