該工作提出了一種將物理模擬與3D高斯?jié)姙R表示相結(jié)合的動態(tài)雨景合成框架，能夠在任意真實(shí)世界場景中，實(shí)時高效地（超過30fps）生成具有物理真實(shí)感的動態(tài)雨水、漣漪及反射效果，為自動駕駛、虛擬現(xiàn)實(shí)及游戲等領(lǐng)域提供了強(qiáng)大的天氣模擬與數(shù)據(jù)增強(qiáng)工具。

論文標(biāo)題： RainyGS: Efficient Rain Synthesis with Physically-Based Gaussian Splatting 論文鏈接： https://arxiv.org/abs/2503.21442 項(xiàng)目主頁： https://pku-vcl-geometry.github.io/RainyGS/

近年來，面向真實(shí)世界場景的動態(tài)天氣效果合成，在計算機(jī)圖形學(xué)、自動駕駛和虛擬現(xiàn)實(shí)等領(lǐng)域獲得了廣泛關(guān)注。以神經(jīng)輻射場 (NeRF) 和3D高斯?jié)姙R (3DGS) 為代表的場景建模技術(shù)，雖然在靜態(tài)場景的新視角合成方面取得了巨大成功，但通常難以勝任基于物理的復(fù)雜動態(tài)編輯任務(wù)，例如逼真的降雨模擬。另一方面，傳統(tǒng)的物理模擬方法能夠生成真實(shí)的雨滴和水花效果，這些方法通常需要依賴專業(yè)藝術(shù)家為特定場景進(jìn)行手動設(shè)置，整個過程缺乏靈活性與可擴(kuò)展性，難以應(yīng)用于廣泛的開放世界環(huán)境。因此，如何在保持物理準(zhǔn)確性的同時，高效地為任意真實(shí)場景增添可控的動態(tài)降雨效果，成為了一個亟待解決的挑戰(zhàn)。

本文介紹的RainyGS模型，則通過一種將物理建模與高斯?jié)姙R技術(shù)相結(jié)合的新穎框架，系統(tǒng)性地解決了上述挑戰(zhàn)。首先，該方法利用多視圖輸入圖像，通過3DGS技術(shù)重建場景的外觀與幾何結(jié)構(gòu)。隨后，其核心在于將基于物理的淺水模擬技術(shù) (shallow-water simulation) 與快速的高斯?jié)姙R渲染框架相結(jié)合：通過從三維場景中提取高度圖 (height map)，模型可以在其上高效地模擬雨水在地面上的動態(tài)累積、漣漪和飛濺效果。在渲染階段，RainyGS利用屏幕空間光線追蹤等高效技術(shù)，精確地合成水面的反射、折射等高階光學(xué)效果。通過這種物理模擬與高效渲染相結(jié)合的設(shè)計，RainyGS實(shí)現(xiàn)了超過30幀/秒的實(shí)時渲染速度，并支持用戶從毛毛細(xì)雨到傾盆大雨的靈活強(qiáng)度控制，在視覺真實(shí)感和物理準(zhǔn)確性上均超越了現(xiàn)有方法。

二、技術(shù)貢獻(xiàn)

本工作主要貢獻(xiàn)如下：

• 引入了一種基于物理的動態(tài)水體模擬框架，以從3DGS重建場景中提取的高度圖為基礎(chǔ)，構(gòu)建了一套能在二維平面上高效模擬雨水累積、漣漪與飛濺等復(fù)雜流體動力學(xué)的淺水模擬系統(tǒng)；

• 設(shè)計了一種高效的水體光學(xué)效果渲染管線，實(shí)現(xiàn)了一套能夠?qū)崟r生成水面鏡面反射、折射與高光等高階效果的光柵化渲染流程；

• 提出了一種動靜結(jié)合的統(tǒng)一場景表示與渲染框架，將靜態(tài)場景與動態(tài)生成的水體、雨滴統(tǒng)一建模為高斯橢球體，通過一次前向渲染即可完成所有元素的無縫融合，從而保證了跨視角的幾何一致性與最終效果的逼真度。

下表是RainyGS與其他方法在“Garden”場景下的性能定量對比。如表所示，RainyGS在渲染速度（單幀耗時）和顯存占用上均表現(xiàn)出顯著優(yōu)勢。相比于PGSR，RainyGS僅增加了極小的計算開銷，但其渲染速度（0.032秒/幀）遠(yuǎn)超于基于光線追蹤的方案（1.942秒/幀）和主流視頻生成模型Runway-V2V（約0.48秒/幀）。這一結(jié)果表明，RainyGS在計算效率與資源控制方面更加出色，能夠在保證高視覺保真度的同時，實(shí)現(xiàn)超過30fps的實(shí)時交互性能：

表1 在“Garden”場景下不同方法的性能開銷定量比較 三、方法介紹

為實(shí)現(xiàn)對開放世界場景高效且物理真實(shí)的動態(tài)降雨模擬，RainyGS設(shè)計了一套將物理建模與高斯?jié)姙R渲染深度融合的框架。其流程首先利用多視圖圖像，通過改進(jìn)的3D高斯?jié)姙R技術(shù)重建出兼具高保真外觀與高精度幾何的場景表示；隨后，從重建場景中提取關(guān)鍵的二維高度圖，作為物理模擬的載體；接著，在高度圖上運(yùn)行高效的淺水動力學(xué)模擬，以計算雨水累積與動態(tài)效果；最終，通過一套感知反射的水體光柵化渲染管線，將模擬結(jié)果與原始場景無縫融合，生成最終的逼真雨景。

RainyGS的場景表示采用了3D高斯?jié)姙R (3DGS) 技術(shù)，該技術(shù)將三維場景解構(gòu)為海量的各向異性3D高斯橢球體。每個高斯體由其中心位置 、 協(xié)方差矩陣 、 不透明度o以及表示視角相關(guān)顏色的球諧函數(shù) (SH) 系數(shù)共同定義：

3DGS通過一個可微分的光柵化器，將這些3D高斯體高效地投影到二維圖像平面，并根據(jù)深度對顏色進(jìn)行alpha混合，從而實(shí)現(xiàn)高質(zhì)量的實(shí)時渲染：

標(biāo)準(zhǔn)的3DGS方法在幾何重建的精度上存在不足，無法滿足物理模擬需求。因此，RainyGS采用PGSR這一改進(jìn)方法，通過引入幾何約束來聯(lián)合優(yōu)化場景的外觀與幾何，從而獲得高精度三維場景重建結(jié)果。

進(jìn)一步，RainyGS會從中提取一系列用于模擬和渲染的輔助圖。首先是提取核心的高度圖（Height Map）。該過程通過主成分分析（PCA）確定場景的地面，并將其對齊至XY平面。隨后，一個正交頂視相機(jī)（orthographic camera）沿負(fù) Z 軸方向渲染場景，生成一張深度圖。最終，將相機(jī)距XY平面的距離減去該深度圖的各像素值，便得到了代表地表起伏的高度圖 。 為處理屋檐等物體的遮擋，模型會提取分別代表地面 （ ） 與遮擋物 （ ） 的兩個高度層。這張高度圖是后續(xù)水體動力學(xué)模擬的核心載體。此外，對于任意給定的目標(biāo)視角V，模型會利用3DGS的alpha混合渲染管線，生成該視角下的逐像素深度圖 D 和法線圖 N ,作為動力學(xué)模擬的必要幾何輸入。

圖1 RainyGS流程圖

RainyGS的動態(tài)模擬與渲染分為物理模擬和光學(xué)渲染兩個核心環(huán)節(jié)?；谠谟昃爸械孛娣e水、漣漪等現(xiàn)象可以被很好地近似為高度場的觀察，RainyGS引入了物理學(xué)中的淺水方程（Shallow Water Equations），直接在二維高度圖上進(jìn)行流體模擬。該方法在效率和穩(wěn)定性上取得了很好的平衡，完美契合了雨水場景的物理特性：

在每個模擬時間步中，模型會隨機(jī)生成新的雨滴，并根據(jù)其物理狀態(tài)進(jìn)行更新。當(dāng)一個雨滴與場景發(fā)生碰撞時，模型會進(jìn)行檢測：若雨滴落入水面（即其高度低于當(dāng)前水面高度場），其體積將被合并到高度場中，從而影響水位的變化；若雨滴撞擊到屋檐等遮擋物，則直接消失：

為渲染出逼真的水面光學(xué)效果，RainyGS設(shè)計了一套包含兩個通道（pass）的高效光柵化流程。第一個通道負(fù)責(zé)渲染水面本身，其最終顏色 由折射顏色 、 鏡面反射顏色 和高光顏色 根據(jù)菲涅爾項(xiàng)F加權(quán)混合而成。第二個通道則負(fù)責(zé)渲染雨滴本身，空中的雨絲和撞擊物體表面產(chǎn)生的水花，均被建模為高斯橢球體。最終，水面渲染結(jié)果 與雨滴渲染結(jié)果 會根據(jù)各自的深度信息進(jìn)行融合，得到最終的完整圖像：

其中鏡面反射 ( ) 計算考慮到傳統(tǒng)光線追蹤的巨大開銷，采用高效的屏幕空間反射（Screen-Space Reflection）技術(shù)，在已渲染的圖像和深度圖上進(jìn)行光線步進(jìn)，以近似計算反射顏色。高光 ( ) 項(xiàng)基于Blinn-Phong光照模型計算太陽等光源在起伏水面上形成的高光。折射顏色 ( ) 采用基于圖像的近似方法，根據(jù)水面法線對原始場景圖像進(jìn)行擾動采樣，以模擬光線穿過淺水層時的扭曲效果。菲涅爾項(xiàng)(F)利用Fresnel-Slick方程計算不同視角下水面的反射率，決定反射與折射的混合比例。

通過這種將物理模擬與高效渲染技術(shù)相結(jié)合的設(shè)計，RainyGS不僅在水體動態(tài)上實(shí)現(xiàn)了物理真實(shí)性，更在反射、折射等關(guān)鍵視覺效果上達(dá)到了高保真度，同時維持了卓越的實(shí)時渲染性能。

四、部分結(jié)果展示

作者首先對比了不同方法的雨景合角下不同時間步的雨景合成效果：

圖2 雨景合成定性比較

圖3 雨景合成多時間步定性比較

對比結(jié)果顯示，雖然視頻生成方法能創(chuàng)造出視覺上引人注目的雨景風(fēng)格，但不可避免地缺乏三維一致性，并且常常會改變原始場景的幾何形狀。正如在圖2中所見，Runway-V2V將花瓶變成了一個玻璃花瓶，并不斷地改變背景。此外，其動態(tài)雨景在模擬和渲染方面都不夠真實(shí)。如圖3所示，Runway-V2V會生成隨機(jī)的漣漪和雨滴，但當(dāng)特定的雨滴落入水中時，卻無法產(chǎn)生預(yù)期的漣漪效果。另外，漣漪的反射和折射效果也不符合物理規(guī)律，例如，倒映在水中的桌腿本應(yīng)因水面漣漪而扭曲，但合成結(jié)果中卻保持筆直。

由于缺乏適當(dāng)?shù)娘L(fēng)格化和三維表示，Rain Motion工作在視覺真實(shí)感和動態(tài)準(zhǔn)確性方面都表現(xiàn)不佳。Instruct-GS2GS缺乏高級的下雨效果，并且只支持靜態(tài)編輯。相比之下，RainyGS保留了場景的幾何形狀，并提供了符合物理規(guī)律的降雨動態(tài)和逼真的渲染，從而確保了更一致、更高效和更高質(zhì)量的結(jié)果。

在定量分析之外，本文還展示了多種基于RainyGS的應(yīng)用，RainyGS可以應(yīng)用于大規(guī)模的駕駛場景，以合成相應(yīng)的雨天天氣狀況，這有助于為惡劣的雨天條件創(chuàng)建具有挑戰(zhàn)性的駕駛環(huán)境，并提高自動駕駛的安全性。

圖4 針對Waymo場景的雨天合成效果 五、總結(jié)與展望

本文介紹的RainyGS提出了一種新穎的動態(tài)雨景合成框架，在方法上將基于物理的淺水模擬與3D高斯?jié)姙R技術(shù)深度融合。其核心機(jī)制在于，首先從多視圖圖像重建高精度三維場景，進(jìn)而提取二維高度圖作為物理模擬的載體，并在此基礎(chǔ)上高效地計算雨水累積、漣漪等動態(tài)效果。相比于傳統(tǒng)物理模擬方法在開放世界場景中的局限性，以及其他AI方法在物理真實(shí)性上的不足，RainyGS在保證物理精確性的同時，實(shí)現(xiàn)了超過30fps的實(shí)時渲染性能。

當(dāng)前RainyGS的模擬與渲染仍存在一定局限。其淺水動力學(xué)模型難以精確模擬具有較深波浪或多層深度的復(fù)雜水體交互，同時，基于圖像空間的渲染方式也使其無法處理被遮擋物體的反射與折射效果。未來工作將致力于解決這些挑戰(zhàn)，例如探索更復(fù)雜的流體動力學(xué)模型，或融合能夠處理遮擋的光線追蹤技術(shù)，以實(shí)現(xiàn)更高階的動態(tài)效果與渲染真實(shí)感。這將進(jìn)一步提升其在自動駕駛惡劣天氣模擬、沉浸式虛擬現(xiàn)實(shí)環(huán)境構(gòu)建等應(yīng)用中的價值。

六、思考與討論

Q: RainyGS的淺水模擬對幾何重建誤差的魯棒性如何？

A: 該方法難以基于不規(guī)則的地面和水坑模擬雨景，如果從有缺陷的重建中提取的高度圖存在噪聲，那么直接作用于其上的淺水模擬會產(chǎn)生物理上不正確的現(xiàn)象，例如水流在不存在的洼地中匯集。論文也提出了一個緩解策略，即通過增加降雨量，“地面的不規(guī)則之處可以被更多的水量覆蓋”，從而實(shí)現(xiàn)逼真的下雨效果。這意味著，在暴雨場景下，大量的模擬積水可以在視覺上“淹沒”并平滑掉底層的微小幾何瑕疵。但在毛毛細(xì)雨或小雨場景下，這些由重建誤差導(dǎo)致的模擬缺陷會更加明顯。

Q: RainyGS淺水模擬的物理假設(shè)能否處理不同深度水體的動態(tài)過渡？

A: 當(dāng)前RainyGS淺水模型確實(shí)無法平滑地處理這種過渡，對于具有較深波浪的流體交互不太準(zhǔn)確，也不適用于模擬復(fù)雜的多深度水體效果。淺水方程的核心假設(shè)是流體的水平尺度遠(yuǎn)大于垂直尺度。當(dāng)積水加深，這一假設(shè)便不再成立，模擬將無法捕捉到復(fù)雜的垂直水流運(yùn)動，如破碎的波浪或物體淹沒時產(chǎn)生的大幅濺射。該方法最適用于模擬典型的街道雨景，而非洪水或蓄水池等場景。

以下是開放性問題，歡迎讀者朋友留言討論：

Q: RainyGS成功地將“水”的物理模擬與3DGS結(jié)合，那么這套“重建-模擬-渲染”的框架能否被擴(kuò)展為一種通用的、模塊化的天氣模擬系統(tǒng)？例如，是否可以替換掉淺水模擬模塊，接入基于粒子或流體動力學(xué)的雪花、大霧或風(fēng)場模擬器，從而在同一個3DGS場景中實(shí)現(xiàn)雨、雪、霧、風(fēng)等多種天氣效果的實(shí)時、可控合成？

參考文獻(xiàn)

[1] Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuhler, and George Drettakis. 3D gaussian splatting for real-time radiance field rendering. ACM TOG & SIGGRAPH. 42(4), 139:1-139:14, 2023.

[2] Yuan Li, Zhi-Hao Lin, David Forsyth, Jia-Bin Huang, and Shenlong Wang. ClimateNeRF: Extreme weather synthesis in neural radiance field. ICCV. 3204-3215, 2023.

[3] Tianyi Xie, Zeshun Zong, Yuxing Qiu, Xuan Li, Yutao Feng,Yin Yang, and Chenfanfu Jiang. PhysGaussian: Physics-integrated 3D gaussians for generative dynamics. CVPR. 4389-4398, 2024.

[4] Danpeng Chen, Hai Li, Weicai Ye, Yifan Wang, Weijian Xie, Shangjin Zhai, Nan Wang, Haomin Liu, Hujun Bao, and Guofeng Zhang. PGSR: Planar-based gaussian splatting for efficient and high-fidelity surface reconstruction. TVCG. 6100-6111, 2024.

來源：公眾號【深圳大學(xué)可視計算研究中心】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈