隨著三維重建與渲染技術(shù)的快速發(fā)展，3DGS已成為實(shí)時(shí)高質(zhì)量新視角合成的重要方法。然而，傳統(tǒng)3DGS受限于低階球諧函數(shù)的表達(dá)能力，難以建模高頻紋理細(xì)節(jié)，如鏡面高光和反射效果。現(xiàn)有方法通常會采用逐高斯紋理圖來提升效果，但這種策略會導(dǎo)致存儲開銷劇增，限制了其在實(shí)際場景中的應(yīng)用。本文介紹一篇來自澳洲國立大學(xué)和NVIDIA合作完成的工作，提出了一種基于圖像的高斯?jié)姙R方法IBGS，通過引入圖像引導(dǎo)的殘差學(xué)習(xí)機(jī)制，可以在不增加存儲負(fù)擔(dān)的前提下，顯著提升渲染質(zhì)量與新視角建模能力。IBGS將像素顏色分解為基礎(chǔ)色與殘差色兩部分，基礎(chǔ)色由標(biāo)準(zhǔn)3DGS流程生成，殘差色則通過輕量網(wǎng)絡(luò)從鄰近訓(xùn)練圖像中提取高頻細(xì)節(jié)與視角變化信息。實(shí)驗(yàn)表明，IBGS在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上獲得了最優(yōu)渲染質(zhì)量，同時(shí)可以減少高達(dá)62%的高斯點(diǎn)數(shù)量，為實(shí)現(xiàn)高保真、高效率、強(qiáng)泛化能力的三維場景建模與渲染提供了可行路徑，推動了實(shí)時(shí)神經(jīng)渲染技術(shù)向真實(shí)復(fù)雜場景的進(jìn)一步落地。

論文題目： IBGS: Image-Based Gaussian Splatting 文章鏈接： https://arxiv.org/abs/2511.14357 代碼地址： https://github.com/HoangChuongNguyen/ibgs 項(xiàng)目鏈接： https://hoangchuongnguyen.github.io/ibgs

NeRF[1]和3DGS[2]是當(dāng)前新視角合成的主流方法，3DGS因其實(shí)時(shí)渲染速度和高質(zhì)量的新視角合成能力受到廣泛關(guān)注。然而，傳統(tǒng)3DGS方法存在一個(gè)關(guān)鍵限制：每個(gè)高斯圖元在給定相機(jī)視角下僅能表達(dá)單一顏色，導(dǎo)致其難以有效重建場景中的高頻細(xì)節(jié)。盡管有方法[3]采用低階球諧函數(shù)（spherical harmonics, SH）進(jìn)行顏色建模，但其嚴(yán)重的平滑性限制了模型對復(fù)雜視角依賴現(xiàn)象（如反射、鏡面高光等）的刻畫能力。為緩解這一問題，部分研究嘗試引入逐高斯的紋理映射機(jī)制，但這些方法往往面臨存儲開銷大、紋理難以泛化等問題。

二、本文方法

為了解決上述問題，本文提出了一種基于圖像的高斯?jié)姙R方法IBGS，IBGS的核心創(chuàng)新是不依賴額外的紋理圖或高階SH函數(shù)，而是直接利用訓(xùn)練圖像中的高頻細(xì)節(jié)和視角相關(guān)信息，通過學(xué)習(xí)殘差的方式增強(qiáng)3DGS的基礎(chǔ)渲染結(jié)果。

image.png

上圖為IBGS的整體框架流程，每個(gè)像素的最終顏色 由兩部分疊加而成：(1)基礎(chǔ)顏色 （粉色框所示），由標(biāo)準(zhǔn)3DGS渲染流程通過球諧函數(shù)計(jì)算得到；(2)顏色殘差 (綠色框所示），由一個(gè)輕量級網(wǎng)絡(luò)根據(jù)多個(gè)源視圖的扭曲顏色 預(yù)測得出。上圖以兩個(gè)源視圖為例，IBGS支持使用任意數(shù)量的源視圖。最終顏色合成表示為：

其中， 為預(yù)測顏色殘差，由輕量級網(wǎng)絡(luò) 預(yù)測，輸入包括基礎(chǔ)顏色 、射線方向 、從 個(gè)鄰近視角提取的顏色特征 和相機(jī)位姿特征 。

2.1 源視圖特征提取

為了獲取用于殘差預(yù)測的特征，IBGS需要從鄰近訓(xùn)練圖像中提取顏色和相機(jī)姿態(tài)信息。對于目標(biāo)像素 對應(yīng)的射線，計(jì)算其與每個(gè)高斯基元的交點(diǎn) ：

僅保留累積透射率 的 個(gè)中位數(shù)交點(diǎn)（避免遠(yuǎn)離真實(shí)表面的高斯引入噪聲）。將篩選后的交點(diǎn) 投影到第 個(gè)源視圖，通過雙線性插值獲取投影顏色 ：

分別計(jì)算顏色特征 和相機(jī)姿態(tài)特征 ，詳細(xì)計(jì)算過程如下：

2.2 顏色殘差預(yù)測網(wǎng)絡(luò)

殘差預(yù)測網(wǎng)絡(luò) 是一個(gè)輕量級模型，分為特征提取和CNN解碼兩部分。多視圖特征提取采用PointNet的結(jié)構(gòu)，處理任意數(shù)量的源視圖特征：

其中， 為兩層線性網(wǎng)絡(luò)，用于編碼單個(gè)源視圖的顏色和姿態(tài)特征。對所有源視圖的編碼特征 進(jìn)行最大池化，得到聚合特征 。將聚合特征圖 、基礎(chǔ)顏色圖 、射線方向圖 送入到 9 層的 3×3 卷積解碼器中，得到顏色殘差圖 :

最后，將預(yù)測殘差 添加到高斯柵格化圖像中，從而得到最終圖像。

2.3 曝光校正模塊

為進(jìn)一步解決訓(xùn)練圖像曝光不一致問題，IBGS提出一種曝光校正策略，通過最小二乘法學(xué)習(xí)一個(gè)仿射變換矩陣 ，將目標(biāo)視圖的顏色校正到最鄰近源視圖的曝光水平：

其中， 為投影到最近源視圖后坐標(biāo)有效的像素集， 為最近源視圖的投影顏色。校正后的顏色將用于后續(xù)的殘差計(jì)算和最終圖像合成。

三、實(shí)驗(yàn)效果

本文在標(biāo)準(zhǔn)新視角合成（NVS）基準(zhǔn)數(shù)據(jù)集上進(jìn)行了全面評估，包括Mip-NeRF 360（9個(gè)場景）、Tanks and Temples（2個(gè)場景）和Deep Blending（2個(gè)場景），并額外在挑戰(zhàn)性視角依賴效應(yīng)數(shù)據(jù)集Shiny（3個(gè)場景）上測試了模型對鏡面高光、反射和衍射等復(fù)雜光學(xué)現(xiàn)象的建模能力。本文與五大類代表性方法進(jìn)行了對比，包括傳統(tǒng)神經(jīng)渲染方法Mip-NeRF 360和Instant-NGP，原始3DGS方法，以及兩種主流紋理增強(qiáng)變體SuperGauss和TexturedGauss。

評價(jià)指標(biāo)涵蓋PSNR（峰值信噪比）、SSIM（結(jié)構(gòu)相似性指數(shù)）和LPIPS（學(xué)習(xí)感知圖像塊相似度）三大圖像質(zhì)量指標(biāo)，同時(shí)關(guān)鍵性地記錄了高斯基元數(shù)量和存儲內(nèi)存占用情況，全面衡量方法在質(zhì)量與效率上的平衡。特別地，針對曝光不一致性這一實(shí)際難題，本文在Tanks and Temples數(shù)據(jù)集上專門測試了曝光校正模塊的泛化能力，相比傳統(tǒng)每視角曝光校正方法，IBGS首次實(shí)現(xiàn)了新視角曝光校正的零樣本遷移。

3.1 定量分析

上表的實(shí)驗(yàn)結(jié)果展示了IBGS在三個(gè)基準(zhǔn)數(shù)據(jù)集上的效果，尤其在處理高頻細(xì)節(jié)與視角依賴效應(yīng)方面表現(xiàn)優(yōu)異。更為突出的是，IBGS在保持最高渲染質(zhì)量的同時(shí)，大幅減少了高斯數(shù)量與存儲占用，有效解決了以往方法在存儲開銷與泛化能力之間的權(quán)衡難題。這也驗(yàn)證了其所提出的圖像引導(dǎo)殘差學(xué)習(xí)機(jī)制能夠以更精簡的場景表達(dá)實(shí)現(xiàn)更逼真的渲染效果。

上表展示了IBGS在專門測試視角依賴效果的Shiny數(shù)據(jù)集上的效果。IBGS在處理鏡面高光、反射等復(fù)雜效果時(shí)展現(xiàn)出更好的性能，其PSNR相比最佳基線提升了超過5dB，LPIPS也大幅降低，證明其渲染結(jié)果在視覺感知上更為逼真。

3.2 定性分析

為了進(jìn)一步評估本文方法的有效性，作者還進(jìn)行了詳細(xì)的定性分析，可視化結(jié)果如下圖所示。

在前兩行高頻細(xì)節(jié)場景中，IBGS能重建出逼真紋理，而3DGS和SuperGauss的結(jié)果則模糊平滑。

例如在吉他場景的對比中，傳統(tǒng)3DGS和SuperGauss雖然能還原基礎(chǔ)顏色，卻都無法捕捉木質(zhì)表面的細(xì)微紋理，使得琴身呈現(xiàn)不自然的塑料質(zhì)感，同時(shí)其渲染的鏡面高光邊緣模糊、缺乏真實(shí)感。左側(cè)的IBGS基礎(chǔ)圖像與3DGS結(jié)果幾乎一致，證實(shí)了傳統(tǒng)高斯渲染的固有局限。中間的殘差圖精準(zhǔn)地包含了缺失的木材紋理圖案和銳利的鏡面光斑。

3.3 消融實(shí)驗(yàn)

作者額外進(jìn)行了消融實(shí)驗(yàn)來驗(yàn)證了本文方法的有效性，下圖通過對比曝光校正前后的渲染結(jié)果進(jìn)行分析，結(jié)果顯示，在未使用校正時(shí)渲染圖像會出現(xiàn)明顯的過暗或過亮問題，而啟用校正后圖像亮度均被自適應(yīng)調(diào)整至自然范圍，暗部細(xì)節(jié)得以保留，過曝區(qū)域也得到抑制。

這證明了IBGS所采用的曝光校正策略，能夠成功解決多視角圖像曝光不一致的難題，顯著提升渲染結(jié)果的視覺質(zhì)量與魯棒性。

上表主要驗(yàn)證了IBGS各關(guān)鍵組件對最終性能的貢獻(xiàn)，包括顏色殘差、顏色一致性損失、多視圖特征選擇方式，以及曝光校正對渲染質(zhì)量的影響。IBGS的核心貢獻(xiàn)來自顏色殘差模塊，一旦移除，渲染質(zhì)量顯著下降，PSNR在TNT中直接降了近1.8dB，說明該模塊是恢復(fù)高頻紋理和視角依賴效果的關(guān)鍵。顏色一致性損失 雖然作用相對較小，但能提升跨視圖的幾何對齊穩(wěn)定性。曝光校正在曝光不穩(wěn)定的數(shù)據(jù)集（如 Tanks & Temples）中尤為重要，可以有效地提升亮度一致性。

四、總結(jié)

IBGS通過將圖像渲染與3D高斯?jié)姙R技術(shù)巧妙融合，突破了傳統(tǒng)方法在刻畫高頻紋理和視角依賴效果上的固有瓶頸。它以3DGS渲染出的基礎(chǔ)顏色為主體，再利用輕量級網(wǎng)絡(luò)從鄰近訓(xùn)練圖像中提取并學(xué)習(xí)顏色殘差，用以補(bǔ)充精細(xì)紋理與隨視角變化的真實(shí)光效。同時(shí)，IBGS還設(shè)計(jì)了基于鄰近視圖的曝光校正機(jī)制，有效解決新視角渲染中常見的亮度不一致問題。IBGS最終呈現(xiàn)出的畫面不僅細(xì)節(jié)更清晰、反射更逼真，而且存儲開銷更低。在多項(xiàng)基準(zhǔn)數(shù)據(jù)集上，IBGS的表現(xiàn)均顯著優(yōu)于傳統(tǒng)3DGS，為虛擬現(xiàn)實(shí)、影視特效等高保真渲染場景提供了更可靠的技術(shù)路徑，推動3D重建邁向更加真實(shí)和實(shí)用的落地階段。

參考

[1] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM, 2021, 65(1): 99-106.

[2] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian splatting for real-time radiance field rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.

[3] Chao B, Tseng H Y, Porzi L, et al. Textured gaussians for enhanced 3d scene appearance modeling[C]//Proceedings of the Computer Vision and Pattern Recognition Conference. 2025: 8964-8974.

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈