作為3D領(lǐng)域的經(jīng)典方法，神經(jīng)輻射場(chǎng)（NeRF）技術(shù)已經(jīng)在視角合成方面取得了突破性進(jìn)展，但其對(duì)光照的“黑箱”式處理，使其難以適應(yīng)真實(shí)世界中復(fù)雜的曝光變化，常導(dǎo)致圖像局部過曝或欠曝。為解決這一問題，Google 團(tuán)隊(duì)在提出了一種全新的神經(jīng)曝光場(chǎng)（Neural Exposure Fields, NExF）框架，目前已經(jīng)發(fā)表在人工智能頂級(jí)會(huì)議NeurIPS 2025上。其核心創(chuàng)新在于，將“曝光”由傳統(tǒng)的 2D 圖像屬性提升為 3D 空間中每個(gè)點(diǎn)的固有屬性，并通過神經(jīng)場(chǎng)建模，與場(chǎng)景幾何和外觀表示進(jìn)行端到端聯(lián)合優(yōu)化。依托全新設(shè)計(jì)的latent 曝光條件化機(jī)制，NExF 能夠從曝光不一致的多視角圖像中自主學(xué)習(xí)每個(gè) 3D 點(diǎn)的最優(yōu)曝光值，無需 HDR 輸入或后處理，即可生成全局曝光一致、細(xì)節(jié)豐富的新視角圖像。實(shí)驗(yàn)表明，NExF方法的訓(xùn)練效率相比普通NeRF提升超過三倍，在室內(nèi)室外多場(chǎng)景、手機(jī)拍攝數(shù)據(jù)、自動(dòng)駕駛與虛擬現(xiàn)實(shí)等真實(shí)應(yīng)用場(chǎng)景中展現(xiàn)出更強(qiáng)的魯棒性與實(shí)用性。

論文題目： Learning Neural Exposure Fields for View Synthesis 文章鏈接： https://arxiv.org/abs/2510.08279 倉庫地址： https://m-niemeyer.github.io/nexf/index.html

當(dāng)前主流神經(jīng)場(chǎng)方法（如ZipNeRF[1]）在曝光穩(wěn)定的常規(guī)數(shù)據(jù)集上已經(jīng)能夠取得非常優(yōu)越的效果，但在真實(shí)場(chǎng)景中若忽略曝光差異，這類方法的合成質(zhì)量會(huì)顯著下降，如下圖（a）所示。引入視角級(jí) GLO 嵌入（generative latent optimization，隱空間優(yōu)化技術(shù)）[2]能夠在一定程度上改善效果，但仍不可避免地出現(xiàn)局部過曝或欠曝，如下圖（b）所示。

基于上述問題，本文提出了一種全新的神經(jīng)曝光場(chǎng)（NExF）概念，其能夠在無需手動(dòng)后處理或參考視圖的情況下直接生成 3D 一致的高質(zhì)量曝光均衡結(jié)果，如上圖（c）所示。NExF的核心目標(biāo)是：如何僅憑一組曝光不一致的常規(guī) RGB 圖像，重建出一個(gè)在整個(gè)三維空間中都能保持曝光一致、且具有高視覺質(zhì)量的新視角合成模型。

二、本文方法

本文提出的NExF方法整體框架如下圖所示，針對(duì)曝光不一致的輸入圖像，NExF首先學(xué)習(xí)整個(gè)場(chǎng)景的理想曝光三維映射關(guān)系。在隨后的渲染階段，模型會(huì)基于上一階段學(xué)習(xí)到的映射而非原始相機(jī)參數(shù)進(jìn)行生成，從而能夠在任意視角下輸出曝光均衡、光照一致的高質(zhì)量圖像。

2.1 神經(jīng)曝光場(chǎng)的定義

NExF的運(yùn)行核心是將曝光建模為定義在三維空間中的連續(xù)函數(shù)：

該函數(shù)以三維點(diǎn)坐標(biāo) 為輸入，輸出該點(diǎn)處所預(yù)測(cè)的最優(yōu)曝光值 ，其中 表示神經(jīng)網(wǎng)絡(luò)的參數(shù)。本文采用多層全連接感知機(jī)（MLP）對(duì)曝光場(chǎng)進(jìn)行參數(shù)化，使其具備與神經(jīng)輻射場(chǎng)相一致的連續(xù)空間建模能力，從而確保所預(yù)測(cè)的曝光值在三維空間中平滑變化，來增強(qiáng)渲染結(jié)果的視覺一致性。

2.2 曝光條件化機(jī)制

NExF 引入了隱空間曝光條件化機(jī)制，其核心思想是將曝光控制從傳統(tǒng)的顏色輸出階段，前移至網(wǎng)絡(luò)內(nèi)部的隱特征空間。具體實(shí)現(xiàn)由以下公式定義：

其中， 是位置編碼分支輸出的特征向量，假設(shè)其位于對(duì)數(shù)輻射度域，表征場(chǎng)景的固有亮度。 是輸入射線對(duì)應(yīng)圖像曝光時(shí)間的自然對(duì)數(shù)。 是視角依賴分支，它以融合了曝光信息的潛在特征和視角方向 為輸入，共同預(yù)測(cè)最終的體積密度 與顏色 。

上圖展示了本文的的隱空間曝光條件化與先前的曝光條件形式對(duì)比。先前的研究通過將對(duì)數(shù)曝光添加到輻射度（上圖a）來對(duì)顏色預(yù)測(cè)進(jìn)行條件化。相比之下，本文方法也先執(zhí)行對(duì)數(shù)變換，但條件是在潛在空間中進(jìn)行的（上圖b），從而提高了性能并實(shí)現(xiàn)了更穩(wěn)定的優(yōu)化。

2.3 神經(jīng)曝光場(chǎng)的優(yōu)化目標(biāo)

由于三維空間中的曝光值缺乏真實(shí)標(biāo)簽作為監(jiān)督信號(hào)，本文設(shè)計(jì)了三個(gè)核心目標(biāo)函數(shù)，通過間接監(jiān)督的方式引導(dǎo)神經(jīng)曝光場(chǎng)學(xué)習(xí)最優(yōu)的曝光分布。

（1）曝光良好性：該目標(biāo)用于鼓勵(lì)模型預(yù)測(cè)遠(yuǎn)離裁剪邊界（即不過曝或欠曝）的顏色。其權(quán)重計(jì)算如下：

（2）顏色飽和度：為避免輸出顏色趨于灰暗，此目標(biāo)用于提升預(yù)測(cè)色彩的飽和度與層次感，其定義為：

（3）三維平滑正則：基于“相鄰空間點(diǎn)的理想曝光應(yīng)連續(xù)變化”的假設(shè)，該正則項(xiàng)通過對(duì)曝光預(yù)測(cè)施加局部平滑性約束，有效防止在三維空間中出現(xiàn)不合理的曝光突變：

2.4 聯(lián)合優(yōu)化損失

結(jié)合上述三個(gè)目標(biāo)，神經(jīng)曝光場(chǎng)的總體損失函數(shù)可以形式化表示為：

其中， 為綜合權(quán)重函數(shù)，由曝光良好性與顏色飽和度兩項(xiàng)加權(quán)構(gòu)成， 與 為對(duì)應(yīng)的平衡超參數(shù)。 表示通過對(duì)射線 上所有樣本點(diǎn)的預(yù)測(cè)曝光值進(jìn)行體積渲染后，得到的像素級(jí)曝光預(yù)測(cè)。 為輸入圖像中對(duì)應(yīng)射線的真實(shí)曝光值。 為渲染得到的正則化項(xiàng)，用于在圖像空間實(shí)施三維平滑約束。

三、實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)在HDRNeRF、Eyeful Tower v2、BilarF手機(jī)野外數(shù)據(jù)和ZipNeRF大規(guī)模場(chǎng)景等多個(gè)數(shù)據(jù)集上進(jìn)行。測(cè)試的評(píng)價(jià)指標(biāo)，除了采用常用的PSNR/SSIM/LPIPS標(biāo)準(zhǔn)指標(biāo)外，還針對(duì)室內(nèi)場(chǎng)景設(shè)計(jì)了基于HDR的曝光融合評(píng)估方案：即訓(xùn)練時(shí)對(duì)每個(gè)視角隨機(jī)采樣單一曝光，而在測(cè)試時(shí)通過多曝光融合生成參考圖像以評(píng)估曝光重建質(zhì)量。本文的對(duì)比baseline方法不僅涵蓋了NeRF、ZipNeRF、3DGS等主流方法，并且在Eyeful Tower數(shù)據(jù)集上統(tǒng)一采用ZipNeRF主干網(wǎng)絡(luò)進(jìn)行了公平比較。

3.1 定量評(píng)估

下表展示了本文NExF方法與其他對(duì)比baseline方法的性能和效率對(duì)比情況，從表中可以看出，NExF在ID和OOD曝光設(shè)置下的PSNR分?jǐn)?shù)分別達(dá)到了42.54和38.36，全面優(yōu)于所有基線模型，尤其較僅使用RGB曝光輸入的HDRNeRF提升超過了3.5 PSNR。

同時(shí)在訓(xùn)練和運(yùn)行效率方面，NExF訓(xùn)練僅需11分鐘，比之前最快的方法（HDR-GS）提速3倍以上，在保持高效重建質(zhì)量的同時(shí)實(shí)現(xiàn)了高效訓(xùn)練，展現(xiàn)出其在實(shí)際復(fù)雜曝光場(chǎng)景下的強(qiáng)大適用性。

3.2 定性評(píng)估

下圖展示了NExF與其他baseline在視覺生成效果上的對(duì)比。在復(fù)雜光照?qǐng)鼍爸?，基線方法普遍存在明顯的局部過曝或欠曝問題，而NEXF通過其神經(jīng)曝光場(chǎng)實(shí)現(xiàn)了全局均衡的曝光控制，同時(shí)在遠(yuǎn)距離區(qū)域保留了更多建筑細(xì)節(jié)和表面紋理，未出現(xiàn)其他方法中常見的浮點(diǎn)偽影或細(xì)節(jié)模糊現(xiàn)象。此外，NExF在色彩還原方面表現(xiàn)出色，實(shí)現(xiàn)了更自然的色彩過渡和更高的飽和度，使得合成結(jié)果在視覺上更接近真實(shí)場(chǎng)景觀察效果。

此外，在復(fù)雜光照情況下，NExF仍然表現(xiàn)出了明顯的優(yōu)勢(shì)，對(duì)比結(jié)果如下圖所示。相比忽略曝光的方法（下圖a）完全失效、以及GLO方法（下圖b）仍存在局部過曝、欠曝的問題，NExF實(shí)現(xiàn)了全場(chǎng)景的曝光協(xié)調(diào)，同時(shí)保持了建筑立面等細(xì)節(jié)的清晰度。值得注意的是，其合成效果甚至優(yōu)于單曝光采集的真實(shí)測(cè)試視圖（下圖d），證明了該方法通過多曝光學(xué)習(xí)能夠生成超越單次曝光質(zhì)量的圖像。

對(duì)于更復(fù)雜的情況，例如高動(dòng)態(tài)光照范圍條件下，NExF能夠自適應(yīng)地為不同亮度區(qū)域分配合適曝光值（室內(nèi)高曝光、室外低曝光）。對(duì)比結(jié)果如下圖所示，由于未進(jìn)行復(fù)雜的多重曝光捕捉，輸入訓(xùn)練和測(cè)試視圖可能會(huì)出現(xiàn)過度曝光或曝光不足（如下圖a），但由于NExF可以對(duì) 3D 神經(jīng)曝光場(chǎng)進(jìn)行預(yù)測(cè)（下圖c），因而最終能夠?yàn)檎麄€(gè)場(chǎng)景實(shí)現(xiàn)曝光良好的色彩（下圖b）。

四、總結(jié)

本文提出了一種稱為神經(jīng)曝光場(chǎng)（NExF）的框架，旨在增強(qiáng)三維場(chǎng)景重建和新穎視圖合成的效果。本文首次提出神經(jīng)曝光場(chǎng)的概念，將曝光過程從2D像素級(jí)擴(kuò)展到了3D點(diǎn)級(jí)，為解決3D一致性曝光問題提供了新范式。此外，NExF設(shè)計(jì)了一種latent曝光條件化機(jī)制，實(shí)現(xiàn)曝光場(chǎng)與輻射場(chǎng)的高效聯(lián)合優(yōu)化，提升了模型的穩(wěn)定性和預(yù)測(cè)精度。在訓(xùn)練和實(shí)際推理方面，NExF在訓(xùn)練速度上優(yōu)于之前的工作，在真實(shí)場(chǎng)景（如手機(jī)拍攝、大型房屋場(chǎng)景）中實(shí)現(xiàn)了 SOTA 性能。總體而言，NExF解決了三維場(chǎng)景重建中曝光變化的挑戰(zhàn)，使得從不同輸入圖像中獲得準(zhǔn)確且視覺上真實(shí)的輸出成為可能。

參考

[1] Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, and Peter Hedman. Zip-NeRF:Anti-Aliased Grid-Based Neural Radiance Fields. Int. Conf. Comput. Vis., 2023.

[2] Piotr Bojanowski, Armand Joulin, David Lopez-Paz, and Arthur Szlam. Optimizing the Latent Space of Generative Networks. ICML, 2018.

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈