三維高斯濺射超分辨視覺場景構(gòu)建算法

第50卷 第9期

作者：侯禮杰，沈寅松，劉曉晨，陳雪梅，賈瑞才，范廣偉，申沖

作者單位：1. 中北大學(xué)儀器與電子學(xué)院，山西 太原 030051; 2. 中北大學(xué)機(jī)電工程學(xué)院，山西 太原 030051; 3. 北京理工大學(xué)前沿技術(shù)研究院，山東 濟(jì)南 250300; 4. 浙江科技大學(xué)信息與電子工程學(xué)院，浙江 杭州 310000; 5. 中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050000

摘要：

目前，機(jī)器人技術(shù)在工業(yè)化與自動(dòng)化產(chǎn)業(yè)中扮演著舉足輕重的角色，然而，機(jī)器人在視覺信息感知領(lǐng)域仍面臨感知精度不足等挑戰(zhàn)。為提升機(jī)器人在復(fù)雜工作場景下的視覺信息精確感知能力，該文基于三維高斯濺射（3D Gaussian splatting, 3DGS）提出一種超分辨視覺場景構(gòu)建算法。該算法引入真實(shí)世界增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)（real-world enhanced super-resolution generative adversarial networks, Real-ESRGAN）作為前置預(yù)處理技術(shù)生成高分辨率視圖，并通過對生成的高分辨率視圖下采樣結(jié)果與原有的低分辨率視圖對齊得到亞像素約束，進(jìn)而增加三維重建細(xì)節(jié)部分的表征精細(xì)度。在場景構(gòu)建過程中，自適應(yīng)密度控制保證重建的精度，高斯快速可微光柵化器保證實(shí)時(shí)渲染速率。通過在具有復(fù)雜紋理、鏡面反射等特征的多種場景實(shí)驗(yàn)驗(yàn)證表明，與傳統(tǒng) 3DGS 相比：峰值信噪比（PSNR） 指標(biāo)平均提高 7.81%，結(jié)構(gòu)相似性指數(shù)（SSIM）指標(biāo)平均提升 4.31%，學(xué)習(xí)感知圖像塊相似度（LPIPS）指標(biāo)平均降低38.35%。該算法可顯著改善傳統(tǒng) 3DGS 在低分辨率輸入時(shí)出現(xiàn)的顏色渲染錯(cuò)誤、針狀偽影以及紋理信息缺失等問題，為機(jī)器人視覺信息感知提供新的技術(shù)支撐。

關(guān)鍵詞：

三維重建; 機(jī)器人感知; 神經(jīng)輻射場; 超分辨; 三維高斯濺射

【征文】

【期刊】

【科普】