文章來源：計算機書童。

在計算機視覺領域，多模態(tài)圖像配準與融合技術一直是研究熱點。無論是安防監(jiān)控、醫(yī)療影像還是遙感探測，如何將可見光、紅外等不同模態(tài)的圖像精準對齊并有效融合，始終是提升場景理解能力的關鍵。近期，一篇題為《AU-Net: Adaptive Unified Network for Joint Multi-Modal Image Registration and Fusion》的論文提出了全新解決方案，讓我們一起來揭開這項創(chuàng)新研究的神秘面紗。

論文信息 題目：AU-Net: Adaptive Unified Network for Joint Multi-Modal Image Registration and Fusion 自適應統(tǒng)一網絡：用于聯(lián)合多模態(tài)圖像配準與融合 作者：Ming Lu, Min Jiang, Xuefeng Tao, Jun Kong 源碼：https://github.com/luming1314/AU-Net 傳統(tǒng)方法的瓶頸：為何1+1≠2？

長期以來，聯(lián)合多模態(tài)圖像配準與融合（JMIRF）領域存在兩大痛點：

• 效率低下 ：傳統(tǒng)方法多采用"先配準后融合"的級聯(lián)模式，兩個模塊獨立訓練、依次執(zhí)行，運行時間簡單疊加，未充分挖掘結構共享潛力

• 協(xié)同不足 ：即使是最新研究，也僅實現(xiàn)像素級聯(lián)合訓練（PLJT），本質仍是模塊的簡單組合，無法實現(xiàn)配準與融合的深度協(xié)同增強

如圖1所示，現(xiàn)有方法存在明顯局限：
圖1：(a)單獨訓練模式 (b)像素級聯(lián)合訓練模式 (c)本文提出的特征級聯(lián)合訓練模式

核心創(chuàng)新：特征級聯(lián)合訓練（FLJT）范式

論文提出的特征級聯(lián)合訓練（FLJT） 徹底打破傳統(tǒng)框架，通過三個維度實現(xiàn)突破：

1. 統(tǒng)一網絡架構 ：將配準與融合模塊深度整合，共享特征提取結構，避免冗余計算

2. 分層語義交互 ：在多尺度特征層面實現(xiàn)配準與融合的雙向反饋，跨層傳遞語義信息

3. 動態(tài)協(xié)同學習 ：通過對稱結構設計，使配準精度提升與融合質量優(yōu)化形成正向循環(huán)

AU-Net的整體架構如圖2所示，采用對稱設計實現(xiàn)雙向處理流程：
圖2：AU-Net整體框架圖，包含四大核心模塊

1. 共享特征提取模塊

基于倒置金字塔結構設計（圖3），通過四個子模塊層實現(xiàn)多尺度特征提?。?img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F1108%2Fda819f92j00t5eqyk004nd200ta00dxg00ta00dx.jpg&thumbnail=660x2147483647&quality=80&type=jpg"/>
圖3：共享特征提取模塊的層級結構

• layer-0：采用權重不共享設計，提取全尺度模態(tài)自適應特征

• layer-1至layer-3：權重共享的下采樣子模塊，生成1/2、1/4、1/8尺度特征

• 創(chuàng)新點：通過單次特征提取同時服務于配準和融合任務，大幅提升效率

采用多尺度特征級配準策略，通過三個子配準單元實現(xiàn)分層優(yōu)化（圖4）：
圖4：單個子配準模塊的工作流程

• 核心機制：先通過上一層變形場進行粗配準，再計算局部相關體積實現(xiàn)精細調整

• 優(yōu)勢：相比傳統(tǒng)像素級配準，特征級配準更魯棒，能捕捉語義層面的對應關系

• 處理流程：從最粗尺度（1/8）到全尺度（1x）逐步優(yōu)化變形場，實現(xiàn)漸進式對齊

創(chuàng)新設計多模態(tài)尺度感知動態(tài)卷積（MSDConv），實現(xiàn)自適應特征融合（圖5、6）：圖5：子融合模塊的特征聚合流程

圖6：多模態(tài)尺度感知動態(tài)卷積的注意力機制

• 動態(tài)卷積特性：根據輸入特征動態(tài)調整卷積核權重，實現(xiàn)模態(tài)和尺度雙維度自適應

• 注意力機制：通過四個維度（空間、輸入通道、輸出通道、內核數量）的注意力標量優(yōu)化特征聚合

• 融合策略：采用逐元素最大操作實現(xiàn)多尺度特征的漸進式融合

基于去噪擴散概率模型（DDPMs）實現(xiàn)雙向跨模態(tài)轉換（圖7）：
圖7：基于DDPMs的圖像轉換流程

• 雙向轉換：同時支持紅外→可見光和可見光→紅外轉換，提供額外監(jiān)督信號

• 創(chuàng)新設計：采用"緩存方案"規(guī)避DDPMs迭代計算的高開銷，訓練時緩存轉換結果，推理時移除轉換模塊

• 核心價值：減少模態(tài)分布差距，使單模態(tài)評估指標可用于跨模態(tài)配準訓練

在NirScene和RoadScene數據集上的定性結果（圖8）顯示：
圖8：不同方法的配準結果對比（紅色/黃色框為關鍵區(qū)域）

AU-Net在復雜場景中表現(xiàn)出更優(yōu)的對齊精度，尤其在局部細節(jié)區(qū)域（如行人頭部、建筑物邊緣）有效避免了偽影和不自然變形。定量評估中，在MSE、MAE、NCC等五項指標中均排名第一，充分驗證了特征級聯(lián)合訓練的優(yōu)勢。

融合性能評估

聯(lián)合配準與融合的定性結果（圖9）表明：
圖9：不同方法的融合結果對比

AU-Net生成的融合圖像具有三個顯著優(yōu)勢：

1. 完全消除視差導致的重疊偽影

2. 更好保留多模態(tài)圖像的互補信息（如天空對比度、細節(jié)紋理）

3. 有效抑制對齊區(qū)域的不自然變形

定量評估中，AU-Net在空間頻率（SF）、平均梯度（AG）等七項指標中表現(xiàn)卓越，尤其在未訓練的RoadScene數據集上仍保持優(yōu)異性能，證明了模型的強泛化能力。

總結與展望

AU-Net通過特征級聯(lián)合訓練范式，實現(xiàn)了多模態(tài)圖像配準與融合的深度統(tǒng)一，其創(chuàng)新點可概括為：

• 首次提出FLJT范式，打破傳統(tǒng)級聯(lián)模式的局限

• 動態(tài)融合模塊實現(xiàn)跨模態(tài)、跨尺度的自適應特征聚合

• 雙向擴散轉換機制有效縮小模態(tài)差距，提供額外監(jiān)督

這項研究不僅為多模態(tài)圖像處理提供了新范式，其特征共享和動態(tài)適應的設計思想，也為其他聯(lián)合任務（如分割與檢測、重建與增強）提供了重要借鑒。未來，隨著模態(tài)種類的增加和應用場景的拓展，AU-Net的設計理念有望在更廣泛的計算機視覺任務中發(fā)揮價值。