在自動(dòng)駕駛的感知世界中，激光雷達(dá)能在黑夜中＂看清＂物體幾何形狀，而相機(jī)則擅長(zhǎng)捕捉豐富的色彩與紋理。然而，這兩種＂眼睛＂說(shuō)著不同的＂語(yǔ)言＂—激光雷達(dá)提供點(diǎn)云，相機(jī)呈現(xiàn)圖像。如何讓它們無(wú)縫溝通，成為感知系統(tǒng)的關(guān)鍵難題。傳統(tǒng)方法嘗試強(qiáng)行將兩種數(shù)據(jù)轉(zhuǎn)換到同一空間，卻因深度估計(jì)錯(cuò)誤和投影變形而受限。ObjectFusion技術(shù)另辟蹊徑，它放棄了繁瑣的空間轉(zhuǎn)換，轉(zhuǎn)而在對(duì)象層面上構(gòu)建了一座無(wú)需翻譯的橋梁。這種巧妙的融合方式，讓自動(dòng)駕駛汽車的＂眼睛＂更加清晰，也讓感知世界的奧秘變得觸手可及。

感知雙眼困境

自動(dòng)駕駛汽車需要清晰地＂看見＂周圍環(huán)境才能安全行駛。在這個(gè)過程中，激光雷達(dá)和相機(jī)成為自動(dòng)駕駛系統(tǒng)的兩只＂眼睛＂，它們各自發(fā)揮不同作用，也各有局限。激光雷達(dá)通過發(fā)射光脈沖來(lái)觀察環(huán)境，產(chǎn)生保留準(zhǔn)確幾何信息的點(diǎn)云數(shù)據(jù)，不受光照條件影響。相機(jī)則拍攝RGB圖像，從不同角度捕捉物體豐富的紋理和語(yǔ)義信息，但在光線不足時(shí)表現(xiàn)欠佳。

這兩種傳感器提供的數(shù)據(jù)性質(zhì)截然不同。激光雷達(dá)生成的是三維空間中的稀疏點(diǎn)集，而相機(jī)產(chǎn)生的是二維平面上的像素矩陣。要讓計(jì)算機(jī)同時(shí)理解這兩種數(shù)據(jù)并不容易，就像讓一個(gè)人同時(shí)聽懂兩種完全不同的語(yǔ)言一樣困難。

目前業(yè)界主要采用兩種方法來(lái)融合這些多模態(tài)數(shù)據(jù)。第一種是基于點(diǎn)的融合策略，如PointPainting和PointAugmenting。這類方法首先通過校準(zhǔn)矩陣建立3D點(diǎn)和圖像像素之間的對(duì)應(yīng)關(guān)系。隨后，將圖像投影到原始點(diǎn)空間，用相應(yīng)的圖像特征或語(yǔ)義分?jǐn)?shù)增強(qiáng)點(diǎn)。增強(qiáng)后的點(diǎn)進(jìn)一步轉(zhuǎn)換為鳥瞰圖特征，用于3D檢測(cè)。

但這種基于點(diǎn)的融合只將點(diǎn)與圖像的一小部分關(guān)聯(lián)起來(lái)，未能充分利用圖像中豐富的語(yǔ)義信息。在nuScenes驗(yàn)證集上，PointPainting達(dá)到了65.8%的平均精度（mAP），雖然比單一模態(tài)方法有所提升，但仍有很大改進(jìn)空間。

第二種是基于鳥瞰圖（BEV）的融合方法，如TransFusion和BEVFusion。這類方法通過相機(jī)到BEV和激光雷達(dá)到BEV的轉(zhuǎn)換，將圖像和點(diǎn)云都投影到共享的BEV空間，形成增強(qiáng)的BEV特征進(jìn)行目標(biāo)檢測(cè)。

盡管這些方法在性能上有所突破，BEVFusion在nuScenes驗(yàn)證集上達(dá)到了68.5%的mAP，但它們嚴(yán)重依賴現(xiàn)成的深度估計(jì)器（如LSS）來(lái)估計(jì)每個(gè)圖像像素的深度，以實(shí)現(xiàn)相機(jī)到BEV的轉(zhuǎn)換。這個(gè)估計(jì)過程不但復(fù)雜，而且容易出錯(cuò)。任何不準(zhǔn)確的深度估計(jì)都會(huì)導(dǎo)致共享BEV空間中圖像像素和點(diǎn)之間的空間錯(cuò)位，進(jìn)而影響目標(biāo)檢測(cè)效果。

另一個(gè)問題是投影變形。圖像和BEV特征反映了兩種不同的數(shù)據(jù)特性：圖像是從不同視角捕獲的，而BEV特征是沿高度維度進(jìn)行的自上而下聚合。因此，將圖像特征直接投影到BEV空間不可避免地會(huì)導(dǎo)致投影變形，破壞圖像內(nèi)原有的語(yǔ)義結(jié)構(gòu)。

在實(shí)際應(yīng)用中，這些問題會(huì)導(dǎo)致檢測(cè)結(jié)果的不穩(wěn)定。例如，在夜間場(chǎng)景下，BEV融合的mAP為42.8%，比ObjectFusion低3.2%，因?yàn)樵诠饩€不足的情況下，深度估計(jì)更加困難。

同樣，對(duì)于遠(yuǎn)距離（>；30米）的物體，傳統(tǒng)方法的檢測(cè)精度顯著下降。TransFusion-L的mAP從近距離物體的77.5%下降到遠(yuǎn)距離物體的34.8%。BEVFusion通過整合激光雷達(dá)點(diǎn)云特征與相機(jī)圖像特征，將這一差距縮小到39.4%，但仍有明顯的性能下降。

這些挑戰(zhàn)促使研究人員思考：是否可以在不需要復(fù)雜的跨模態(tài)轉(zhuǎn)換的情況下，實(shí)現(xiàn)多模態(tài)融合？

對(duì)象中心融合

面對(duì)這些挑戰(zhàn)，ObjectFusion開創(chuàng)了一種新的融合范式，徹底改變了多模態(tài)3D目標(biāo)檢測(cè)的思路。與其強(qiáng)行將不同模態(tài)的數(shù)據(jù)轉(zhuǎn)換到同一空間，ObjectFusion選擇在每種模態(tài)中引入以對(duì)象為中心的表示，并根據(jù)物體的2D/3D邊界框空間對(duì)齊這些表示。

ObjectFusion的核心理念是在物體層面上統(tǒng)一不同模態(tài)的表示，而不是在特征層面上強(qiáng)行融合。這樣一來(lái)，就避免了在融合過程中進(jìn)行跨模態(tài)轉(zhuǎn)換，從而解決了空間錯(cuò)位和投影變形的問題。

具體來(lái)說(shuō)，ObjectFusion首先從點(diǎn)云和圖像中生成三種特定模態(tài)的特征圖：體素特征、鳥瞰圖特征和圖像特征。點(diǎn)云通過體素編碼器轉(zhuǎn)換為規(guī)則的體素表示，每個(gè)體素都伴隨一個(gè)特征向量。這些體素特征再沿Z軸壓縮，轉(zhuǎn)換為二維特征圖，通過2D卷積網(wǎng)絡(luò)提取鳥瞰圖特征。同時(shí)，圖像通過Swin Transformer和FPN處理，生成圖像特征圖。

與傳統(tǒng)方法不同，ObjectFusion不會(huì)嘗試將圖像特征轉(zhuǎn)換到鳥瞰圖空間。相反，它利用熱圖基礎(chǔ)的提議生成器，基于鳥瞰圖特征生成一組3D物體提議。這個(gè)生成器首先預(yù)測(cè)一個(gè)類別特定的物體存在概率圖，然后選擇具有最高物體存在概率分?jǐn)?shù)的位置作為初始3D物體查詢。為了消除聚集在同一物體的冗余提議，在選擇位置時(shí)使用峰值查找算法找到每個(gè)物體存在概率圖位置的局部最大值。

這些3D提議隨后被投影回體素、鳥瞰圖和圖像空間，以在不同空間中對(duì)齊以對(duì)象為中心的特征。對(duì)于每個(gè)提議，通過體素池化或RoI Align在各自空間中提取對(duì)象特征。這樣，來(lái)自三種模態(tài)的特征可以在對(duì)象層面上輕松對(duì)齊，無(wú)需復(fù)雜的跨模態(tài)轉(zhuǎn)換。

在體素空間中，ObjectFusion利用體素池化從體素特征中提取以對(duì)象為中心的特征。具體來(lái)說(shuō)，體素池化將3D邊界框分為GGG個(gè)等間距的子體素，每個(gè)子體素的中心點(diǎn)被視為網(wǎng)格點(diǎn)。然后，對(duì)于每個(gè)網(wǎng)格點(diǎn)，在預(yù)定義半徑內(nèi)尋找附近的體素，并將相應(yīng)的體素特征整合到網(wǎng)格點(diǎn)中。所有網(wǎng)格點(diǎn)的特征最終連接起來(lái)，形成以對(duì)象為中心的體素特征。

在鳥瞰圖空間中，由于鳥瞰圖特征是2D特征圖，ObjectFusion借鑒2D RoI池化思想，采用RoIAlign提取以對(duì)象為中心的特征。技術(shù)上，3D邊界框的八個(gè)角首先投影到鳥瞰圖空間，忽略高度維度。然后找到一個(gè)能覆蓋所有八個(gè)角的最小軸對(duì)齊邊界框，作為3D邊界框的投影。RoIAlign將這個(gè)投影分為rr個(gè)等間距子區(qū)域，利用雙線性插值從鳥瞰圖特征中聚合相關(guān)特征到每個(gè)子區(qū)域。

在圖像空間中，ObjectFusion將3D提議投影到相機(jī)圖像平面，獲取2D邊界框。考慮到多個(gè)相機(jī)視角，需要決定使用哪個(gè)相機(jī)提取以對(duì)象為中心的特征。如果投影的角落都在所有相機(jī)視野之外，就放棄該物體的圖像特征。否則，選擇覆蓋最多投影角的圖像提取特征。

考慮到3D和2D空間之間的投影并非完美，傳感器可能存在錯(cuò)位，ObjectFusion采用一個(gè)簡(jiǎn)單而有效的RoI放大操作來(lái)緩解這種校準(zhǔn)誤差。這一操作將圖像平面上投影的2D邊界框的尺寸翻倍，確保即使3D和2D空間不完全對(duì)齊，從圖像中提取的物體特征仍能包含感興趣的物體。

通過這種以對(duì)象為中心的表示方法，ObjectFusion成功地將三種不同模態(tài)的特征在物體層面上對(duì)齊，而無(wú)需復(fù)雜的跨模態(tài)轉(zhuǎn)換。實(shí)驗(yàn)表明，這種方法在nuScenes驗(yàn)證集上實(shí)現(xiàn)了69.8%的mAP，比BEVFusion高出1.3%。尤其在夜間場(chǎng)景和遠(yuǎn)距離物體檢測(cè)方面，ObjectFusion表現(xiàn)出更高的魯棒性，這證明了該方法的有效性。

系統(tǒng)精巧搭建

ObjectFusion系統(tǒng)的架構(gòu)設(shè)計(jì)堪稱精巧，就像一個(gè)精密的機(jī)械鐘表，每個(gè)齒輪都有其獨(dú)特的位置和功能。整個(gè)系統(tǒng)主要由三大組件構(gòu)成：模態(tài)特定編碼器、對(duì)象中心融合模塊和檢測(cè)頭。這種設(shè)計(jì)讓系統(tǒng)能夠從激光雷達(dá)點(diǎn)云和相機(jī)圖像中提取豐富信息，并在對(duì)象級(jí)別上進(jìn)行有效融合。

模態(tài)特定編碼器是系統(tǒng)的第一道關(guān)卡，負(fù)責(zé)從不同來(lái)源的原始數(shù)據(jù)中提取初級(jí)特征。對(duì)于點(diǎn)云數(shù)據(jù)，系統(tǒng)采用了流行的VoxelNet技術(shù)將不規(guī)則的點(diǎn)轉(zhuǎn)換為網(wǎng)格體素，每個(gè)體素都配有一個(gè)特征向量。隨后，3D骨干網(wǎng)絡(luò)堆疊多個(gè)稀疏卷積層，提取體素特征。這些體素特征再沿Z軸壓縮，通過2D卷積網(wǎng)絡(luò)提取鳥瞰圖特征。而對(duì)于圖像數(shù)據(jù)，系統(tǒng)使用Swin Transformer作為2D骨干網(wǎng)絡(luò)提取多尺度圖像特征圖，并通過FPN將多尺度特征圖融合為單一尺度特征圖。

在實(shí)際實(shí)現(xiàn)中，體素大小設(shè)為[0.075m， 0.075m， 0.1m]，點(diǎn)云范圍為[-54m， -54m， -3m， 54m， 54m， 5m]。圖像輸入分辨率調(diào)整并裁剪為256704。這些精確的參數(shù)設(shè)置保證了系統(tǒng)能夠處理足夠大的空間范圍，同時(shí)保持合理的計(jì)算復(fù)雜度。

對(duì)象中心融合模塊是系統(tǒng)的核心創(chuàng)新部分。它不同于傳統(tǒng)的融合方法，避開了復(fù)雜的跨模態(tài)轉(zhuǎn)換，直接在對(duì)象級(jí)別上實(shí)現(xiàn)特征對(duì)齊和融合。這個(gè)模塊首先生成3D對(duì)象提議，然后將這些提議投影回體素、鳥瞰圖和圖像空間，通過體素池化或RoI Align提取對(duì)象中心特征。

值得特別注意的是RoI放大操作。傳統(tǒng)方法在將3D對(duì)象投影到2D圖像平面時(shí)常常面臨傳感器校準(zhǔn)誤差問題，導(dǎo)致投影不精確。ObjectFusion通過簡(jiǎn)單地將圖像平面上投影的2D邊界框尺寸翻倍，確保即使存在校準(zhǔn)誤差，從圖像中提取的對(duì)象特征仍能包含目標(biāo)對(duì)象。這個(gè)看似簡(jiǎn)單的技巧實(shí)際上帶來(lái)了顯著的性能提升，在存在高達(dá)1.0米校準(zhǔn)誤差的情況下，mAP僅下降了0.5%，顯示出極強(qiáng)的魯棒性。

模態(tài)特定上下文編碼器是另一個(gè)關(guān)鍵設(shè)計(jì)，它使用單層Transformer編碼器結(jié)構(gòu)，讓同一模態(tài)中的對(duì)象特征能夠相互＂交流＂，從而獲取更豐富的上下文信息。這種設(shè)計(jì)基于一個(gè)重要觀察：同一場(chǎng)景中的不同對(duì)象往往存在某種關(guān)聯(lián)，例如行人通常出現(xiàn)在道路兩側(cè)，而不是馬路中央。通過上下文編碼，系統(tǒng)能夠捕捉這種關(guān)聯(lián)，提高檢測(cè)準(zhǔn)確率。

系統(tǒng)的兩階段融合方案也值得一提。在第一階段，系統(tǒng)通過模態(tài)特定上下文編碼器增強(qiáng)每個(gè)模態(tài)中的對(duì)象特征；在第二階段，針對(duì)每個(gè)對(duì)象提議，系統(tǒng)將三個(gè)模態(tài)中對(duì)應(yīng)的增強(qiáng)對(duì)象特征連接起來(lái)，通過前饋網(wǎng)絡(luò)嵌入，獲得統(tǒng)一的對(duì)象特征。這種兩階段設(shè)計(jì)使系統(tǒng)能夠同時(shí)利用跨對(duì)象和跨模態(tài)的信息。

檢測(cè)頭是系統(tǒng)的最后一個(gè)組件，它采用基于解碼器的檢測(cè)模塊，預(yù)測(cè)對(duì)象類別和3D邊界框。與BEVFusion不同的是，ObjectFusion的檢測(cè)頭只關(guān)注查詢特征，因?yàn)檫@些特征已經(jīng)由多模態(tài)信息增強(qiáng)。這種設(shè)計(jì)簡(jiǎn)化了計(jì)算過程，同時(shí)保持了檢測(cè)性能。

在訓(xùn)練策略上，ObjectFusion采用了兩階段訓(xùn)練方法。第一階段只訓(xùn)練激光雷達(dá)分支20個(gè)周期，第二階段用預(yù)訓(xùn)練的激光雷達(dá)分支權(quán)重初始化整個(gè)多模態(tài)融合模型，繼續(xù)訓(xùn)練6個(gè)周期。這種策略不僅加速了收斂過程，還提高了最終模型的性能。

系統(tǒng)在PyTorch框架上實(shí)現(xiàn)，基于開源的MMdetection3D和BEVFusion代碼庫(kù)。訓(xùn)練時(shí)使用隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)平移和隨機(jī)縮放等數(shù)據(jù)增強(qiáng)技術(shù)，并使用CBGS重采樣訓(xùn)練數(shù)據(jù)，同時(shí)在前15個(gè)周期中添加復(fù)制粘貼數(shù)據(jù)增強(qiáng)以減少過擬合。在訓(xùn)練第二階段時(shí)，還額外使用隨機(jī)旋轉(zhuǎn)和隨機(jī)調(diào)整大小來(lái)增強(qiáng)圖像。所有訓(xùn)練都在四臺(tái)NVIDIA V100 16G GPU上進(jìn)行，批量大小分別為第一階段16，第二階段8。

性能全面領(lǐng)先

ObjectFusion系統(tǒng)在多項(xiàng)嚴(yán)格測(cè)試中展現(xiàn)出令人印象深刻的性能，在各種條件下都表現(xiàn)出顯著的優(yōu)勢(shì)。最直接的證據(jù)來(lái)自nuScenes數(shù)據(jù)集上的測(cè)試結(jié)果：ObjectFusion在驗(yàn)證集上達(dá)到了69.8%的mAP和72.3%的NDS，在測(cè)試集上達(dá)到了71.0%的mAP和73.3%的NDS，全面超越了所有已發(fā)表的多模態(tài)融合技術(shù)。

與單模態(tài)方法相比，ObjectFusion展現(xiàn)出明顯優(yōu)勢(shì)。例如，與僅使用激光雷達(dá)的TransFusion-L（65.1% mAP）相比，ObjectFusion提高了4.7%的性能。這一巨大提升充分說(shuō)明了多模態(tài)融合的價(jià)值，即利用不同傳感器之間的互補(bǔ)信息。

與其他多模態(tài)融合方法相比，ObjectFusion也具有顯著優(yōu)勢(shì)。它比基于點(diǎn)的融合方法PointPainting（65.8% mAP）高出4.0%，比基于鳥瞰圖的融合方法TransFusion（67.3% mAP）和BEVFusion（68.5% mAP）分別高出2.5%和1.3%。這些差距在某些特定類別上更為明顯，例如在摩托車類別上，ObjectFusion達(dá)到79.4%的AP，比TransFusion高出4.0%。

在不同光照和天氣條件下的表現(xiàn)尤為突出。傳統(tǒng)上，這些變化是自動(dòng)駕駛系統(tǒng)的一大挑戰(zhàn)。例如，僅使用激光雷達(dá)的CenterPoint在陽(yáng)光和雨天場(chǎng)景下分別達(dá)到62.9%和59.2%的mAP，而在夜間場(chǎng)景下則銳減至35.4%。僅使用相機(jī)的BEVDet在夜間場(chǎng)景下更是只有13.5%的mAP。相比之下，ObjectFusion在陽(yáng)光、雨天和夜間場(chǎng)景下分別達(dá)到了69.8%、70.1%和46.0%的mAP，表現(xiàn)出極高的魯棒性。特別是在夜間場(chǎng)景中，ObjectFusion比BEVFusion高出3.2%，這是因?yàn)樵诠饩€不足的情況下，深度估計(jì)更加困難，而ObjectFusion避開了對(duì)深度估計(jì)的依賴。

在不同距離和物體大小的測(cè)試中，ObjectFusion同樣表現(xiàn)出色。隨著物體距離增加，檢測(cè)難度也隨之增加。例如，TransFusion-L在近距離（0-20米）物體上達(dá)到77.5%的mAP，而在遠(yuǎn)距離（>；30米）物體上則降至34.8%。BEVFusion通過整合激光雷達(dá)點(diǎn)云特征與相機(jī)圖像特征，將遠(yuǎn)距離物體的mAP提高到40.0%。ObjectFusion進(jìn)一步將這一數(shù)值提高到41.6%，展示了其在遠(yuǎn)距離物體檢測(cè)上的優(yōu)勢(shì)。類似地，對(duì)于小型物體，ObjectFusion達(dá)到53.0%的mAP，比TransFusion-L高出8.3%，比BEVFusion高出2.7%。

除了目標(biāo)檢測(cè)外，ObjectFusion在3D多目標(biāo)跟蹤任務(wù)上也表現(xiàn)出色。在nuScenes跟蹤基準(zhǔn)測(cè)試中，采用與TransFusion相同的跟蹤算法（通過貪婪方式連接連續(xù)幀之間的物體），ObjectFusion在單一模型無(wú)測(cè)試時(shí)增強(qiáng)和模型集成的情況下，在AMOTA指標(biāo)上達(dá)到74.2%，比TransFusion高2.4%，比BEVFusion高1.4%。這證明了ObjectFusion的通用性，不僅適用于目標(biāo)檢測(cè)，也適用于多目標(biāo)跟蹤。

對(duì)系統(tǒng)組件的消融研究進(jìn)一步揭示了ObjectFusion設(shè)計(jì)的有效性。例如，當(dāng)僅使用來(lái)自BEV、體素或圖像空間的對(duì)象中心特征時(shí)，系統(tǒng)分別達(dá)到68.8%、69.1%和69.3%的mAP。集成所有三種特征則將性能提高到69.8%，證明了這三種模態(tài)的互補(bǔ)性。類似地，模態(tài)特定上下文編碼器的使用將系統(tǒng)性能從69.3%提高到69.8%，驗(yàn)證了利用對(duì)象間交互來(lái)增強(qiáng)對(duì)象中心特征的價(jià)值。

在計(jì)算效率方面，ObjectFusion在NVIDIA V100 GPU上的推理時(shí)間為每個(gè)樣本274毫秒，僅比BEVFusion（257毫秒）慢一點(diǎn)點(diǎn)?？紤]到ObjectFusion帶來(lái)的性能提升，這種微小的計(jì)算開銷是完全可以接受的。而且，目前的實(shí)現(xiàn)中對(duì)象中心特征是順序提取的，未來(lái)可以通過并行化這一過程來(lái)加速推理。

ObjectFusion還展示了在其他數(shù)據(jù)集上的泛化能力。在Waymo開放數(shù)據(jù)集上，ObjectFusion達(dá)到66.3%的L2 mAPH，比TransFusion高0.8%?？紤]到Waymo數(shù)據(jù)集中的點(diǎn)云明顯比nuScenes密集，僅通過激光雷達(dá)解決方案就能獲得更準(zhǔn)確的檢測(cè)，多模態(tài)融合帶來(lái)的改進(jìn)相對(duì)較小，ObjectFusion仍然取得了不錯(cuò)的性能提升。

結(jié)合所有這些測(cè)試結(jié)果，ObjectFusion不僅在總體性能上領(lǐng)先，還在各種挑戰(zhàn)條件下都保持了穩(wěn)定的優(yōu)勢(shì)，充分證明了其作為多模態(tài)3D目標(biāo)檢測(cè)新范式的價(jià)值。

參考資料

1. Qi Cai， Yingwei Pan， Ting Yao， Chong-Wah Ngo and Tao Mei. ＂ObjectFusion: Multi-modal 3D Object Detection with Object-Centric Fusion.＂ ICCV 2023.

2. Liu， H.， Tang， Y.， and Lin， Q. ＂BEVFusion: Multi-Modal 3D Object Detection via Bird＇s-Eye View Fusion.＂

3. Vora， S.， Lang， A.H.， Helou， B. et al. ＂PointPainting: Sequential Fusion for 3D Object Detection.＂

4. Caesar， H.， Bankiti， V.， Lang， A.H. et al. ＂nuScenes: A multimodal dataset for autonomous driving.＂