[首發(fā)于智駕最前沿微信公眾號]為確保自動駕駛安全，很多技術(shù)方案中都會采用感知冗余的方式來兜底，即在車輛上加裝多個傳感器，以實現(xiàn)更多的信息感知。其實對于自動駕駛汽車來說，每個傳感器都有自身的優(yōu)勢和劣勢，所能應(yīng)對的交通場景也不一樣。

攝像頭看得清楚，能分辨顏色、識別交通標志和車道線，但遇到夜晚強逆光、霧霾或暴雨就容易丟失信息。毫米波雷達在雨雪或塵霧里還能給出速度和距離信息，但對物體形狀的分辨率比較差，不能很好判斷行人的姿態(tài)。激光雷達（LiDAR）能把周圍做成三維點云，距離很精確，對遮擋關(guān)系判斷也有優(yōu)勢，可是成本、封裝和在某些極端天氣下的表現(xiàn)也有局限。IMU、GPS這類慣性/定位設(shè)備給出姿態(tài)和位置基準，但在城市峽谷或隧道里會漂移。

圖片源自：網(wǎng)絡(luò)

將這些傳感器放在一起，的確能夠互補各自的短板。但也正因為多個傳感器同時使用，會導致感知信息相互沖突，再加上不同傳感器的時間戳、安裝姿態(tài)、采樣頻率不完全一致，這些細微差異累積起來，就會放大沖突本身。如果沒有一套穩(wěn)健的對齊、過濾和置信度機制，這些矛盾會持續(xù)干擾跟蹤和識別，讓系統(tǒng)在關(guān)鍵場景里變得猶豫甚至判斷失準。

多個傳感器同時使用的復雜性在哪里？

把多種傳感器放一起會帶來很多細枝末節(jié)的麻煩，加一個傳感器，不只是多臺設(shè)備那么簡單。它們的差異化特性會在工程、算法和驗證上不斷疊加出新的問題，會使得感知任務(wù)變得更為復雜。

想讓多個傳感器感知的信息可以同步，需要將不同傳感器定位到同一個坐標系里，這里的精度要求非常高。哪怕傳感器位置偏幾毫米、姿態(tài)偏幾度，融合后的結(jié)果就可能把障礙物投錯地方，影響跟蹤和決策。車輛行駛中會震動、溫度變化會引起熱脹冷縮，車體件長期使用后也會微微變形，這些都會讓外參逐步漂移。所以需要在裝配線上做高精度初始標定，還要有在線自標定或定期復標的機制。沒有穩(wěn)定的外參，任何融合算法都很難發(fā)揮作用。

不同傳感器的采樣率、處理延遲、傳輸鏈路也不一樣。如果不把它們在時間上糾正，移動物體在不同數(shù)據(jù)源里對應(yīng)的是不同時間的狀態(tài)，結(jié)合起來的世界模型就會有位移和速度上的錯配。為解決這一問題，在硬件層面可以使用統(tǒng)一時鐘（比如GPS的PPS脈沖、IEEE 1588 PTP）的方式，在軟件層面可以使用插值和時間補償?shù)姆椒�，但這些方案在工程上都要落地調(diào)試，否則在真實路況下就容易出問題。

傳感器數(shù)據(jù)類型本身就是異構(gòu)的麻煩來源，圖像是二維柵格的像素，點云是稀疏的三維坐標，雷達回波有強度和多普勒信息，慣性計會輸出高頻連續(xù)信號。它們的噪聲模型不同，可信度不同，處理方式也不同。在帶寬與計算資源受限的情況下，需要在傳感器端做預處理、壓縮或裁剪，才能把“有用”的東西送到中央計算單元。高分辨率相機和高線數(shù)LiDAR一起，會把車載以太網(wǎng)和處理器推到瓶頸，這就涉及到硬件選型、網(wǎng)絡(luò)架構(gòu)與邊緣計算能力的綜合平衡。

圖片源自：網(wǎng)絡(luò)

多個傳感器同時使用，避免不了要進行傳感器融合，傳感器融合可以發(fā)生在不同層級，如把原始數(shù)據(jù)統(tǒng)一到某種表現(xiàn)形式后一起處理、把各自的特征融合，或者僅在決策層合并單獨感知結(jié)果，每種方式對同步、標定和計算的敏感度都不同。現(xiàn)在有很多技術(shù)使用基于深度學習的跨模態(tài)融合網(wǎng)絡(luò)，這些網(wǎng)絡(luò)需要大量對齊標注的數(shù)據(jù)來訓練，還要有對不確定性的建模和置信度輸出，否則當某個傳感器異常時，系統(tǒng)不能安全降級或會作出錯誤判斷。

當使用當傳感器越多，系統(tǒng)架構(gòu)和功能安全也會變得更復雜。感知模塊、域控制器、中央域控制器之間如何劃分計算負載，哪些路徑要走硬實時（系統(tǒng)某一條處理鏈路必須在規(guī)定時間內(nèi)完成，哪怕只晚了幾十毫秒，都被視為失敗，因為可能帶來安全風險。），哪些可以異步處理，都需要在設(shè)計階段定好方案。使用更多的傳感器，也意味著可能出現(xiàn)更多的故障模式，像是傳感器物理損壞、遮擋、數(shù)據(jù)鏈路中斷、時間戳漂移、外參錯位等，都是常見的故障模式。功能安全規(guī)范要求針對不同故障模式做診斷、降級和冗余策略證明，這會把驗證工作量拉得很大。

傳感器使用越多，驗證成本也會呈指數(shù)級增長。要覆蓋不同氣象、光照、交通密度、遮擋、傳感器部分失效等組合，單靠實際道路測試會太慢太貴。仿真做得再真實也要和實測結(jié)合，否則容易漏掉邊界條件。此時，標注復雜度也上來了，標注點云和圖像的對應(yīng)關(guān)系比單一模態(tài)困難得多，成本高且更加耗時。

傳感器的供應(yīng)鏈不會是唯一的，由于不同廠家的傳感器有不同的接口、不同的固件升級路徑、不同的壽命與質(zhì)保策略。售后維護想要做到快速診斷和替換、支持遠程日志采集與升級，運營成本也會隨之上升。這些都會影響整車成本、重量、能耗和外觀設(shè)計。

多傳感器融合時需要做哪些工作？

知道多個傳感器同時使用會遇到的問題，那如何去解決這些問題？如何更好地利用感知冗余？

其實多個傳感器同時使用是，要先確定好時間與空間基準。時間同步推薦用硬件級時間源去標注幀，軟層層面用插值和延遲補償作為兜底。空間標定可以在生產(chǎn)線上做精細標定，再用在線自標定算法在運行時微調(diào)。自標定可基于靜態(tài)場景特征、車道線或多模態(tài)匹配來估計外參漂移，這是把“人工復標”變成“自動維護”的有效辦法。

把部分計算放在傳感器域或邊緣節(jié)點，不僅能降低總線負載，也能盡早做健康檢查。很多系統(tǒng)在傳感器近端先做濾波、背景建模、特征抽取或置信度評估，然后只把必要信息傳給中央單元。這樣可以把傳感器級別的固件更新、診斷日志和基本退化邏輯內(nèi)置在本域，有助于快速判定問題來源。

為確保感知安全，不確定性建模要貫穿整個感知到?jīng)Q策鏈路。融合模塊應(yīng)始終以概率或置信度的方式表達信息，讓后續(xù)跟蹤和決策模塊能基于不確定性來選擇更保守或更激進的動作。對此常見的手段有卡爾曼濾波類的貝葉斯方法、帶不確定性輸出的神經(jīng)網(wǎng)絡(luò)或多假設(shè)跟蹤等。只有把不確定性量化，系統(tǒng)在遇到極端場景時才能優(yōu)雅降級，而不是盲目做出危險決策。

圖片源自：網(wǎng)絡(luò)

為確保感知融合的準確性，分層融合是比較務(wù)實的選擇。把傳感器專屬的前端做成各自優(yōu)化的模塊，保證在擅長的維度上輸出較好結(jié)果，然后在特征或決策層再做跨模態(tài)融合，這樣不僅能保留模塊化的可驗證性，也能利用互補信息提升精度。模塊化還有一個好處，那就是當某個傳感器故障時，系統(tǒng)能迅速切換到已有的退化路徑。

想要把測試和仿真做成閉環(huán)，可采用高保真仿。高保真仿真能覆蓋很多極端條件、退化場景和時間同步異常，這對于在早期發(fā)現(xiàn)設(shè)計缺陷非常有幫助。仿真中要把各傳感器的噪聲模型和失效模式模擬出來，然后把測試結(jié)果回填到算法和硬件要求里。當然，實車測試依然必不可少，但應(yīng)有策略性地挑選關(guān)鍵場景與邊界條件去驗證。自動化測試、持續(xù)集成和場景回放則是把驗證成本控制住的主要工具。

當多個傳感器融合出現(xiàn)問題后，退化策略與故障診斷不能只靠事后補救。自動駕駛系統(tǒng)要能在線評估傳感器健康并自動執(zhí)行安全降級和冗余切換。降級的目標是讓車輛在可控的范圍內(nèi)繼續(xù)運行或安全�？�，而不是完全停止功能。實現(xiàn)這點需要預先設(shè)計好在不同傳感器丟失情況下的控制律和限速規(guī)則，并把這些邏輯放進安全案例里接受審查。

什么時候才需要多傳感器融合？

很多人以為自動駕駛傳感器越多就越好，但并不是所有技術(shù)方案中都必須用多個傳感器。產(chǎn)品定位、目標場景和成本預算決定了感知層的取舍。對于只在限定場景運行的低速無人車、封閉園區(qū)或有密集路側(cè)基礎(chǔ)設(shè)施支持的系統(tǒng)，只用高分辨率攝像頭與高精地圖的搭配就能滿足需求，系統(tǒng)實現(xiàn)會簡單不少，維護和驗證成本也會更低。但對于面向城市復雜交通、高速長途和夜間惡劣天氣的高級別自動駕駛，單一模態(tài)通常無法兼顧魯棒性和冗余，這時多模態(tài)的使用會更有意義，也更符合監(jiān)管和安全的期望。

對于不同定位的產(chǎn)品，所需使用的傳感器要求也不一樣。入門版本可減少硬件，以降低總成本；而旗艦或面向更高自動化能力的版本可使用更完善的傳感器組合。如果軟件能力夠強，也可以使用更少的硬件，以把整體成本壓下來。

圖片源自：網(wǎng)絡(luò)

當然，決策不能只是看傳感器硬件的價格。還要把集成復雜度、軟件研發(fā)成本、驗證與合規(guī)成本、售后運維費用都算進去。有時候多一臺昂貴傳感器能大幅降低算法和驗證難度，從總成本看是劃算的；有時候硬件替代方案在長期運營里更有優(yōu)勢。把這些因素量化、做場景驅(qū)動的ROI分析，是決定是否要上多傳感器的考量因素。

最后的話

多傳感器之所以在自動駕駛里越來越常見，是因為它們能把彼此的優(yōu)缺點補起來，讓車輛在夜間、雨雪、逆光、遮擋這些單一傳感器最容易掉鏈子的場景里依然保持穩(wěn)定性和可靠性；但這種互補帶來的代價，就是系統(tǒng)從硬件安裝、時間同步、外參標定，到數(shù)據(jù)融合、實時性保障、故障診斷、驗證流程等都變得更復雜，因此要付出更多的時間和成本才能把這些優(yōu)勢真正落地。