作者 | Avraam Tolmidis

譯者 | 平川

簡(jiǎn) 介

人們?cè)谟懻撟詣?dòng)駕駛系統(tǒng)時(shí)，往往聚焦于其 AI 能力或高層次的倫理問(wèn)題。然而，對(duì)于構(gòu)建這些系統(tǒng)的軟件架構(gòu)師和工程師而言，現(xiàn)實(shí)卻是與延遲、帶寬及計(jì)算資源限制的博弈。本文深入探討了自動(dòng)駕駛（AV）技術(shù)棧的端到端技術(shù)架構(gòu)，闡釋了從上下文感知傳感器融合到模型預(yù)測(cè)控制（MPC）求解器等優(yōu)化技術(shù)，如何在毫秒級(jí)時(shí)限內(nèi)將數(shù)千兆字節(jié)的原始傳感器數(shù)據(jù)轉(zhuǎn)化為安全的控制指令。

端到端架構(gòu)：
從傳感器到執(zhí)行器

乍一看，自動(dòng)駕駛系統(tǒng)顯得極其復(fù)雜。這些系統(tǒng)并非簡(jiǎn)單的線性流程，而是由感知、預(yù)測(cè)、規(guī)劃和控制組成的遞歸式實(shí)時(shí)循環(huán)。

要了解需要進(jìn)行優(yōu)化的環(huán)節(jié)，首先得分析下數(shù)據(jù)流。本質(zhì)上，生產(chǎn)級(jí)自動(dòng)駕駛技術(shù)棧是一個(gè)由發(fā)布 / 訂閱組件構(gòu)成的分布式數(shù)據(jù)流圖（實(shí)際應(yīng)用中通常因反饋和重新規(guī)劃而呈現(xiàn)循環(huán)特性），通常通過(guò) 基于 DDS（數(shù)據(jù)分發(fā)服務(wù)）的 ROS 2 這樣的中間件來(lái)實(shí)現(xiàn)。該管道必須每秒從攝像頭、雷達(dá)、激光雷達(dá)、GNSS 和 IMU 中采集并處理海量的數(shù)據(jù)。

圖 1 概述了這一端到端架構(gòu)，涵蓋從高采樣率傳感器輸入，到感知 / 定位與融合，再到規(guī)劃、控制和執(zhí)行，主要的數(shù)據(jù)流和計(jì)算流一目了然。

圖 1 ：AV 軟件高層架構(gòu)

典型數(shù)據(jù)吞吐量

• 激光雷達(dá)：大約 0.3–260 萬(wàn)點(diǎn) / 秒（通常每個(gè)傳感器大約 35–255 Mbps，具體取決于配置）。

• 攝像頭：4K/60fps 視頻流（全彩無(wú)壓縮視頻可能需要大約 12 Gbps；生產(chǎn)系統(tǒng)通常采用 RAW 格式和 / 或壓縮技術(shù)）。

• 雷達(dá)：稀疏檢測(cè) / 軌跡（通常帶寬低、刷新率高）。

優(yōu)化感知管道：資源動(dòng)態(tài)分配

感知層負(fù)責(zé)將原始數(shù)據(jù)轉(zhuǎn)化為世界模型。一種簡(jiǎn)單粗暴的方法是按全分辨率和最高采樣率處理每個(gè)傳感器的數(shù)據(jù)。然而，若以全保真度每秒處理數(shù)千兆字節(jié)的數(shù)據(jù)，任何車(chē)輛的計(jì)算資源都會(huì)被耗盡。

基于上下文的傳感器優(yōu)先級(jí)排序

感知方面的優(yōu)化通常意味著基于上下文的優(yōu)先級(jí)排序：調(diào)整感知、預(yù)處理和推理的資源投入，以便適應(yīng)當(dāng)前的運(yùn)行設(shè)計(jì)域（ODD）。通常，自動(dòng)駕駛技術(shù)棧會(huì)對(duì)關(guān)鍵管道階段的計(jì)算成本進(jìn)行建模，并應(yīng)用針對(duì)精度、延遲和資源使用等因素做過(guò)充分權(quán)衡的策略（或基于優(yōu)化的控制器）。

高速公路場(chǎng)景

由于感興趣區(qū)域（ROI）窄，所以長(zhǎng)距離精度變得至關(guān)重要。為此，自動(dòng)駕駛技術(shù)棧通常會(huì)優(yōu)先處理前視激光雷達(dá)和長(zhǎng)距離攝像頭，同時(shí)通過(guò)降采樣、降幀率 / 掃描率或選擇性處理感興趣區(qū)域（ROI）等方式，減輕側(cè)視傳感器的負(fù)載。

城市場(chǎng)景

對(duì)于交叉車(chē)流、弱勢(shì)道路使用者以及復(fù)雜的交互場(chǎng)景而言，周邊視野的覆蓋變得愈發(fā)重要。這些系統(tǒng)通常優(yōu)先采用廣角攝像頭和側(cè)向傳感器，并可能為語(yǔ)義感知和目標(biāo)追蹤分配更多的計(jì)算資源。

圖 2 ：動(dòng)態(tài)傳感器加權(quán)邏輯

技術(shù)實(shí)現(xiàn)：從預(yù)處理到融合

在實(shí)際應(yīng)用的自動(dòng)駕駛程序中，感知管道需要這種靈活的資源分配。許多團(tuán)隊(duì)已經(jīng)突破單階段目標(biāo)列表的限制，設(shè)計(jì)出能夠以低延遲處理高幀率傳感器數(shù)據(jù)流的管道，并且涵蓋了從早期預(yù)處理到推理和跟蹤的整個(gè)流程。實(shí)際上，這種融合通常涉及兩個(gè)互補(bǔ)的控制機(jī)制。首先，通過(guò)處理參數(shù)（幀率、感興趣區(qū)域、分辨率、模型選擇）來(lái)管理計(jì)算負(fù)載。其次是融合權(quán)重，用于調(diào)節(jié)追蹤中的測(cè)量不確定性（如測(cè)量協(xié)方差 R）。

• 激光雷達(dá)數(shù)據(jù)處理原始點(diǎn)云（ x , y , z , 強(qiáng)度）通常會(huì)進(jìn)行離散化處理（體素化或柱狀化），隨后由 3D 檢測(cè)網(wǎng)絡(luò)（如 VoxelNet 系列方法或 PointPillars ）進(jìn)行處理。體素 / 柱狀的分辨率是空間保真度與推理延遲 / 計(jì)算之間的關(guān)鍵權(quán)衡點(diǎn)。

• 雷達(dá)數(shù)據(jù)處理雷達(dá)測(cè)量數(shù)據(jù)（距離、方位角、距離變化率）常被用于獲取可靠的速度信息以及支持車(chē)輛在惡劣天氣條件下行駛；其不確定性可根據(jù)具體上下文和雜波特性進(jìn)行調(diào)整。

• 工具部署管道通常會(huì)使用 TensorRT 等推理加速器，在嵌入式 GPU 平臺(tái)上（例如 NVIDIA Xavier 級(jí)系統(tǒng)；新一代產(chǎn)品還支持 Orin 系列硬件）對(duì)深度學(xué)習(xí)模型進(jìn)行優(yōu)化和運(yùn)行。模型選擇會(huì)隨技術(shù)棧而變化，但在計(jì)算機(jī)視覺(jué)領(lǐng)域，標(biāo)準(zhǔn)骨干網(wǎng)絡(luò)（如 ResNet ）和檢測(cè)器家族（如 YOLO 風(fēng)格）被廣泛采用；而在自動(dòng)駕駛領(lǐng)域，則同時(shí)采用 3D/BEV 專(zhuān)用架構(gòu)。

正如 Ahn 等人所述，將數(shù)據(jù)并行執(zhí)行與選擇性 GPU 卸載相結(jié)合，可以在保持精度目標(biāo)的同時(shí)，提升感知管道的端到端吞吐量及降低延遲。

為了直觀地了解該邏輯在跟蹤 / 融合層中的表現(xiàn)，不妨考慮一個(gè)基于上下文的權(quán)重管理器。在基于卡爾曼濾波器的跟蹤器中，傳感器可信度可以通過(guò)測(cè)量協(xié)方差矩陣 R 來(lái)表示（通常按傳感器和測(cè)量類(lèi)型分別計(jì)算）：協(xié)方差矩陣越大，濾波器對(duì)該測(cè)量的依賴程度越低；反之，協(xié)方差矩陣越小，依賴程度越高。

偽代碼：動(dòng)態(tài)傳感器加權(quán)（Python）

        )

軌跡規(guī)劃：MPC 的數(shù)學(xué)原理

感知處理的是概率，而規(guī)劃處理的是約束條件。規(guī)劃模塊會(huì)生成一條可行的軌跡，通常是以狀態(tài)和控制值序列的形式（如下圖所示），在一個(gè)固定的控制周期內(nèi)對(duì)整個(gè)規(guī)劃時(shí)域進(jìn)行參數(shù)化。

優(yōu)化問(wèn)題

通常，軌跡生成被視為一個(gè)模型預(yù)測(cè)控制（MPC）問(wèn)題。工程師們不再采用硬編碼規(guī)則，而是定義一個(gè)成本函數(shù)（J），由求解器對(duì)其進(jìn)行最小化（如下圖所示）。

通常，軌跡生成被視為一個(gè)模型預(yù)測(cè)控制（MPC）問(wèn)題。工程師們不再采用硬編碼規(guī)則，而是定義一個(gè)成本函數(shù)（J），由求解器對(duì)其進(jìn)行最小化（如下圖所示）。

其中， 表示預(yù)測(cè)時(shí)段內(nèi)的參考軌跡。

• ：第 k 步的狀態(tài)向量（位置、速度、偏航角）。

• ：第 k 步的控制輸入（轉(zhuǎn)向角、加速度）。

• ：第 k 步的參考狀態(tài)（即某個(gè)時(shí)點(diǎn)的期望位置/航向/速度），通常由更高層次的規(guī)劃器、路由或行為模塊提供。

• ：預(yù)測(cè)期結(jié)束時(shí)的終端參考狀態(tài)（即第 N 步的參考狀態(tài)），用于促使系統(tǒng)朝著預(yù)期的終點(diǎn)狀態(tài)條件收斂。

• Q 、 R 和 P ：權(quán)重矩陣。通過(guò)調(diào)整 Q、R 和 P，工程師們?cè)凇爸鲃?dòng)性”與“舒適性”之間進(jìn)行優(yōu)化。

基于約束條件求解

求解器必須在滿足硬約束的條件下求得 J 的最小值。

執(zhí)行機(jī)構(gòu)與動(dòng)力學(xué)限制，

如有必要，還得加上速率限制。

安全通道

規(guī)劃出的“自我足跡（ ego footprint ）”必須位于可行駛區(qū)域內(nèi)，并與障礙物保持安全距離（通常通過(guò)通道邊界、符號(hào)距離約束或碰撞幾何體的凸面近似來(lái)表示）。

圖 3： MPC 控制循環(huán)

求解器和算法

在自動(dòng)駕駛領(lǐng)域，MPC 被用于在安全響應(yīng)的同時(shí)平衡速度與舒適性。為了滿足嵌入式系統(tǒng)的時(shí)限要求，開(kāi)發(fā)團(tuán)隊(duì)通常依賴于“熱啟動(dòng)”求解器：對(duì)于凸 MPC 建模，使用 OSQP 等 QP 求解器；對(duì)于非線性建模，則使用非線性規(guī)劃求解器（如 Ipopt）或?qū)崟r(shí) NMPC 工具鏈。

Allamaa 等人 在 2024 年的研究中闡明了增強(qiáng)型 MPC 建模和混合優(yōu)化技術(shù)如何實(shí)現(xiàn)安全、敏捷的決策。Zhang、Rossi 和 Pavone 于 2015 年發(fā)表的早期研究 提供了一個(gè)更廣泛的例子，展示了 MPC 作為滾動(dòng)時(shí)域決策在車(chē)隊(duì)協(xié)調(diào)層面的應(yīng)用，而不局限于一輛車(chē)的軌跡控制。此外，Arrigoni、Braghin 和 Cheli 在 2021 年的研究 探索了一種替代方法，即利用遺傳算法策略求解 NMPC 軌跡規(guī)劃器。在實(shí)際（通常為 C++）的實(shí)現(xiàn)中，優(yōu)化循環(huán)必須具備高效率、可預(yù)測(cè)性，并需針對(duì)最壞的情況進(jìn)行性能監(jiān)測(cè)。

偽代碼：MPC 成本函數(shù)（ C++ ）

}

實(shí)時(shí)計(jì)算預(yù)算與中間件

自動(dòng)駕駛系統(tǒng)是一個(gè)“繁忙的生態(tài)系統(tǒng)”。定位、感知、預(yù)測(cè)和控制模塊均并行運(yùn)行，爭(zhēng)用相同的 CPU 和 GPU 資源。如果感知模塊處理圖像耗時(shí)過(guò)長(zhǎng)，那么規(guī)劃模塊可能會(huì)錯(cuò)過(guò)其更新窗口。

確定性調(diào)度

為避免這一問(wèn)題，許多團(tuán)隊(duì)將計(jì)算預(yù)算本身視為一個(gè)工程優(yōu)化問(wèn)題：他們通過(guò)測(cè)量執(zhí)行時(shí)間、分配處理器內(nèi)核、設(shè)置優(yōu)先級(jí)以及調(diào)整服務(wù)質(zhì)量（QoS）來(lái)確保正確的任務(wù)在正確的時(shí)間執(zhí)行。最壞情況執(zhí)行時(shí)間（WCET）：每個(gè)節(jié)點(diǎn)都有一個(gè)經(jīng)過(guò)測(cè)量（或保守估計(jì)）的 WCET 值和一個(gè)明確的截止時(shí)間預(yù)算。確定性調(diào)度策略：在安全 / 控制非常關(guān)鍵的領(lǐng)域，通過(guò)實(shí)時(shí)操作系統(tǒng)（RTOS）強(qiáng)制執(zhí)行實(shí)時(shí)調(diào)度；在通用操作系統(tǒng)上則通過(guò)實(shí)時(shí)調(diào)度配置來(lái)實(shí)現(xiàn)。比較常見(jiàn)的是固定優(yōu)先級(jí)的搶占式調(diào)度；諸如優(yōu)先級(jí)繼承之類(lèi)的協(xié)議有助于限制對(duì)共享資源的阻塞，并保護(hù)具有嚴(yán)格截止時(shí)間的任務(wù)。

在實(shí)踐中，這些預(yù)算采用多速率設(shè)計(jì)：高級(jí)規(guī)劃通常以大約 10-20 Hz（50-100 ms）的速率運(yùn)行，而低級(jí)控制環(huán)路則可在專(zhuān)用控制器上以大約 50-100 Hz（10-20 ms）的速率運(yùn)行；具體速率取決于平臺(tái)和安全架構(gòu)。

表 1：100 毫秒控制周期的延遲預(yù)算示例（僅供參考）

Sun 等人（2023） 強(qiáng)調(diào)了這種嚴(yán)謹(jǐn)性的重要性，他們提出了一個(gè)綜合框架，用于分析多速率自動(dòng)駕駛軟件棧中的端到端延遲，以確保關(guān)鍵任務(wù)鏈能夠滿足其時(shí)限要求。

調(diào)試與可解釋性：數(shù)據(jù)層

優(yōu)化使系統(tǒng)更加智能，但也增加了調(diào)試難度。當(dāng) MPC 求解器選擇一條路徑時(shí)，它的依據(jù)是成本函數(shù)的收斂性，而非簡(jiǎn)單的“如果……那么……”這樣的邏輯。

為了解決這個(gè)問(wèn)題，開(kāi)發(fā)團(tuán)隊(duì)設(shè)計(jì)了健壯的日志記錄管道。他們會(huì)記錄所考慮的具體約束條件、權(quán)衡取舍過(guò)程以及最終選擇的路徑。

數(shù)據(jù)格式

對(duì)于時(shí)間同步的機(jī)器人數(shù)據(jù)，常見(jiàn)的選項(xiàng)包括容器格式（如廣泛用于機(jī)器人日志捕獲和回放的 MCAP ）以及 Dataset-Oriented 格式（如 HDF5 ），具體使用哪種取決于分析工作流和存儲(chǔ)限制。

模式

許多團(tuán)隊(duì)使用 Protocol Buffers 或 FlatBuffers 定義嚴(yán)格的、帶版本控制的模式，從而確保類(lèi)型安全、向前 / 向后兼容性，以及跨組件的可靠工具支持。

示例：感知對(duì)象模式（ Protobuf ）

}

這些數(shù)據(jù)結(jié)構(gòu)是可解釋性的核心。Suresh Kolekar 等人（2022）的研究 表明，Grad-CAM 等可視化工具為人們提供了一個(gè)窗口，讓人們可以了解 AI 模型是如何看待世界的。這種洞察不僅有助于安全檢查，還能在解釋模型行為時(shí)提升透明度。

小 結(jié)

對(duì)于自動(dòng)駕駛車(chē)輛而言，優(yōu)化不僅僅是一種數(shù)學(xué)方法，而是維系整個(gè)系統(tǒng)運(yùn)轉(zhuǎn)的紐帶。它決定了感知任務(wù)如何調(diào)度與加速（包括在適時(shí)進(jìn)行的 GPU 內(nèi)核級(jí)和圖級(jí)優(yōu)化），規(guī)劃過(guò)程中的受約束優(yōu)化問(wèn)題如何建模和求解，以及實(shí)時(shí)調(diào)度策略和中間件服務(wù)質(zhì)量（QoS）如何配置以滿足延遲和安全要求。

對(duì)于軟件工程師而言，結(jié)論不言而喻：開(kāi)發(fā)自動(dòng)駕駛技術(shù)棧不僅僅是編寫(xiě)遵循邏輯的代碼，更是構(gòu)建一個(gè)能夠同時(shí)管理資源、時(shí)間和物理約束的系統(tǒng)。在行業(yè)不斷突破自動(dòng)駕駛邊界的過(guò)程中，優(yōu)化這些權(quán)衡的能力仍將是決定性的核心技能。

https://www.infoq.com/articles/optimization-in-automated-driving/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。