文章來源：視覺語言導(dǎo)航。

• 作者：Minwoo Kim, Geunsik Bae, Jinwoo Lee, Woojae Shin, Changseung Kim, Myong-Yol Choi, Heejung Shin, Hyondong Oh

• 單位：韓國(guó)蔚山科學(xué)技術(shù)院機(jī)械工程系

• 論文標(biāo)題：RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation

• 論文鏈接：https://arxiv.org/pdf/2502.02054

• 提出了 基于逆強(qiáng)化學(xué)習(xí) 的學(xué)習(xí)型視覺規(guī)劃器RAPID，用于復(fù)雜環(huán)境中的敏捷無人機(jī)飛行，能夠在毫秒級(jí)生成無碰撞的航點(diǎn)，無需單獨(dú)的感知、建圖和規(guī)劃模塊，可直接應(yīng)用于現(xiàn)實(shí)場(chǎng)景，無需額外訓(xùn)練或調(diào)整。

• 開發(fā)了 基于逆軟Q學(xué)習(xí) 的框架，用于高速視覺導(dǎo)航，無需手動(dòng)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)，通過針對(duì)高速場(chǎng)景的吸收態(tài)處理，實(shí)現(xiàn)魯棒且樣本高效的策略學(xué)習(xí)。

• 引入 輔助自編碼器 損失函數(shù)，減輕高維視覺輸入的復(fù)雜性，提高學(xué)習(xí)效率。

• 通過在訓(xùn)練中考慮 控制器跟蹤誤差 ，減少仿真到現(xiàn)實(shí)（sim-to-real）的差距，驗(yàn)證了在自然和城市環(huán)境中以平均速度7 m/s進(jìn)行高速飛行實(shí)驗(yàn)的可行性。

• 無人機(jī)（UAV）因其敏捷性和緊湊性，在災(zāi)難救援、城市室內(nèi)探索和目標(biāo)跟蹤等領(lǐng)域具有廣泛應(yīng)用前景，但在復(fù)雜環(huán)境中（如森林和工廠）利用其敏捷性仍面臨感知、控制和實(shí)時(shí)運(yùn)動(dòng)規(guī)劃的挑戰(zhàn)。

• 傳統(tǒng)的視覺導(dǎo)航方法依賴于模塊化架構(gòu)，將感知、建圖和規(guī)劃分開，雖然具有可解釋性和易于與其他模塊集成的優(yōu)點(diǎn)，但計(jì)算成本高、延遲大，不適合敏捷無人機(jī)飛行。而端到端的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法將感知、建圖和規(guī)劃集成到一個(gè)過程中，減少了延遲，能夠?qū)崿F(xiàn)快速實(shí)時(shí)規(guī)劃。

• 行為克隆（BC）和強(qiáng)化學(xué)習(xí)（RL）是常用的視覺導(dǎo)航學(xué)習(xí)方法，但BC容易因?qū)＜夷７掠邢薅霈F(xiàn)累積誤差，RL則面臨獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)困難和樣本效率低下的問題。逆強(qiáng)化學(xué)習(xí)（IRL）通過從專家行為中學(xué)習(xí)潛在獎(jiǎng)勵(lì)來解決這些問題，但在視覺導(dǎo)航任務(wù)中應(yīng)用IRL仍面臨諸多挑戰(zhàn)，如高維視覺信息處理、實(shí)時(shí)可行性檢查和精確飛行姿態(tài)控制等。

RAPID 將視覺導(dǎo)航問題建模為無限時(shí)域馬爾可夫決策過程（MDP），其組成部分包括狀態(tài) 、動(dòng)作 、初始狀態(tài)分布 、轉(zhuǎn)移概率 、獎(jiǎng)勵(lì)函數(shù) 和折扣因子 。策略 是一個(gè)隨機(jī)策略，表示在給定狀態(tài) 時(shí)采取動(dòng)作 的概率分布。數(shù)據(jù)集分為專家策略數(shù)據(jù) 和學(xué)習(xí)者策略數(shù)據(jù) 。

狀態(tài)和動(dòng)作

• 狀態(tài) ：

• • 狀態(tài)空間 包括深度圖像 、速度 、姿態(tài)四元數(shù) 和相對(duì)目標(biāo)向量 。

  • 為了縮小仿真與現(xiàn)實(shí)環(huán)境之間的差距，使用半全局匹配（SGM）算法生成類似真實(shí)深度圖像的立體深度圖像用于訓(xùn)練。

  • 采用低分辨率圖像（64×64）以減少過擬合并提高魯棒性。

• 動(dòng)作 ：

• • 動(dòng)作 包含 個(gè)航路點(diǎn)，每個(gè)航路點(diǎn)由相對(duì)距離 和相對(duì)角度 定義，使用柱坐標(biāo)系表示以減少動(dòng)作空間的復(fù)雜性。

  • 將柱坐標(biāo)系中的航路點(diǎn)轉(zhuǎn)換為笛卡爾坐標(biāo)系中的絕對(duì)位置，最終生成的動(dòng)作 是 個(gè)航路點(diǎn)的集合。

  • 設(shè)置 ，時(shí)間間隔 秒。

• 輔助自編碼器損失函數(shù)：

• • 使用 -VAE學(xué)習(xí)緊湊的狀態(tài)表示，將高維輸入嵌入到低維潛在向量 中，同時(shí)減輕噪聲并提高視覺數(shù)據(jù)處理的魯棒性。

  • 自編碼器由卷積編碼器 和反卷積解碼器 組成，目標(biāo)函數(shù) 包括重建誤差、潛在向量的 正則化和解碼器參數(shù)的權(quán)重衰減。

  • 為了避免策略網(wǎng)絡(luò)的梯度更新影響編碼器，只允許critic網(wǎng)絡(luò)的梯度更新共享的編碼器參數(shù)。

  • 采用更快的 Polyak 平均率更新目標(biāo) Q 函數(shù)的編碼器參數(shù)，以解決梯度傳播延遲的問題。

• 跳躍連接網(wǎng)絡(luò)：

• • 采用 D2RL 網(wǎng)絡(luò)結(jié)構(gòu)，通過跳躍連接保留重要輸入信息，實(shí)現(xiàn)更快的收斂速度。

  • 使用正交初始化和 delta-正交初始化分別初始化全連接層和卷積層的權(quán)重，以提高學(xué)習(xí)過程的穩(wěn)定性。

• 學(xué)習(xí)隱式獎(jiǎng)勵(lì)：

• • 使用最小二乘逆 Q 學(xué)習(xí)（LS-IQ）算法，通過逆軟 Q 學(xué)習(xí)（IQ-learning）引入逆貝爾曼算子 ，將獎(jiǎng)勵(lì)函數(shù)表示為 Q 函數(shù)的形式，從而無需單獨(dú)訓(xùn)練獎(jiǎng)勵(lì)網(wǎng)絡(luò)。

  • 通過引入正則化項(xiàng) 來穩(wěn)定學(xué)習(xí)過程，該正則化項(xiàng)結(jié)合了專家數(shù)據(jù)和學(xué)習(xí)者數(shù)據(jù)的分布，以平衡兩者的貢獻(xiàn)。

  • 對(duì)于吸收態(tài)（如目標(biāo)或碰撞狀態(tài)），采用引導(dǎo)式更新和分析計(jì)算相結(jié)合的方法來處理，提高穩(wěn)定性。

  • 設(shè)置吸收態(tài)獎(jiǎng)勵(lì)值 和 ，以避免在終端狀態(tài)獲得過高獎(jiǎng)勵(lì)，增強(qiáng)障礙物規(guī)避性能。

• SAC更新：

• • 使用soft actor-critic（SAC）方法更新策略，通過固定 Q 函數(shù)來近似最優(yōu)策略。

  • 策略更新公式為 ，其中 是溫度參數(shù)，用于控制探索與利用的權(quán)衡。

• 軌跡生成：

• • 將離散的航路點(diǎn)轉(zhuǎn)換為連續(xù)可微的軌跡，軌跡 可以表示為沿每個(gè)軸的多項(xiàng)式函數(shù)。

  • 為了確保軌跡的平滑性，多項(xiàng)式段的起點(diǎn)和終點(diǎn)必須與指定的航路點(diǎn)一致，并且在中間航路點(diǎn)處保持導(dǎo)數(shù)的連續(xù)性。

  • 通過求解優(yōu)化問題來最小化加速度平方的積分，生成軌跡，采用四階多項(xiàng)式并確保在航路點(diǎn)處速度連續(xù)。

• 軌跡跟蹤控制：

• • 使用幾何控制器進(jìn)行軌跡跟蹤，該控制器通過直接應(yīng)用剛體動(dòng)力學(xué)的幾何原理來確保跟蹤精度和穩(wěn)定性，計(jì)算出必要的機(jī)體角速度和推力指令。

  • 幾何控制器的低延遲和易于實(shí)現(xiàn)的特點(diǎn)使其更適合于學(xué)習(xí)過程，與模型預(yù)測(cè)控制（MPC）相比，幾何控制器的計(jì)算開銷更低。

• 數(shù)據(jù)獲取：

• • 環(huán)境設(shè)置 ：使用 AirSim 模擬器生成多樣化的訓(xùn)練環(huán)境，包括樹木、圓錐體、立方體、球體等障礙物，以增強(qiáng)模型的泛化能力。圖 6 展示了不同訓(xùn)練環(huán)境的示例。

  • 專家數(shù)據(jù)生成 ：采用基于運(yùn)動(dòng)原語的專家規(guī)劃器生成全局軌跡。首先收集環(huán)境的點(diǎn)云數(shù)據(jù)，構(gòu)建全局軌跡，然后根據(jù)障礙物成本采樣局部軌跡。全局軌跡是從起點(diǎn)到終點(diǎn)的完整路徑，局部軌跡是全局軌跡的細(xì)化片段。

  • 參數(shù)設(shè)置 ：全局軌跡的平均速度設(shè)置為 7m/s，最大速度和加速度分別限制為 8m/s 和 10m/s2。為了增加軌跡多樣性，對(duì)滾轉(zhuǎn)角和偏航角施加隨機(jī)擾動(dòng)（最大 0.3 弧度）。共生成 1,800 條全局軌跡，覆蓋 600 個(gè)訓(xùn)練地圖，最終收集到約 10 萬個(gè)局部軌跡及其對(duì)應(yīng)的狀態(tài)-動(dòng)作數(shù)據(jù)。

• 訓(xùn)練：

• • 領(lǐng)域隨機(jī)化 ：為了增強(qiáng)模型的泛化能力，訓(xùn)練過程中應(yīng)用了多種隨機(jī)化技術(shù)。例如，每次訓(xùn)練時(shí)隨機(jī)選擇起始位置，并在控制器增益中加入約 10% 的噪聲。此外，還使用了圖像隨機(jī)打亂技術(shù)以增強(qiáng)編碼器的魯棒性。

  • 地圖更新 ：每 5 個(gè)訓(xùn)練周期更換一次地圖，以增加環(huán)境的多樣性。

  • 訓(xùn)練終止條件 ：如果無人機(jī)與障礙物碰撞或到達(dá)目標(biāo)點(diǎn)，則終止當(dāng)前訓(xùn)練周期。

• 基線方法 ：將 RAPID 與以下基線方法進(jìn)行比較：

• • 行為克隆（BC） ：使用預(yù)訓(xùn)練的 MobileNetV3 模型，具有相同的網(wǎng)絡(luò)結(jié)構(gòu)。

  • 最小二乘逆 Q 學(xué)習(xí)（LS-IQ） ：與 RAPID 具有相同的網(wǎng)絡(luò)結(jié)構(gòu)，但吸收態(tài)獎(jiǎng)勵(lì)更新規(guī)則不同。

  • AGILE ：基于 DAgger 的規(guī)劃器，使用松弛的贏者通吃（R-WTA）損失函數(shù)。

• 實(shí)驗(yàn)設(shè)置 ：在不同樹密度的測(cè)試環(huán)境中進(jìn)行實(shí)驗(yàn)，樹密度表示單位面積內(nèi)的樹木數(shù)量。樹木被隨機(jī)傾斜并賦予隨機(jī)方向，以增加測(cè)試環(huán)境的復(fù)雜性。樹木的尺寸根據(jù)連續(xù)均勻隨機(jī)分布進(jìn)行隨機(jī)化，范圍為 ，測(cè)試地圖大小為 50m×50m。

• 測(cè)試環(huán)境 ：測(cè)試環(huán)境的樹密度分別為 1/80、1/50、1/30 和 1/25（單位：樹木/平方米）。圖 7 展示了不同樹密度的測(cè)試環(huán)境。

• 評(píng)估指標(biāo) ：包括任務(wù)進(jìn)度（MP，從起點(diǎn)到目標(biāo)點(diǎn)的進(jìn)度）、速度和飛行距離。

• 實(shí)驗(yàn)結(jié)果 ：

• • BC ：由于過擬合和累積誤差，性能最低。在復(fù)雜環(huán)境中，其泛化能力受限。

  • LS-IQ ：性能優(yōu)于 BC，但在高樹密度環(huán)境中，優(yōu)先考慮高速飛行而犧牲了碰撞規(guī)避能力。

  • AGILE ：在低樹密度環(huán)境中表現(xiàn)良好，但在高樹密度環(huán)境中，其性能顯著下降，且對(duì)控制器跟蹤誤差的適應(yīng)性較差。

  • RAPID ：在所有測(cè)試條件下均表現(xiàn)出最佳的碰撞規(guī)避性能，任務(wù)進(jìn)度和速度均優(yōu)于其他方法。表 I 和圖 8 展示了詳細(xì)的定量結(jié)果。

• 無人機(jī)設(shè)計(jì) ：

• • 為了實(shí)現(xiàn)高速飛行，設(shè)計(jì)了一款類似競(jìng)速無人機(jī)的輕量化無人機(jī)，配備 Velox 2550kV 電機(jī)和 Gemfan Hurricane 51466 螺旋槳，整體重量為 1.1kg，推重比達(dá)到 3.57，能夠進(jìn)行高速和敏捷機(jī)動(dòng)。

  • 機(jī)載計(jì)算單元采用 NVIDIA Jetson Orin NX，該計(jì)算板輕巧且緊湊，能夠快速執(zhí)行神經(jīng)網(wǎng)絡(luò)部署。

  • 使用 Oak-D Pro 深度相機(jī)進(jìn)行深度測(cè)量和視覺慣性里程計(jì)（VIO），相機(jī)配備全局快門鏡頭，提供 80°×55° 的立體圖像視野和 72°×50° 的立體深度圖像視野，圖像和深度圖像的采集頻率均為 20Hz。

• 處理延遲測(cè)試 ：

• • 上表顯示了 RAPID 模型與 AGILE 模型的處理延遲對(duì)比。盡管 RAPID 的參數(shù)數(shù)量更多，但由于其浮點(diǎn)運(yùn)算次數(shù)（FLOPS）更低，因此在 CPU 和 GPU 推理速度上均優(yōu)于 AGILE，推理時(shí)間比 AGILE 快 6 倍以上。

• 系統(tǒng)模塊 ：

• • VIO 模塊 ：使用 OpenVINS 進(jìn)行穩(wěn)定高速飛行，該模塊結(jié)合圖像狀態(tài)信息和慣性測(cè)量單元（IMU）數(shù)據(jù)，深度相機(jī)以 20Hz 的頻率運(yùn)行，IMU 測(cè)量數(shù)據(jù)以 200Hz 的頻率收集，最終將局部里程計(jì)信息以 20Hz 的頻率發(fā)布到 PX4 自動(dòng)飛行控制系統(tǒng)。

  • 局部規(guī)劃器模塊 ：RAPID 方法以 10Hz 的頻率接收深度圖像、速度、姿態(tài)和目標(biāo)方向向量，并生成無碰撞航路點(diǎn)。生成的航路點(diǎn)通過最小加速度軌跡生成方法轉(zhuǎn)換為連續(xù)軌跡，然后以 50Hz 的頻率對(duì)軌跡進(jìn)行采樣，以獲得目標(biāo)位置和速度指令。

  • 控制器模塊 ：幾何控制器根據(jù)目標(biāo)位置和速度指令計(jì)算必要的機(jī)體角速度和推力指令，以跟蹤目標(biāo)軌跡。這些指令以 250Hz 的頻率發(fā)送到 PX4 控制器，控制無人機(jī)的執(zhí)行器。

• 系統(tǒng)集成 ：

• • 整個(gè)系統(tǒng)包括 VIO、局部規(guī)劃器和控制器三個(gè)模塊，如圖 9(b) 所示。系統(tǒng)能夠?qū)崿F(xiàn)從視覺輸入到軌跡生成和跟蹤的完整流程，確保無人機(jī)在復(fù)雜環(huán)境中進(jìn)行高速飛行。

• 自然環(huán)境實(shí)驗(yàn) ：

• • 長(zhǎng)森林場(chǎng)景 ：樹木間距為 5 米，目標(biāo)點(diǎn)距離 60 米。實(shí)驗(yàn)中，無人機(jī)從懸停狀態(tài)開始，沿著軌跡飛行，成功避開沿途障礙物，最大速度達(dá)到 7.5m/s。

  • 短森林場(chǎng)景 ：樹木密集排列，間距為 2 米，目標(biāo)點(diǎn)距離 30 米。為了測(cè)試無人機(jī)在更復(fù)雜環(huán)境中的飛行能力，將航路點(diǎn)生成時(shí)間縮短至 0.9 秒，無人機(jī)成功到達(dá)目標(biāo)點(diǎn)，最大速度達(dá)到 8.8m/s。

  • 觀察現(xiàn)象 ：盡管訓(xùn)練數(shù)據(jù)集中的速度為 7m/s，但 IRL 訓(xùn)練使策略能夠表現(xiàn)出加速和減速行為，甚至在接近障礙物時(shí)顯著降低速度以執(zhí)行避障動(dòng)作，這表明 IRL 方法能夠超越簡(jiǎn)單模仿專家行為，有效捕捉避障意圖。

• 城市環(huán)境實(shí)驗(yàn) ：

• • 大塊障礙物場(chǎng)景 ：障礙物幾何形狀簡(jiǎn)單但體積較大。為了降低安全風(fēng)險(xiǎn)，將無人機(jī)速度降低至平均 6m/s。無人機(jī)成功從起點(diǎn)生成避障路徑并到達(dá)目的地，最大速度達(dá)到 6.5m/s。

  • 柱狀障礙物場(chǎng)景 ：包含六個(gè)大型柱狀障礙物。無人機(jī)在飛行過程中減速以避開障礙物，然后再次加速，最終成功到達(dá)目的地，最大速度達(dá)到 6.2m/s。

  • 實(shí)驗(yàn)結(jié)論 ：盡管模型僅在仿真環(huán)境中訓(xùn)練，但在真實(shí)世界場(chǎng)景中表現(xiàn)出良好的性能，與仿真環(huán)境相比幾乎沒有性能下降。實(shí)驗(yàn)結(jié)果表明，模型在類似仿真設(shè)置的樹環(huán)境中部分彌合了仿真到現(xiàn)實(shí)的差距，并且在城市環(huán)境中能夠泛化到新的障礙物形狀，展現(xiàn)出對(duì)多樣化真實(shí)世界環(huán)境的適應(yīng)能力。

• 結(jié)論 ：

• • RAPID作為一種基于IRL的無人機(jī)視覺規(guī)劃器，在復(fù)雜環(huán)境中的高速視覺導(dǎo)航方面表現(xiàn)出色，通過整合視覺輸入和規(guī)劃，能夠?qū)崟r(shí)生成無碰撞的航點(diǎn)，并在仿真和現(xiàn)實(shí)世界場(chǎng)景中均展現(xiàn)出優(yōu)越的性能。

  • 盡管RAPID取得了良好的效果，但仍存在一些局限性，如缺乏時(shí)間感知能力導(dǎo)致在面對(duì)大型障礙物時(shí)容易陷入局部最小值；在探索過程中可能會(huì)生成不可行的軌跡，影響Q函數(shù)的收斂；專家數(shù)據(jù)集的不完整性可能導(dǎo)致模型在遇到遠(yuǎn)離專家軌跡的狀態(tài)時(shí)無法找到解決方案；sim-to-real差距尚未完全彌合。

• 未來工作 ：

• • 將致力于解決這些限制，通過探索基于記憶的架構(gòu)、采用基于約束的強(qiáng)化學(xué)習(xí)方法以及改進(jìn)數(shù)據(jù)獲取策略，以實(shí)現(xiàn)更穩(wěn)健、可擴(kuò)展和高效的高速無人機(jī)導(dǎo)航學(xué)習(xí)。