上海交通大學(xué)研究團(tuán)隊提出了一種融合無人機(jī)物理建模與深度學(xué)習(xí)的端到端方法，實現(xiàn)了輕量、可部署、可協(xié)同的無人機(jī)集群自主導(dǎo)航方案，其魯棒性和機(jī)動性大幅領(lǐng)先現(xiàn)有方案。

想象一下：在未知森林、城市廢墟甚至障礙密布的室內(nèi)空間，一群無人機(jī)像飛鳥般快速穿梭，不依賴地圖、不靠通信、也無需昂貴設(shè)備。這一設(shè)想，如今成為現(xiàn)實！

上海交通大學(xué)研究團(tuán)隊提出了一種融合無人機(jī)物理建模與深度學(xué)習(xí)的端到端方法，該研究首次將可微分物理訓(xùn)練的策略成功部署到現(xiàn)實機(jī)器人中，實現(xiàn)了一套真正意義上的「輕量、可部署、可協(xié)同」無人機(jī)集群端到端自主導(dǎo)航方案，并在魯棒性、機(jī)動性上大幅領(lǐng)先現(xiàn)有的方案。

該成果已于《Nature Machine Intelligence》在線發(fā)表，其中張宇昂碩士、胡瑜、宋運(yùn)龍博士為共同第一作者，鄒丹平與林巍峣教授為通訊作者。

核心理念 大道至簡

過去的無人機(jī)自主導(dǎo)航往往依賴：

• 高復(fù)雜度定位與建圖、軌跡規(guī)劃與生成、軌跡跟蹤等串聯(lián)模塊算法設(shè)計

• 昂貴笨重傳感器+高性能CPU/GPU計算平臺

• 多機(jī)間通信或集中規(guī)劃

研究團(tuán)隊提出的新方法設(shè)法探索出一條嶄新的途徑：使用12×16超低分辨率深度圖作為輸入，使用僅3層CNN的超小神經(jīng)網(wǎng)絡(luò)實現(xiàn)端到端自主飛行，可部署于150元廉價嵌入式計算平臺。

該方法拋棄了復(fù)雜無人機(jī)動力學(xué)，用極簡質(zhì)點動力學(xué)模型，通過可微物理引擎訓(xùn)練端到端網(wǎng)絡(luò)。

最終實現(xiàn)「訓(xùn)練一次，多機(jī)共享權(quán)重」，零通信協(xié)同飛行！

驚艷表現(xiàn) 現(xiàn)實世界中疾馳穿越

在單機(jī)場景中，將網(wǎng)絡(luò)模型部署在無人機(jī)上后在不同的真實環(huán)境中進(jìn)行測試，包括樹林、城市公園，以及含有靜態(tài)和動態(tài)障礙的室內(nèi)場景。

該網(wǎng)絡(luò)模型在未知復(fù)雜環(huán)境中的導(dǎo)航成功率高達(dá)90%，相比現(xiàn)有最優(yōu)方法展現(xiàn)出更強(qiáng)的魯棒性。

在真實樹林環(huán)境中，無人機(jī)飛行速度高達(dá)20米/秒，是基于模仿學(xué)習(xí)的現(xiàn)有方案速度的兩倍。所有測試環(huán)境均實現(xiàn)zero-shot零樣本遷移。該系統(tǒng)無需GPS或者VIO提供定位信息即可運(yùn)行，并能適應(yīng)動態(tài)障礙物。

圖1 |多機(jī)飛行。

多機(jī)協(xié)同場景中，將網(wǎng)絡(luò)模型部署到6架無人機(jī)上執(zhí)行同向穿越復(fù)雜障礙和互換位置任務(wù)。

該策略在同向穿越門洞、動態(tài)障礙物和復(fù)雜靜態(tài)障礙物的場景中展示了極高的魯棒性。在多機(jī)穿越門洞互換位置的實驗中，展現(xiàn)出了無需通信或集中規(guī)劃的自組織行為。

圖2 |多機(jī)自組織協(xié)作。

圖3 |動態(tài)避障。

思路關(guān)鍵 嵌入物理原理，無人機(jī)「自己學(xué)會飛」

端到端可微仿真訓(xùn)練：策略網(wǎng)絡(luò)直接控制無人機(jī)運(yùn)動，通過物理模擬器實現(xiàn)反向傳播。

輕量設(shè)計：整套端到端網(wǎng)絡(luò)參數(shù)僅2MB，可部署在150元的計算平臺（不到GPU方案的5%成本）。

高效訓(xùn)練：在RTX 4090顯卡上僅需2小時即可收斂。

圖4 |低成本算力平臺。

訓(xùn)練總體框架如下圖所示，通過與環(huán)境交互來訓(xùn)練策略網(wǎng)絡(luò)，在每一個時間步，策略網(wǎng)絡(luò)接收深度圖像作為輸入，并通過策略網(wǎng)絡(luò)輸出控制指令（推力加速度和偏航角）。

可微物理模擬器根據(jù)控制指令模擬無人機(jī)的質(zhì)點運(yùn)動，進(jìn)行狀態(tài)更新：

在新的狀態(tài)下可以渲染新的深度圖像并計算代價函數(shù)。

代價函數(shù)由多個子項組成，包括速度跟蹤項、避障項、平滑項等。在軌跡采集完畢后，代價函數(shù)可通過鏈?zhǔn)椒▌t（圖1中紅色箭頭）計算梯度實現(xiàn)反向傳播，從而直接優(yōu)化策略參數(shù)。

「簡約即美」的訓(xùn)練訣竅

• 簡單模型：使用質(zhì)點動力學(xué)替代復(fù)雜飛行器建模。

• 簡單圖像：低分辨率渲染 + 顯式幾何建模，提升仿真效率。

• 簡單網(wǎng)絡(luò)：三層卷積 + GRU時序模塊，小巧高效。

此外，訓(xùn)練過程中通過引入局部梯度衰減機(jī)制，有效解決訓(xùn)練中梯度爆炸問題，讓無人機(jī)“專注于眼前”的機(jī)動策略自然涌現(xiàn)。

方法對比 強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)，還是物理驅(qū)動？

當(dāng)前具身智能的主流訓(xùn)練范式主要分為兩類：強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL）與模仿學(xué)習(xí)（Imitation Learning, IL）。然而，這兩類方法在效率與可擴(kuò)展性方面均存在明顯瓶頸：

強(qiáng)化學(xué)習(xí)（如PPO） 多采用 model-free 策略，完全不考慮環(huán)境或控制對象的物理結(jié)構(gòu)，其策略優(yōu)化主要依賴基于采樣的策略梯度估計，這不僅導(dǎo)致數(shù)據(jù)利用率極低，還嚴(yán)重影響訓(xùn)練的收斂速度與穩(wěn)定性。

模仿學(xué)習(xí)（如Agile[Antonio et al.(2021)]）則依賴大量高質(zhì)量的專家演示作為監(jiān)督信號。獲取這類數(shù)據(jù)通常代價昂貴，且難以覆蓋所有可能場景，從而影響模型的泛化能力及擴(kuò)展性。

相比之下，該研究提出的基于可微分物理模型的訓(xùn)練框架，有效融合了物理先驗與端到端學(xué)習(xí)的優(yōu)勢。

通過將飛行器建模為簡單的質(zhì)點系統(tǒng)，并嵌入可微分仿真過程，能夠直接對策略網(wǎng)絡(luò)的參數(shù)進(jìn)行梯度反向傳播，從而實現(xiàn)高效、穩(wěn)定且物理一致的訓(xùn)練過程。

研究在實驗中系統(tǒng)對比了三種方法（PPO、Agile、本研究方法），主要結(jié)論如下：

訓(xùn)練效率：在相同硬件平臺上，本方法在約2小時內(nèi)即可實現(xiàn)收斂，訓(xùn)練時

遠(yuǎn)低于PPO與Agile所需的訓(xùn)練周期。、數(shù)據(jù)利用率：僅使用約10%的訓(xùn)練數(shù)據(jù)量，本方法在策略性能上就超越了使用全量數(shù)據(jù)的PPO+GRU方案。

收斂性能：在訓(xùn)練過程中，本方法展現(xiàn)出更低的方差與更快的性能提升，收斂曲線顯著優(yōu)于兩類主流方法。

部署效果：在真實或近似真實的避障任務(wù)中，本方法的最終避障成功率顯著高于PPO與Agile，表現(xiàn)出更強(qiáng)的魯棒性與泛化能力。

這一對比結(jié)果不僅驗證了“物理驅(qū)動”的有效性，也表明：當(dāng)我們?yōu)橹悄荏w提供正確訓(xùn)練方法時，強(qiáng)智能不一定需要海量數(shù)據(jù)與昂貴試錯。

圖5 | 該研究方法以10%的訓(xùn)練數(shù)據(jù)量即超過現(xiàn)有方法(PPO+GRU)，收斂性能遠(yuǎn)高于現(xiàn)有方法。

圖6 |模型部署避障成功率對比。

霧里看花 可解釋性探究

盡管端到端神經(jīng)網(wǎng)絡(luò)在自主飛行避障任務(wù)中表現(xiàn)出強(qiáng)大性能，其決策過程的不透明性仍是實際部署中的一大障礙。

為此，研究人員引入Grad-CAM激活圖工具，對策略網(wǎng)絡(luò)在飛行過程中的感知注意力進(jìn)行了可視化分析。

圖7展示了不同飛行狀態(tài)下輸入的深度圖（上排）及其對應(yīng)的激活圖（下排）。

圖7 |通過觀察激活圖，激活區(qū)域與最危險障礙強(qiáng)相關(guān)。

可以觀察到，網(wǎng)絡(luò)的高響應(yīng)區(qū)域高度集中在飛行路徑中最可能發(fā)生碰撞的障礙物附近，例如樹干、柱體邊緣。這表明，盡管訓(xùn)練過程中沒有顯式監(jiān)督這些“危險區(qū)域”，網(wǎng)絡(luò)已自發(fā)學(xué)會將注意力集中在潛在風(fēng)險最大的區(qū)域上。這一結(jié)果傳遞出兩個重要信息：

網(wǎng)絡(luò)不僅在行為層面實現(xiàn)了成功避障，其感知策略本身也具有一定的結(jié)構(gòu)合理性與物理解釋性；而可解釋性工具也有助于我們進(jìn)一步理解端到端策略背后的「隱性規(guī)則」。

思考與啟發(fā) 大模型時代中的「小模型」

在這個幾乎一切技術(shù)路徑都奔向「大」的時代，基礎(chǔ)模型、通用智能、Scaling Law正逐漸成為信仰。

人們談?wù)摰氖菂?shù)規(guī)模、數(shù)據(jù)體量、計算資源——仿佛智能的本質(zhì)就在于“越大越好”，而“小”則成了被遺忘的方向，甚至被誤解為「不足為道」。

然而，自然界從不遵循單一尺度的美學(xué)。

它既孕育了人類這樣擁有億級神經(jīng)元的智慧生物，也賦予了果蠅、螞蟻、蜜蜂等微小生靈以驚人的生存智慧。

它們不靠算力、不依賴高精度傳感器，卻能在復(fù)雜世界中做出迅速而精妙的反應(yīng)。這種“生存意義上的智能”，或許恰是我們今日在追求「強(qiáng)智能」時最容易忽略的維度。

從該研究中，可以得到了三個深刻的啟發(fā)：

1）小模型有其存在的合理性，甚至是理解「大模型」的入口

人類認(rèn)知系統(tǒng)復(fù)雜而龐大，但理解人類大腦的第一步，并不是直接對人腦建模，而是回到果蠅這樣神經(jīng)回路清晰、結(jié)構(gòu)機(jī)制簡單的生物個體。從某種意義上說，果蠅不僅不是神經(jīng)科學(xué)的例外，它是神經(jīng)科學(xué)的起點。

同樣道理，小模型不是大模型的對立面，而是其結(jié)構(gòu)理解與機(jī)制抽象的鏡像反射。它們提供了一個更透明的窗口，讓我們看清決策、感知與控制之間最本質(zhì)的耦合關(guān)系。在這項工作中，我們用一個參數(shù)量不到2MB的小網(wǎng)絡(luò)，實現(xiàn)了多機(jī)間無需通信的自組織協(xié)同。這不僅是工程簡約的勝利，更是系統(tǒng)智慧本源的回歸。

2）不是所有智能都必須建立在大規(guī)模數(shù)據(jù)之上

我們在一個完全仿真的世界中采集數(shù)據(jù)——沒有龐大的數(shù)據(jù)集，沒有互聯(lián)網(wǎng)語料，也沒有數(shù)百萬小時的飛行日志。

相反，只依靠可控、可微的物理引擎，用少量任務(wù)場景與目標(biāo)函數(shù)，在一個僅由簡單幾何體構(gòu)成的仿真環(huán)境中就訓(xùn)練出了能在現(xiàn)實世界中零樣本遷移、應(yīng)對復(fù)雜障礙的小型基于視覺的飛行控制策略。

這是一種反常識的成果。它提醒我們，智能的來源不必拘泥于數(shù)據(jù)體量的絕對值，而更應(yīng)關(guān)注「結(jié)構(gòu)匹配」與「機(jī)制嵌入」。

一個真正懂物理的網(wǎng)絡(luò)，也許比一個背誦萬卷飛行日志的網(wǎng)絡(luò)更可靠。

3）粗糙的感知，也能支撐精準(zhǔn)的智能行為

果蠅的視覺系統(tǒng)由約800個簡單的復(fù)眼構(gòu)成，其成像能力甚至不及低配監(jiān)控攝像頭。然而就是這樣一個「低分辨率生物」，可以在高速飛行中完成復(fù)雜的空間規(guī)避、空中懸停與捕食等任務(wù)。精度低，并不等于智能低。

我們也使用了類似“果蠅之眼”的設(shè)置：12×16分辨率的深度圖像輸入，結(jié)合簡單的物理模型和策略網(wǎng)絡(luò)，就能驅(qū)動無人機(jī)以高達(dá)20米/秒的速度自主飛行。這一實驗結(jié)果無聲地提出了一個顛覆性假設(shè)：

真正決定導(dǎo)航能力的，并非傳感器的精度，而是智能體對物理世界的內(nèi)在理解程度。

或許未來的智能，不再是一味「堆大」，而是對「小」的重新理解與深度挖掘。

后續(xù)研究 端到端單目自主FPV無人機(jī)

研究團(tuán)隊后續(xù)改進(jìn)與拓展了可微物理引擎框架與訓(xùn)練方法，進(jìn)一步實現(xiàn)了國際首個基于單目FPV攝像頭的端到端視覺避障系統(tǒng)，在真實室外環(huán)境中實現(xiàn)最高6m/s飛行速度，無需建圖即可自主導(dǎo)航，該研究已在《

IEEE Robotics and Automation Letters

圖8 |端到端FPV（第一人稱視角攝像頭）自主飛行。

參考資料：

Hu, Yu, Yuang Zhang, Yunlong Song, Yang Deng, Feng Yu, Linzuo Zhang, Weiyao Lin, Danping Zou, and Wenxian Yu. "Seeing Through Pixel Motion: Learning Obstacle Avoidance From Optical Flow With One Camera," in IEEE Robotics and Automation Letters, vol. 10, no. 6, pp. 5871-5878, June 2025, doi: 10.1109/LRA.2025.3560842.

本文來源：FUTURE遠(yuǎn)見；版權(quán)歸原作者所有，轉(zhuǎn)載目的在于傳遞更多信息，傳播相關(guān)技術(shù)知識；若侵犯了您的合法權(quán)益，請及時系我們，我們將根據(jù)著作權(quán)人的要求，及時更正、刪除或協(xié)商許可使用事宜，謝謝

中小學(xué)無人機(jī)課程代理咨詢

張老師

彭老師

劉老師

王老師

全國服務(wù)熱線：010-62483008