題目：Agentic AI in Remote Sensing: Foundations, Taxonomy, and Emerging Systems

論文：https://arxiv.org/abs/2601.01891

單位：美國克萊姆森大學(xué)

年份：2025

摘要與引言

本文是首個關(guān)于遙感領(lǐng)域智能體AI的綜合綜述。文章指出，地球觀測分析正在從靜態(tài)深度學(xué)習(xí)模型向自主智能體AI轉(zhuǎn)變。盡管視覺基礎(chǔ)模型和多模態(tài)大語言模型在表示學(xué)習(xí)方面取得進展，但它們往往缺乏復(fù)雜地理空間工作流所需的順序規(guī)劃和主動工具編排能力。

遙感基礎(chǔ)模型: 介紹和局限性

視覺基礎(chǔ)模型

• 域適應(yīng)策略：針對多光譜/高光譜、SAR、熱紅外等RS特有模態(tài)進行適配

• 自監(jiān)督方法：

• • 對比學(xué)習(xí)：Seasonal Contrast、Geography-Aware SSL、SatMAE-CL 等

  • 掩碼圖像建模：SatMAE、RingMo 等

局限：

• 優(yōu)先低層紋理而非全局空間結(jié)構(gòu)：MAE風(fēng)格的RS模型往往關(guān)注局部紋理，忽視整體空間關(guān)系

• 分布偏移下魯棒性差：在不同數(shù)據(jù)分布下性能下降

• 嚴(yán)重依賴標(biāo)注數(shù)據(jù)：需要針對特定任務(wù)進行微調(diào)

• 任務(wù)特定性：每個模型只能做一件事（分類、分割、檢測等）

多模態(tài)基礎(chǔ)模型

• RS-MLLM架構(gòu)：結(jié)合EO專用視覺編碼器、對齊模塊和語言模型

• 代表系統(tǒng)：GeoChat、LHRS-Bot、RS-LLaVA、SkySenseGPT、RingMo-GPT等

• 支持任務(wù)：圖像描述、視覺問答、場景理解、定位等

局限：

• 無長期記憶：無法維護工作流上下文

• 無順序規(guī)劃能力：不能分解和執(zhí)行多步驟任務(wù)

• 無動態(tài)工具交互：不能主動調(diào)用地理空間庫和工具

單智能體系統(tǒng)

• 本質(zhì)：一個AI大腦完成所有工作

• 就像一個全能助手，用戶提出需求后，這個智能體獨自負(fù)責(zé)理解問題、制定計劃、調(diào)用工具、執(zhí)行任務(wù)、生成結(jié)果。整個過程是集中式?jīng)Q策，沒有其他智能體參與。

• 典型工作流程： 用戶說"分析這片森林的健康狀況" → 智能體理解意圖 → 規(guī)劃需要哪些步驟 → 依次調(diào)用圖像分割工具、LiDAR分析工具、知識庫查詢 → 綜合生成報告。

• 三個子類型：

• • 通用copilot能處理各種常見任務(wù)但不夠?qū)I(yè)

  • 領(lǐng)域?qū)Ｓ胊ssistant在特定領(lǐng)域很強但范圍有限

  • embodied agent則直接控制無人機或衛(wèi)星等物理設(shè)備

• 優(yōu)勢： 架構(gòu)簡單、響應(yīng)快、成本低。劣勢： 處理復(fù)雜任務(wù)時容易力不從心，難以整合高度專業(yè)化的知識。

多智能體系統(tǒng)

• 本質(zhì)：多個AI專家分工協(xié)作

• 就像一個專家團隊，每個智能體扮演不同角色，有的負(fù)責(zé)規(guī)劃、有的負(fù)責(zé)執(zhí)行、有的負(fù)責(zé)驗證。它們通過顯式的通信和協(xié)商來共同完成復(fù)雜任務(wù)。

• 典型工作流程： 用戶說"評估礦產(chǎn)勘探潛力" → 規(guī)劃智能體分解任務(wù) → 多個判斷智能體從不同角度分析地質(zhì)數(shù)據(jù) → 決策智能體綜合所有意見并處理分歧 → 輸出最終評估報告。

• 四種協(xié)作模式：

• • planner-worker 架構(gòu)是最常見的老板-員工關(guān)系；

  • expert committee 讓多個平等的專家各抒己見后投票決策；

  • platform orchestration 用meta-agent調(diào)度各種專業(yè)子智能體；

  • embodied multi-agent 讓每個衛(wèi)星或無人機作為獨立決策單元協(xié)同工作。

• 優(yōu)勢： 可以處理高度復(fù)雜的任務(wù)、整合異構(gòu)專業(yè)知識、支持并行處理、更容錯。劣勢： 系統(tǒng)復(fù)雜、協(xié)調(diào)開銷大、成本高、可能出現(xiàn)智能體間的不一致。

總結(jié)表格

基準(zhǔn)測試與評估

數(shù)據(jù)集與基準(zhǔn)

預(yù)訓(xùn)練與指令調(diào)優(yōu)數(shù)據(jù)集

• RS-VL3M（數(shù)百萬多模態(tài)圖像-文本對）

• RemoteCLIP（mask-to-caption管道）

• GeoRSMLLM、LHRS-Bot-Nova、OmniGeo（指令調(diào)優(yōu)）

地理空間規(guī)劃與工具使用基準(zhǔn)

• GeoLLM-Engine（任務(wù)環(huán)境+狀態(tài)驗證）

• GeoCode（19,000任務(wù)，28庫）

• GeoBenchX（多步推理+認(rèn)知覺知）

• GTChain-Eval、GeoGraphRAG

推理與安全基準(zhǔn)

• 推理：Earth-Bench、ThinkGeo、MineBench、RescueADI

• MLLM專用：GeoChat、LHRS-Bench（空間關(guān)系推理）

• 向量操作：ShapefileGPT、GeoJSON Agents

• 安全評估：CORE、ToolEmu（全路徑驗證+有害調(diào)用檢測）

評估方法

評估范式轉(zhuǎn)變：

• 從端到端到全路徑：CORE用DFA檢測禁止轉(zhuǎn)換，Earth-Agent/ThinkGeo雙層驗證（程序+語義）

多層次指標(biāo)：

• 推理過程：Tool Accuracy、Argument Accuracy（逐步驗證）

• 代碼生成：Pass@k、Task Completion Rate、失敗類型分析（API幻覺、停滯循環(huán)）

• 感知質(zhì)量：F1-score、mAP@0.5、accuracy、relative error

• 誤差傳播：Mean-square percentage error（智能體錯誤對地球物理產(chǎn)品的影響）

智能體需要三個支撐系統(tǒng)：

一、知識層（RAG）

問題： LLM不懂遙感專業(yè)知識。

解決： 建立知識庫，智能體執(zhí)行任務(wù)時動態(tài)檢索相關(guān)信息。

作用： 讓智能體知道"該怎么做"。

二、工具層

問題： 智能體需要實際操作數(shù)據(jù)和軟件。

解決： 集成幾十到上百個遙感處理工具，提供統(tǒng)一調(diào)用接口。

作用： 讓智能體真正"能干活"。

三、內(nèi)存層

問題： 復(fù)雜任務(wù)需要多步驟，必須記住中間結(jié)果。

解決： 建立記憶系統(tǒng)，保存執(zhí)行歷史和成功經(jīng)驗。

作用： 讓智能體"記得住"，避免重復(fù)勞動。

應(yīng)用領(lǐng)域

• 地球觀測助手：RS-Agent、GIS Copilot等民主化RS數(shù)據(jù)訪問

• 森林與生態(tài)監(jiān)測：TREE-GPT自動化樹冠分割、生物量估算

• 氣候與地球系統(tǒng)服務(wù)：Earth AI、DA4DTE支持災(zāi)害預(yù)測

• 野火與災(zāi)害監(jiān)測：融合衛(wèi)星檢測與天氣數(shù)據(jù)模擬火災(zāi)蔓延

• 城市變化監(jiān)測：Change-Agent動態(tài)選擇分割/計數(shù)工具

• 地圖設(shè)計與規(guī)劃：CartoAgent、WALMAS自動化制圖設(shè)計

• 地質(zhì)制圖與礦產(chǎn)勘探：STA-CoT、MineAgent跨圖像驗證

• 衛(wèi)星調(diào)度與無人機任務(wù)：多智能體強化學(xué)習(xí)優(yōu)化觀測調(diào)度

當(dāng)前局限

• 地理空間定位有限：主要處理RGB圖像，對光譜產(chǎn)品、SAR支持不足

• 工具編排脆弱：工具選擇和參數(shù)格式化錯誤

• 淺層時間記憶：缺乏結(jié)構(gòu)化、可查詢的多時相存儲

• 評估協(xié)議碎片化：缺乏統(tǒng)一的規(guī)劃質(zhì)量、感知精度和安全性評估

• 計算約束：依賴大型專有LLM和云基礎(chǔ)設(shè)施

未來方向

方向一：基礎(chǔ)模型與內(nèi)存

• 核心思路： 專門為遙感從零構(gòu)建模型，而不是改造通用模型。

• 要做的事：

• • 開發(fā)能同時處理光學(xué)、SAR、熱紅外等多傳感器的原生編碼器

  • 集成物理模型和模擬器，連接原始數(shù)據(jù)到科學(xué)推理

  • 建立分層內(nèi)存系統(tǒng)，融合向量存儲、知識圖譜、工作流記錄

  • 需要開放研究平臺支持透明實驗

• 目標(biāo)： 讓智能體真正"懂"遙感數(shù)據(jù)。

方向二：安全、效率與公平

• 核心思路： 把可靠性和實用性作為首要目標(biāo)。

• 要做的事：

• • 設(shè)計更嚴(yán)格的壓力測試（分布偏移、對抗攻擊、不可解查詢）

  • 標(biāo)準(zhǔn)化安全評估指標(biāo)（軌跡正確性、有害調(diào)用率）

  • 開發(fā)更小的模型，能在邊緣設(shè)備本地部署

  • 降低對大型云服務(wù)的依賴

• 目標(biāo)： 讓智能體從實驗室走向?qū)嶋H應(yīng)用，既可靠又可用。

更多圖文內(nèi)容請查看原文

來源：遙感與深度學(xué)習(xí)