哈工大團(tuán)隊(duì)帶來的SAR領(lǐng)域首個(gè)融合多輔助任務(wù)的大模型 SUMMIT 。它如何解決SAR成像機(jī)制帶來的獨(dú)特難題？讓我們一探究竟。

最近讀到一篇發(fā)在關(guān)于SAR的大模型的paper，來自哈工大團(tuán)隊(duì)，名為《SUMMIT: A SAR foundation model with multiple auxiliary tasks enhanced intrinsic characteristics》，發(fā)布了一個(gè)名為“SUMMIT”的模型。

整個(gè)算法研發(fā)過程很有參考價(jià)值，并且實(shí)測效果也都很不錯(cuò)。

PART.01

現(xiàn)有困境：光學(xué)經(jīng)驗(yàn)的水土不服

現(xiàn)有的遙感大模型大多基于光學(xué)圖像訓(xùn)練，往往忽略了合成孔徑雷達(dá)（SAR）獨(dú)特的成像機(jī)制。業(yè)界似乎也沒有特別好的專門針對SAR的大模型，研究方向可能主要還是在于如何將SAR的物理特性（如斑點(diǎn)噪聲、散射機(jī)制）注入深度學(xué)習(xí)模型。

這篇研究提出了首個(gè)融合多輔助任務(wù)的SAR基礎(chǔ)模型SUMMIT，通過自監(jiān)督學(xué)習(xí)框架，巧妙地將去噪與空間散射特征增強(qiáng)結(jié)合，在分類、檢測和分割等下游任務(wù)中取得了SOTA性能。

在光學(xué)領(lǐng)域，像 GPT、DINOv2 這種模型通過海量數(shù)據(jù)預(yù)訓(xùn)練，泛化能力強(qiáng)得離譜。但在 SAR 領(lǐng)域，沒有起到特別好作用。主要是存在以下問題：

1. 成像機(jī)制差異SAR基于主動(dòng)式微波成像，其圖像由回波矢量疊加形成。這導(dǎo)致了光學(xué)圖像中不存在的斑點(diǎn)噪聲和幾何畸變。

2. 特征表征困難通用視覺模型傾向于學(xué)習(xí)顏色和紋理特征，而SAR圖像是單通道的幅度信息，依賴于強(qiáng)散射點(diǎn)和邊緣結(jié)構(gòu)來表征目標(biāo)。

3. 數(shù)據(jù)與知識(shí)缺口缺乏大規(guī)模、高質(zhì)量的SAR預(yù)訓(xùn)練數(shù)據(jù)集，且模型難以自發(fā)理解SAR的電磁散射物理特性。

通俗來說就是，因?yàn)槌上裨淼腻娜徊煌约跋∪钡臄?shù)據(jù)集，導(dǎo)致現(xiàn)有的視覺模型在面對SAR時(shí)，很難有好的效果。

PART.02

核心思路：物理驅(qū)動(dòng)的自監(jiān)督學(xué)習(xí)

所以就涉及到模型的微調(diào)，這篇研究采用的技術(shù)路線還是以MAE為主，但是與傳統(tǒng)的MAE有改進(jìn)。

直接套用類似 MAE（掩碼自編碼器）這種讓模型“猜被遮擋部分”的邏輯，模型很可能會(huì)把注意力浪費(fèi)在擬合那些隨機(jī)的噪聲斑點(diǎn)上，而不是去理解真正的地物結(jié)構(gòu)。

本研究主要基于ViT的掩碼自編碼器（MAE）架構(gòu)。其核心創(chuàng)新在于引入了輔助任務(wù)協(xié)調(diào)模塊（ATCM），將三個(gè)物理驅(qū)動(dòng)的自監(jiān)督輔助任務(wù)（SSATs）無縫集成到預(yù)訓(xùn)練中：

自監(jiān)督去噪

SAR的斑點(diǎn)噪聲近似于乘性噪聲。ATCM在輸入端對原始圖像進(jìn)行對數(shù)變換并注入模擬高斯噪聲，強(qiáng)制Encoder學(xué)習(xí)從含噪數(shù)據(jù)中恢復(fù)純凈信號，讓模型學(xué)會(huì)“忽略”斑點(diǎn)噪聲。

邊緣特征增強(qiáng)

利用Canny算子提取原始圖像的邊緣圖作為監(jiān)督信號。該任務(wù)迫使模型保留高頻的結(jié)構(gòu)和輪廓信息，這對SAR目標(biāo)的幾何形狀識(shí)別至關(guān)重要。

散射點(diǎn)特征提取

利用Harris角點(diǎn)檢測提取強(qiáng)散射點(diǎn)。SAR圖像中，角點(diǎn)和邊緣通常對應(yīng)強(qiáng)后向散射中心。

同時(shí)為了支撐訓(xùn)練，作者構(gòu)建了一個(gè)涵蓋56萬張樣本的數(shù)據(jù)集 MuSID：涵蓋C波段和X波段，源自高分三號、Sentinel-1、TerraSAR-X等多個(gè)傳感器，分辨率跨度從0.3m到15m。并且經(jīng)過嚴(yán)格的數(shù)據(jù)清洗、裁剪（統(tǒng)一為448x448）和去重處理。

PART.03

實(shí)驗(yàn)結(jié)果：顯著提升

在分類、檢測、分割三個(gè)下游任務(wù)上，基于 MSTAR, SSDD, SAR-Aircraft-1.0 等7個(gè)主流數(shù)據(jù)集進(jìn)行了廣泛驗(yàn)證。

01

目標(biāo)檢測

在 SARDet-100K（目前最大的SAR檢測數(shù)據(jù)集）上，SUMMIT展現(xiàn)了壓倒性優(yōu)勢。相比于直接在SAR數(shù)據(jù)上微調(diào)的 ViTDet，SUMMIT的 mAP 提升了至少為 5%。

在港口和停機(jī)坪等密集場景下，SUMMIT能有效分離重疊目標(biāo)，而對比模型容易出現(xiàn)漏檢或誤檢。

02

目標(biāo)分類

在 MSTAR 數(shù)據(jù)集上的小樣本性能突出：

• 僅使用 30% 的訓(xùn)練數(shù)據(jù)，準(zhǔn)確率達(dá)到 98.39%。

• 全量數(shù)據(jù)下準(zhǔn)確率達(dá) 99.89%，優(yōu)于 ResNet, Swin-Transformer 等主流模型。

03

真正的理解：注意力熱力圖

對比熱力圖可以發(fā)現(xiàn)模型學(xué)習(xí)機(jī)理的區(qū)別，上圖紅框?yàn)镾UMMIT模型的注意力結(jié)果：

• 普通 ViT：

  注意力由于受斑點(diǎn)噪聲干擾，分布較為散亂，常聚焦于背景噪聲。

• SUMMIT：

  注意力高度集中在目標(biāo)的強(qiáng)散射中心（如艦船甲板、飛機(jī)機(jī)身）。

這證明，通過那些輔助任務(wù)的“調(diào)教”，模型真的懂了 SAR 的成像機(jī)理，它知道哪里是信號，哪里是噪聲。

小 結(jié)

在垂類領(lǐng)域的 AI 研究中，Domain Knowledge（領(lǐng)域知識(shí)）依然是王道。

單純的數(shù)據(jù)堆疊也許能解決通用的視覺問題，但像 SAR 這種有著復(fù)雜物理背景的數(shù)據(jù)，必須要把物理特性（如散射機(jī)制、噪聲分布）融入到模型的設(shè)計(jì)哲學(xué)里去。

論文相關(guān)代碼已經(jīng)開源：

https://github.com/Yunsans/SUMMIT-SAR

>End

本文轉(zhuǎn)載自“空天感知”，原標(biāo)題《哈工大提出物理驅(qū)動(dòng)的SAR大模型SUMMIT，多項(xiàng)下游任務(wù)SOTA》。

為分享前沿資訊及有價(jià)值的觀點(diǎn)，太空與網(wǎng)絡(luò)微信公眾號轉(zhuǎn)載此文，并經(jīng)過編輯。

未按照規(guī)范轉(zhuǎn)載及引用者，我們保留追究相應(yīng)責(zé)任的權(quán)利

部分圖片難以找到原始出處，故文中未加以標(biāo)注，如若侵犯了您的權(quán)益，請第一時(shí)間聯(lián)系我們。

HISTORY/往期推薦

充滿激情的新時(shí)代，

充滿挑戰(zhàn)的新疆域，

與踔厲奮發(fā)的引領(lǐng)者，

卓爾不群的企業(yè)家，

一起開拓，

一起體驗(yàn)，

一起感悟，

共同打造更真品質(zhì)，

共同實(shí)現(xiàn)更高價(jià)值，

共同見證商業(yè)航天更大的跨越！

——《太空與網(wǎng)絡(luò)》，觀察，記錄，傳播，引領(lǐng)。

·《衛(wèi)星與網(wǎng)絡(luò)》創(chuàng)始人：劉雨菲

·《衛(wèi)星與網(wǎng)絡(luò)》副社長：王俊峰

·微信公眾號（ID：satnetdy）團(tuán)隊(duì)

編輯：艷玲、哈玫，周泳、邱莉、黃榕、娜娜

主筆記者：李剛、魏興、張雪松、霍劍、樂瑜、稻子、趙棟

策劃部：楊艷、若?、李真子

視覺總監(jiān)：董濘

專業(yè)攝影：馮小京、宋偉

設(shè)計(jì)部：顧錳、潘希峎、楊小明

行政部：姜河、林紫

業(yè)務(wù)部：王錦熙、瑾怡

原創(chuàng)文章轉(zhuǎn)載授權(quán)、轉(zhuǎn)載文章侵權(quán)、投稿等事宜，請加微信：15910858067

商務(wù)合作；展覽展廳設(shè)計(jì)、企業(yè)VI/CI及室內(nèi)設(shè)計(jì)、企業(yè)文化建設(shè)及品牌推廣；企業(yè)口碑傳播及整體營銷傳播等，請加微信：13811260603

雜志訂閱，請加微信：wangxiaoyu9960

·衛(wèi)星與網(wǎng)絡(luò)各分部：

成都分部負(fù)責(zé)人：沈淮

長沙分部負(fù)責(zé)人：賓鴻浦

西安分部負(fù)責(zé)人：郭朝暉

青島分部負(fù)責(zé)人：江偉

·衛(wèi)星與網(wǎng)絡(luò)總部負(fù)責(zé)人：農(nóng)燕

·會(huì)議活動(dòng)部負(fù)責(zé)人：喬顥益、許克新、董今福

· 投融資及戰(zhàn)略層面合作：劉雨菲

·本平臺(tái)簽約設(shè)計(jì)公司：一畫開天（北京）文化創(chuàng)意設(shè)計(jì)有限公司

· 航天加（深圳）股權(quán)投資基金管理負(fù)責(zé)人：楊艷