題目: Crowd detection using Very-Fine-Resolution satellite imagery

期刊: ISPRS Journal of Photogrammetry and Remote Sensing

論文: https://doi.org/10.1016/j.isprsjprs.2026.01.001

數(shù)據(jù): CrowdSat數(shù)據(jù)集（論文首次提出）

代碼: https://github.com/Tong-777777/CrowdSat-Net

年份: 2026

單位: 中央民族大學(xué)；同濟(jì)大學(xué)；蘭卡斯特大學(xué)；南安普頓大學(xué)

創(chuàng)新點(diǎn)

• 首次利用超高分辨率(~0.3m)衛(wèi)星影像進(jìn)行人群檢測(cè)，構(gòu)建了包含超過(guò)12萬(wàn)個(gè)標(biāo)注個(gè)體的CrowdSat數(shù)據(jù)集

• 提出CrowdSat-Net網(wǎng)絡(luò)，包含雙上下文漸進(jìn)注意力網(wǎng)絡(luò)(DCPAN)模塊來(lái)增強(qiáng)小目標(biāo)特征表示

• 設(shè)計(jì)高頻引導(dǎo)可變形上采樣器(HFGDU)模塊，通過(guò)頻域引導(dǎo)的可變形卷積恢復(fù)上采樣過(guò)程中的高頻信息

• 引入多時(shí)相影像輔助標(biāo)注策略，減少點(diǎn)狀背景物體的誤標(biāo)注率

隨著人口增長(zhǎng)和城市化進(jìn)程加快，公共區(qū)域人群活動(dòng)頻繁增加，帶來(lái)交通擁堵、踩踏事故、安全隱患和公共衛(wèi)生風(fēng)險(xiǎn)等問(wèn)題。人群檢測(cè)(CD)通過(guò)估計(jì)特定區(qū)域內(nèi)個(gè)體的位置和數(shù)量，對(duì)緩解這些風(fēng)險(xiǎn)至關(guān)重要。傳統(tǒng)方法主要依賴地面監(jiān)控或航空影像，但存在時(shí)空覆蓋范圍有限的問(wèn)題。

超高分辨率(VFR)衛(wèi)星影像(如北京三號(hào)、吉林一號(hào)高分04A等，空間分辨率約0.3米)的發(fā)展為大規(guī)模人群活動(dòng)分析提供了新機(jī)遇。相比地面和航空影像，VFR衛(wèi)星影像具有更廣的空間覆蓋和更短的重訪周期，能夠?qū)崿F(xiàn)持續(xù)的大范圍監(jiān)測(cè)和歷史模式分析。然而，VFR影像中個(gè)體信號(hào)微弱且模糊(約3×3像素)，在特征提取和上采樣過(guò)程中容易出現(xiàn)信號(hào)衰減或丟失，現(xiàn)有方法難以有效應(yīng)對(duì)這些挑戰(zhàn)。

數(shù)據(jù)

本文構(gòu)建了首個(gè)基于VFR衛(wèi)星影像的人群檢測(cè)數(shù)據(jù)集CrowdSat。

CrowdSat數(shù)據(jù)集

• 數(shù)據(jù)來(lái)源與覆蓋范圍
• • 
    

    數(shù)據(jù)來(lái)自三個(gè)互補(bǔ)的遙感數(shù)據(jù)源：Google Earth平臺(tái)(空間分辨率約0.30m)、北京三號(hào)衛(wèi)星(BJ3N，0.30m全色波段)和吉林一號(hào)高分04A衛(wèi)星(JL4A，0.31m全色波段)

  • 覆蓋中國(guó)32個(gè)省級(jí)行政區(qū)(貴州省和澳門除外)，采集時(shí)間為2023年2月20日至2025年1月2日

  • 選取的區(qū)域包括城市廣場(chǎng)、商業(yè)街、交通樞紐和風(fēng)景名勝等典型公共聚集場(chǎng)所

• 數(shù)據(jù)預(yù)處理

• • 對(duì)BJ3N和JL4A的多光譜影像(1.20m/1.24m)使用區(qū)域到點(diǎn)回歸克里金(ATPRK)全色銳化技術(shù)，提升至0.30m/0.31m空間分辨率

  • 進(jìn)行幾何校正、裁剪和輻射歸一化處理，增強(qiáng)不同數(shù)據(jù)源之間的一致性

  • 將影像裁剪為256×256像素的無(wú)重疊圖像塊，移除無(wú)人群的圖像塊后得到3447個(gè)標(biāo)注圖像塊

• 數(shù)據(jù)標(biāo)注

• • 采用中心點(diǎn)標(biāo)注策略，在每個(gè)個(gè)體的3×3像素區(qū)域中心放置單點(diǎn)標(biāo)注

  • 利用Google Earth平臺(tái)的多時(shí)相VFR影像作為輔助數(shù)據(jù)，交叉參考不同時(shí)間點(diǎn)的影像以區(qū)分個(gè)體與固定物體(如路面、路燈、石柱等)

  • 總計(jì)標(biāo)注120,141個(gè)個(gè)體，平均每個(gè)圖像塊包含34.9個(gè)個(gè)體，中位數(shù)為14.0個(gè)

• 數(shù)據(jù)集特征
• • 多密度表示

    圖像塊中個(gè)體數(shù)量范圍從1到808，覆蓋從極稀疏到極密集的各種人群場(chǎng)景

  • 全國(guó)范圍覆蓋

    各省份圖像塊數(shù)量從0到393不等，個(gè)體數(shù)量從0到10,716不等

  • 多季節(jié)適應(yīng)

    數(shù)據(jù)采集跨越所有四季，涵蓋不同的光照條件和人群活動(dòng)模式

  • 多樣化環(huán)境

    包含開放公共區(qū)域、建成區(qū)、雪地、植被區(qū)、海灘、沙漠等多種場(chǎng)景類型

方法

本文提出CrowdSat-Net，一種基于點(diǎn)的卷積神經(jīng)網(wǎng)絡(luò)方法，專門設(shè)計(jì)用于VFR衛(wèi)星影像的人群檢測(cè)。

整體架構(gòu)

• 采用兩階段堆疊沙漏網(wǎng)絡(luò)(Hourglass Network)作為主干

• 使用焦點(diǎn)逆距離變換(FIDT)方法將標(biāo)注圖像轉(zhuǎn)換為FIDT圖，通過(guò)為更接近中心的像素分配更高的響應(yīng)值實(shí)現(xiàn)密集人群中的無(wú)重疊定位

• 采用中間監(jiān)督策略，每個(gè)沙漏網(wǎng)絡(luò)生成位置圖并計(jì)算焦點(diǎn)損失，總損失為各沙漏網(wǎng)絡(luò)焦點(diǎn)損失之和

• 使用局部最大值檢測(cè)策略(LMDS)處理最后一個(gè)沙漏網(wǎng)絡(luò)的位置圖以獲得最終的個(gè)體定位

雙上下文漸進(jìn)注意力網(wǎng)絡(luò)(DCPAN)

• 模塊設(shè)計(jì)

• • 嵌入在ResNet層之后的圖像預(yù)處理階段，用于增強(qiáng)小目標(biāo)特征表示

  • 結(jié)合基礎(chǔ)空間注意力(SA)編碼和兩個(gè)并行分支：多尺度特征提取(MSFE)分支和局部對(duì)比度增強(qiáng)(LCE)分支

• 關(guān)鍵組件
• • SA編碼

    通過(guò)最大池化和平均池化提取基礎(chǔ)空間特征

  • MSFE分支

    采用膨脹率為2和4的并行膨脹卷積層捕獲互補(bǔ)的多尺度上下文信息，解決全局池化操作無(wú)法建模對(duì)象間位置依賴關(guān)系的問(wèn)題

  • LCE分支

    通過(guò)局部對(duì)比度生成器突出具有大異質(zhì)性的位置，恢復(fù)標(biāo)準(zhǔn)池化操作模糊的高頻細(xì)節(jié)

  • 將MSFE和LCE的輸出逐元素相加后通過(guò)sigmoid激活生成增強(qiáng)權(quán)重圖，與原始特征逐像素相乘得到最終特征

高頻引導(dǎo)可變形上采樣器(HFGDU)

• 模塊目標(biāo)

• • 替代傳統(tǒng)上采樣方法(如雙線性插值)，恢復(fù)上采樣過(guò)程中丟失的高頻信息和精細(xì)空間細(xì)節(jié)

  • 解決傳統(tǒng)方法導(dǎo)致的邊界過(guò)度平滑和高頻特征錯(cuò)位問(wèn)題

• 三階段架構(gòu)
• • 初始上采樣

    使用雙線性插值將粗分辨率特征圖上采樣以匹配細(xì)分辨率特征圖的空間尺寸

  • 高頻細(xì)節(jié)補(bǔ)償(HFDC)

    采用可學(xué)習(xí)的拉普拉斯類高通濾波器提取上采樣特征圖的高頻分量，通過(guò)殘差補(bǔ)償生成器細(xì)化高頻特征圖，并與上采樣特征圖整合恢復(fù)精細(xì)高頻分量

  • 可變形對(duì)齊融合(DAF)

    引入可變形卷積層預(yù)測(cè)空間偏移量動(dòng)態(tài)對(duì)齊上采樣特征和細(xì)分辨率特征，通過(guò)特征調(diào)制門選擇性整合對(duì)齊特征并抑制冗余信息

CrowdSat-Net在CrowdSat數(shù)據(jù)集上超越了八種先進(jìn)的人群檢測(cè)方法，實(shí)現(xiàn)了最高的F1分?jǐn)?shù)和精度，驗(yàn)證了DCPAN和HFGDU模塊的有效性。跨區(qū)域評(píng)估進(jìn)一步證明了模型在全球不同地區(qū)的空間泛化能力，但在極稀疏和極密集場(chǎng)景中仍存在性能下降的局限。

更多圖表分析可見(jiàn)原文

來(lái)源：遙感與深度學(xué)習(xí)