針對(duì)視覺 Transformer（ViT）因其固有 “低通濾波” 特性導(dǎo)致深度網(wǎng)絡(luò)中細(xì)節(jié)信息丟失的問題，我們提出了一種即插即用、受電路理論啟發(fā)的 頻率動(dòng)態(tài)注意力調(diào)制（FDAM）模塊。它通過巧妙地 “反轉(zhuǎn)” 注意力以生成高頻補(bǔ)償，并對(duì)特征頻譜進(jìn)行動(dòng)態(tài)縮放，最終在幾乎不增加計(jì)算成本的情況下，大幅提升了模型在分割、檢測(cè)等密集預(yù)測(cè)任務(wù)上的性能，并取得了 SOTA 效果。

該工作來自北京理工大學(xué)、RIKEN AIP和東京大學(xué)的研究團(tuán)隊(duì)。

• 論文全文: https://arxiv.org/abs/2507.12006
• 作者主頁: https://linwei-chen.github.io
• 實(shí)驗(yàn)室主頁: https://ying-fu.github.io
• 開源代碼: https://github.com/Linwei-Chen/FDAM

研究背景：為什么這是一個(gè)重要的問題？

視覺 Transformer（ViT）無疑是近年來計(jì)算機(jī)視覺領(lǐng)域最耀眼的明星。它憑借強(qiáng)大的全局建模能力，在圖像分類、目標(biāo)檢測(cè)、語義分割等眾多任務(wù)上刷新了紀(jì)錄。然而，當(dāng)我們構(gòu)建更深、更強(qiáng)大的 ViT 模型時(shí)，一個(gè) “隱秘的角落” 里的問題逐漸浮出水面：模型看世界，怎么越來越模糊了？

這并非錯(cuò)覺。對(duì)于分割、檢測(cè)這類需要精確定位的 “密集預(yù)測(cè)” 任務(wù)而言，圖像的邊緣、紋理等高頻細(xì)節(jié)至關(guān)重要。但研究發(fā)現(xiàn)，ViT 中的核心部件 —— 自注意力機(jī)制（Self-Attention），其本質(zhì)上像一個(gè)低通濾波器。這意味著每經(jīng)過一層注意力，圖像特征中的高頻細(xì)節(jié)就會(huì)被削弱一分，而平滑的低頻結(jié)構(gòu)則被保留和增強(qiáng)。當(dāng)我們將數(shù)十個(gè)這樣的 “濾波器” 堆疊起來，災(zāi)難性的“頻率消失”（Frequency Vanishing）現(xiàn)象便發(fā)生了：網(wǎng)絡(luò)深層的特征幾乎完全丟失了細(xì)節(jié)信息，導(dǎo)致表征坍塌（Representation Collapse），最終輸出的預(yù)測(cè)結(jié)果自然也就模糊不清、邊界不準(zhǔn)。

正如上圖所示，在標(biāo)準(zhǔn)的 ViT 中，高頻信息隨著層數(shù)加深迅速衰減至零。解決這一根本性缺陷，釋放 ViT 在高清視覺任務(wù)上的全部潛力，是當(dāng)前領(lǐng)域亟待突破的關(guān)鍵瓶頸。

現(xiàn)有方法的局限性

此前，一些工作嘗試緩解 ViT 的 “過平滑” 問題，例如通過正則化或直接在頻域上對(duì)衰減的高頻信號(hào)進(jìn)行靜態(tài)補(bǔ)償（如 AttnScale, NeuTRENO 等）。這些方法起到了一定作用，但它們更像是 “亡羊補(bǔ)牢”—— 在細(xì)節(jié)丟失后進(jìn)行被動(dòng)修復(fù)，而未能從根本上改變注意力機(jī)制的低通天性。它們?nèi)狈σ环N動(dòng)態(tài)、自適應(yīng)的能力，來根據(jù)不同圖像內(nèi)容和任務(wù)需求，靈活地處理全頻譜的視覺信息。

FDAM 的核心思想是什么？

既然問題出在注意力機(jī)制這個(gè) “元件” 上，我們能否重新設(shè)計(jì)這個(gè) “電路”？我們的核心思想，源于經(jīng)典的電路理論。

想象一下音響上的均衡器。標(biāo)準(zhǔn)注意力就像一個(gè)只有 “重低音”（Low-Pass）的旋鈕，它會(huì)濾掉清亮的高音。我們?nèi)绾螒{空造出一個(gè) “高音”（High-Pass）旋鈕呢？電路理論給了我們一個(gè)絕妙的啟示：高通濾波器 = 全通濾波器 - 低通濾波器。

這個(gè)簡單的公式正是我們方法的核心 ——注意力反轉(zhuǎn)（Attention Inversion, AttInv）。

• “全通濾波器”是什么？就是未經(jīng)處理的原始特征，它包含了所有頻率的信息。
• “低通濾波器”是什么？就是標(biāo)準(zhǔn)注意力模塊處理后的特征，它只保留了低頻成分。

兩者相減，得到的 “殘差” 不就恰好是那些被濾掉的高頻細(xì)節(jié)么？

基于此，我們的 AttInv 模塊不再是單一的低通濾波器。在每一層，它都同時(shí)擁有了原始的 “低通” 路徑和我們創(chuàng)造的 “高通” 路徑。更關(guān)鍵的是，我們引入了一個(gè)輕量級(jí)的動(dòng)態(tài) “混音器”，讓模型能夠根據(jù)圖像上每個(gè)區(qū)域的特點(diǎn)，自主學(xué)習(xí)是該更關(guān)注平滑的整體結(jié)構(gòu)（低頻），還是更聚焦于銳利的邊緣紋理（高頻）。當(dāng)這樣的模塊堆疊起來，模型便擁有了 2^L 種（L 為層數(shù)）復(fù)雜的頻率組合能力，能夠擬合出遠(yuǎn)比之前豐富多樣的頻率響應(yīng)。

方法的關(guān)鍵組成部分

當(dāng)然，僅有 “低音” 和 “高音” 兩個(gè)旋鈕對(duì)于專業(yè)音響師來說還不夠。為了實(shí)現(xiàn)更精細(xì)的 “調(diào)音”，我們?cè)O(shè)計(jì)了第二個(gè)關(guān)鍵組件：頻率動(dòng)態(tài)縮放（Frequency Dynamic Scaling, FreqScale）。

FreqScale 就像一個(gè)多頻段圖形均衡器。它將特征圖轉(zhuǎn)換到頻域，將其劃分為多個(gè)頻段，并為每個(gè)頻段學(xué)習(xí)一個(gè)動(dòng)態(tài)的增益權(quán)重。這樣，模型不僅能區(qū)分高低頻，還能根據(jù)需要精確地 “增強(qiáng)” 或 “抑制” 某個(gè)特定頻段的信號(hào)，例如，為分割任務(wù)特別增強(qiáng)中高頻的邊緣信號(hào)。

FDAM = AttInv (粗調(diào)高低頻) + FreqScale (精調(diào)各頻段)。兩者結(jié)合，構(gòu)成了一套完整、高效且自適應(yīng)的全頻譜解決方案。

實(shí)驗(yàn)效果有多驚艷？

我們的 FDAM 模塊是 “即插即用” 的，可以輕松集成到各種主流 ViT 架構(gòu)中，且?guī)淼膮?shù)量和計(jì)算量開銷微乎其微。但效果的提升卻是實(shí)實(shí)在在的：

定量展示：

• 在語義分割任務(wù)中，F(xiàn)DAM 為輕量的SegFormer-B0在 ADE20K 數(shù)據(jù)集上帶來了+2.4 mIoU的巨幅提升。對(duì)于強(qiáng)大的DeiT3-Base，F(xiàn)DAM 依然能穩(wěn)定提升+0.8 mIoU，達(dá)到了52.6%的 SOTA 性能。
• 在目標(biāo)檢測(cè)與實(shí)例分割的 “兵家必爭之地” COCO 數(shù)據(jù)集上，F(xiàn)DAM 賦能Mask DINO，將檢測(cè) AP 提升了+1.6，分割 AP 提升了+1.4，效果顯著。
• 在遙感圖像檢測(cè) DOTA 數(shù)據(jù)集上，我們的方法同樣取得了當(dāng)前單尺度設(shè)定的最優(yōu)成績。

定性展示：

• “一圖勝千言”。從下方的特征圖對(duì)比中可以直觀地看到，標(biāo)準(zhǔn) DeiT 的特征圖（b）細(xì)節(jié)模糊，而經(jīng)過 FDAM 增強(qiáng)后的特征圖（c）輪廓清晰、紋理銳利，物體的結(jié)構(gòu)被完美地保留了下來。其對(duì)應(yīng)的頻譜圖（e）也證實(shí)了我們的方法保留了更豐富的高頻成分。

理論支撐：

• 我們的方法不僅效果好，理論上也站得住腳。分析表明，F(xiàn)DAM 能有效抵抗表征坍塌，其 “有效秩”（Effective Rank）在網(wǎng)絡(luò)深層遠(yuǎn)高于基線模型，證明了特征的多樣性得到了更好的維持。

這項(xiàng)工作意味著什么？

FDAM 的價(jià)值不僅在于刷新了幾個(gè) SOTA 點(diǎn)數(shù)，更在于：

1.提供了新視角：它成功地將經(jīng)典的電路理論思想引入到前沿的 Transformer 設(shè)計(jì)中，為解決深度學(xué)習(xí)中的基礎(chǔ)問題（如信息衰減）提供了一個(gè)全新的、符合第一性原理的思考框架。

2.解決了真問題：它精準(zhǔn)地定位并有效解決了 ViT 在密集預(yù)測(cè)任務(wù)中的一個(gè)核心痛點(diǎn) ——“頻率消失”，將 ViT 的潛力更充分地釋放出來。

3.兼具實(shí)用與優(yōu)雅：作為一個(gè)輕量、即插即用的模塊，F(xiàn)DAM 可以毫不費(fèi)力地為現(xiàn)有模型 “增壓”，在工業(yè)界和學(xué)術(shù)界都有著巨大的應(yīng)用潛力。

這項(xiàng)工作可能會(huì)推動(dòng)社區(qū)在需要高清細(xì)節(jié)的領(lǐng)域（如醫(yī)學(xué)影像分析、高分辨率遙感、自動(dòng)駕駛感知）中更廣泛地應(yīng)用和探索更深層的 ViT 模型。

未來可以探索的方向

FDAM 也為未來研究打開了新的大門。例如，我們是否可以設(shè)計(jì)一個(gè)完全在頻域中進(jìn)行動(dòng)態(tài)路由的全新網(wǎng)絡(luò)結(jié)構(gòu)？這種頻率調(diào)制的思想能否被拓展到視頻、三維點(diǎn)云甚至多模態(tài)數(shù)據(jù)中？這些都是激動(dòng)人心的未來方向。

歡迎在 ICCV 2025 現(xiàn)場(chǎng)與我們交流！

作者介紹：

付瑩是北京理工大學(xué)計(jì)算機(jī)學(xué)院的教授、博士生導(dǎo)師，入選國家高層次青年人才計(jì)劃。她的研究領(lǐng)域主要為人工智能、計(jì)算機(jī)視覺與計(jì)算攝像學(xué)。近五年，她在中科院一區(qū)期刊和 CCF A 類會(huì)議上發(fā)表了超過 50 篇論文。她的研究成果已應(yīng)用于 “嫦娥工程”、智慧城市建設(shè)等重要項(xiàng)目。她主編的《計(jì)算機(jī)視覺基礎(chǔ)》教材入選北京理工大學(xué) “十四五” 規(guī)劃教材。她獲得的榮譽(yù)包括 ICML 杰出論文獎(jiǎng)、日內(nèi)瓦國際發(fā)明展金獎(jiǎng)，并入選中國圖象圖形學(xué)學(xué)會(huì)石青云青年女科學(xué)家獎(jiǎng)和中國電子學(xué)會(huì)青年科學(xué)家獎(jiǎng)等。此外，付教授還擔(dān)任 TIP 等期刊的編委，并擔(dān)任 CVPR、ICCV 等頂級(jí)會(huì)議的領(lǐng)域主席。

谷林（Lin Gu）是 RIKEN AIP（理化學(xué)研究所）的研究科學(xué)家，同時(shí)也是東京大學(xué)的特別研究員。他的研究重點(diǎn)是通過進(jìn)化方法開發(fā)新一代人工智能，旨在超越人腦的局限性。

谷林先生的研究涵蓋了計(jì)算機(jī)視覺、醫(yī)學(xué)成像、大型語言模型（LLM）、機(jī)器人技術(shù)甚至核聚變等多個(gè)領(lǐng)域。 他在 Nature Methods、PAMI、IJCV、AAAI 等頂級(jí)期刊和會(huì)議上發(fā)表了 60 多篇論文。此外，他還是 Pattern Recognition 期刊的副主編，并擔(dān)任 ICCV、ICML、NeurIPS 和 ICLR 等多個(gè)會(huì)議的領(lǐng)域主席。

目前，谷林先生是日本內(nèi)閣府監(jiān)督的國家級(jí)項(xiàng)目 “Moonshot Program” 的項(xiàng)目經(jīng)理，并擔(dān)任 RIKEN-MOST 項(xiàng)目的日本首席研究員（PI），該項(xiàng)目專注于通過人工智能技術(shù)對(duì)精神分裂癥進(jìn)行亞型分類和早期診斷。

陳林蔚，北京理工大學(xué)計(jì)算機(jī)學(xué)院博士。主要研究方向?yàn)橛?jì)算機(jī)視覺，重點(diǎn)關(guān)注圖像分割、目標(biāo)檢測(cè)、低光照?qǐng)D像增強(qiáng)與識(shí)別以及圖像生成等領(lǐng)域。截至目前，他已發(fā)表論文十余篇，其中多篇以第一作者身份發(fā)表在國際計(jì)算機(jī)視覺頂級(jí)期刊和會(huì)議（如 TPAMI、IJCV、CVPR、ICLR、ISPRS）上。在學(xué)術(shù)社區(qū)貢獻(xiàn)方面，他擔(dān)任 IJCV、TIP、CVPR、ICCV、NeurIPS、AAAI 等多個(gè)期刊會(huì)議的審稿人，并在國際計(jì)算機(jī)視覺會(huì)議 BMVC 中因?qū)I(yè)素養(yǎng)和貢獻(xiàn)被評(píng)為 "杰出審稿人"。