文章來源：我愛計算機視覺（ID：aicvml）

大家好，我是CV君。今天想和大家聊一篇來自清華大學和北京大學的最新研究，它給熱門的Vision Transformer（ViT）帶來了一次相當漂亮的“線性提速”。

這篇被 NeurIPS 2025 錄用的論文，標題為《Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials》，提出了一種名為“視覺對比注意力”（Visual-Contrast Attention, VCA）的新模塊。簡單來說，VCA就像是給ViT裝上了一雙“火眼金睛”，讓它不再是“一視同仁”地看圖中所有內容，而是學會了主動“找不同”，聚焦于那些真正具有區(qū)分度的信息。最關鍵的是，這個新模塊幾乎不增加計算量，卻能實打實地提升模型性能。

下面是論文的基本信息，感興趣的朋友可以深入研究：

• 
  

  論文標題 : Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials

• 作者團隊 : Yifan Pu, Jixuan Ying, Qixiu Li, Tianzhu Ye, Dongchen Han, Xiaochen Wang, Ziyi Wang, Xinyu Shao, Gao Huang, Xiu Li

• 所屬機構 : 清華大學、北京大學

• 論文地址 : https://arxiv.org/abs/2511.00833

• 項目主頁 : https://github.com/LeapLabTHU/LinearDiff

熟悉CV的朋友們都知道，Vision Transformer（ViT）現在是遍地開花，無論圖像識別還是圖像生成，都能看到它的身影。但ViT也有個“甜蜜的煩惱”——它的核心部件，多頭自注意力（Multi-Head Self-Attention, MHSA），計算量太大了。

MHSA會對圖像中的每一對圖塊（token）都進行相似度計算，這是一個平方級別的復雜度（O(N2)）。這意味著，圖像越大、圖塊越多，計算成本就呈指數級增長。很多時候，模型把大量的算力都浪費在了計算那些沒啥信息量或者重復的區(qū)域關系上。

為了解決這個問題，研究者們想了不少辦法。有的方法限制注意力范圍，比如只在局部窗口內計算，但這又可能丟失全局信息。有的方法用低秩分解或傅里葉變換來近似注意力矩陣，但它們還是平等地對待所有信息，沒能抓住重點。

而這篇論文的作者們另辟蹊徑，他們認為，與其被動地處理所有信息，不如讓模型主動去發(fā)現“對比”和“差異”。這個想法催生了 視覺對比注意力（VCA）。

VCA如何實現“找不同”？

VCA的設計非常巧妙，可以即插即用地替換掉原來ViT中的MHSA模塊。它的核心思想分為兩步：

第一階段：生成全局對比信息

首先，VCA不再讓所有的查詢（query）都去和鍵（key）直接硬碰硬。它選擇了一種更聰明的方式：

1. 信息壓縮 ：對于每個注意力頭，VCA先把整個圖像的查詢特征圖（Query Feature Map）通過平均池化（Average Pooling）操作，壓縮成一個很小的網格（比如8x8）。這樣，原來成百上千的圖塊（token）就被濃縮成了幾十個“視覺對比令牌”（visual-contrast tokens）。

2. 創(chuàng)建正負“視角” ：接下來是關鍵一步。VCA為這些濃縮后的令牌添加兩種不同的、可學習的位置編碼，從而創(chuàng)造出兩個“流”：一個“正向流”（positive stream）和一個“負向流”（negative stream）。你可以把它們想象成從兩個略有不同的角度去觀察同一份濃縮信息。

3. 差分交互 ：這兩個流分別與全局的鍵（key）和值（value）進行交互，然后將得到的結果相減。這一減，神奇的事情發(fā)生了——那些在兩個“視角”下都差不多的普通信息被抵消了，而那些有顯著差異的、真正重要的對比信息就被凸顯了出來。

通過這個過程，VCA用很小的計算代價，就提煉出了一份信息量極高的“全局對比圖”。

第二階段：基于對比圖進行精細化注意力

有了這份“全局對比圖”，第二階段就簡單高效多了。原始的每個圖塊查詢（patch query）不再需要跟所有其他圖塊去比較，而是直接與這份濃縮的“對比圖”進行交互。

這個交互同樣是差分式的，查詢會同時關注對比圖的“正向”和“負向”信息，最終計算出每個圖塊在“對比”視角下的重要性。

整個過程下來，VCA成功地將計算復雜度從 O(N2C) 降低到了 O(NnC)，其中 n 是對比令牌的數量，遠小于 N。這意味著計算成本與圖塊數量 N 之間變成了線性關系，ViT終于可以“減負”了。

效果如何？數據說話

理論說得再好，還得看實際效果。作者們在圖像分類和圖像生成兩大任務上對VCA進行了充分驗證。

圖像分類：精度顯著提升

在ImageNet-1K分類任務上，VCA的效果非常驚人。

從上表可以看到：

• 給輕量的DeiT-Tiny模型換上VCA后，參數量只增加了0.3M，計算量（FLOPs）不變，但Top-1準確率直接從72.2%提升到了 75.6% ，足足高了 3.4 個百分點！

• 即使是對于Swin Transformer這類已經經過優(yōu)化的層級式ViT，VCA同樣能帶來穩(wěn)定的性能提升，最高提升了 3.1 個百分點（在PVT-Tiny上）。

CV君認為，這個結果說明VCA的“對比”機制確實抓住了圖像識別的關鍵，而且它的普適性很好，能給各種ViT架構帶來增益。

圖像生成：生成質量更高

在類條件圖像生成任務上，作者們將VCA應用到了DiT（Diffusion Transformer）和SiT（Flow Transformer）模型上。評價指標是FID，這個值越低說明生成圖像的質量越高。

結果同樣令人印象深刻：

• 在各種模型尺寸和配置下，VCA都穩(wěn)定地降低了FID分數。

• 對于DiT-S/4模型，FID分數降低了 5.2 點；對于DiT-S/2模型，FID降低了 4.9 點。

• 無論是基于擴散的DiT還是基于流的SiT，VCA都能起作用，證明了它對生成范式的普適性。

為了證明VCA的設計不是“玄學”，作者還做了詳盡的消融實驗。

上表驗證了VCA兩個階段的協同作用。無論是只用第一階段的全局對比，還是只用第二階段的差分注意力，性能都有提升，但將兩者結合起來效果最好。

而這張表則證明了“空間池化”和“雙位置編碼”這兩個設計的必要性。簡單地使用可學習的嵌入（Embedding）雖然也有效果，但遠不如從圖像本身通過池化（Pooling）獲取信息，并用正負位置編碼來區(qū)分“視角”來得有效。這說明，讓模型從數據中學習對比線索，才是VCA成功的關鍵。

總結

總的來說，VCA用一個簡單、輕量且高效的“差分”思想，漂亮地解決了ViT的計算瓶頸，并帶來了實實在在的性能飛躍。它提醒我們，有時候注意力機制不一定非得是“相似性”的度量，也可以是“差異性”的發(fā)現者。