文章來(lái)源：我愛(ài)計(jì)算機(jī)視覺(jué)（ID：aicvml）

當(dāng)我們?cè)谡務(wù)撐⒄{(diào)巨大的預(yù)訓(xùn)練視覺(jué)模型時(shí)，計(jì)算資源和內(nèi)存總是繞不開(kāi)的話題。為了讓這些“大塊頭”能更輕巧地適應(yīng)下游任務(wù)，參數(shù)高效微調(diào)（PEFT）技術(shù)應(yīng)運(yùn)而生。而在眾多PEFT方法中，稀疏微調(diào)（只調(diào)整模型中最關(guān)鍵的一部分權(quán)重）因其出色的性能備受關(guān)注。不過(guò)，傳統(tǒng)方法通常采用“兩步走”策略：先定位、再更新，這不僅過(guò)程繁瑣，還特別耗內(nèi)存。

今天，我們介紹一項(xiàng)來(lái)自中國(guó)科學(xué)院和中國(guó)科學(xué)院大學(xué)的最新研究，他們提出了一種名為 SNELLA 的全新方法，徹底改變了這一現(xiàn)狀。它將稀疏微調(diào)變成了一個(gè)優(yōu)雅的“一步式”端到端過(guò)程，不僅性能達(dá)到了新的SOTA，還實(shí)現(xiàn)了高達(dá) 31.1%-39.9% 的內(nèi)存節(jié)省。

• 
  

  論文標(biāo)題 : Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models

• 作者 : Shufan Shen, Junshu Sun, Shuhui Wang, Qingming Huang

• 機(jī)構(gòu) : 中國(guó)科學(xué)院, 中國(guó)科學(xué)院大學(xué)

• 論文地址 : https://arxiv.org/abs/2510.24037

• 代碼倉(cāng)庫(kù) : https://github.com/ssfgunner/SNELL

讓我們先看看老路子是怎么走的。傳統(tǒng)的稀疏微調(diào)方法通常分兩步：

1. 定位權(quán)重 ：首先根據(jù)梯度信息，找出與下游任務(wù)最相關(guān)的那些權(quán)重。但這個(gè)過(guò)程忽略了微調(diào)過(guò)程中參數(shù)本身的變化，有點(diǎn)“刻舟求劍”的意思，限制了最終的性能。

2. 更新權(quán)重 ：找到權(quán)重后，通過(guò)一個(gè)稀疏掩碼（sparse mask）只更新這些被選中的權(quán)重。問(wèn)題在于，優(yōu)化器為了計(jì)算梯度，仍然需要存儲(chǔ)整個(gè)模型的全量權(quán)重矩陣，導(dǎo)致內(nèi)存開(kāi)銷居高不下。

上圖直觀展示了傳統(tǒng)兩階段范式與SNELLA一體化方法的區(qū)別。

SNELLA：一步到位的優(yōu)雅解決方案

SNELLA巧妙地將權(quán)重的定位和更新融合在一個(gè)端到端的框架中，既省內(nèi)存，又提性能。它的核心思想可以分解為兩大創(chuàng)新點(diǎn)。

核化低秩適應(yīng)（Kernelized Low-Rank Adaptation）

為了降低內(nèi)存，SNELLA并沒(méi)有直接更新龐大的權(quán)重矩陣，而是通過(guò)加上一個(gè)稀疏的“增量矩陣”來(lái)實(shí)現(xiàn)。這個(gè)增量矩陣本身不是直接學(xué)習(xí)的，而是由兩個(gè)更小的低秩矩陣通過(guò)一個(gè)非線性核函數(shù)（non-linear kernel function）合成的。

這有點(diǎn)像LoRA的升級(jí)版。傳統(tǒng)的LoRA用兩個(gè)低秩矩陣的乘積來(lái)近似權(quán)重的更新，但表達(dá)能力有限。SNELLA引入的核函數(shù)，相當(dāng)于將低秩矩陣映射到更高維的空間再做運(yùn)算，極大地增強(qiáng)了模型的表達(dá)能力，讓權(quán)重的更新更加靈活和強(qiáng)大，從而更好地適應(yīng)下游任務(wù)。

上圖展示了不同核函數(shù)的表達(dá)能力，可以看出非線性核（如Mix-K）能夠更好地?cái)M合復(fù)雜的稀疏矩陣。

自適應(yīng)雙層稀疏分配（Adaptive Bi-level Sparsity Allocation）

那么，模型如何智能地決定哪些權(quán)重“值得”更新呢？SNELLA設(shè)計(jì)了一套精妙的“競(jìng)爭(zhēng)上崗”機(jī)制。

• 層間競(jìng)爭(zhēng) ：首先，模型中的不同層會(huì)根據(jù)各自的“重要性”來(lái)競(jìng)爭(zhēng)可調(diào)整的參數(shù)預(yù)算。這個(gè)重要性分?jǐn)?shù)綜合了該層對(duì)任務(wù)損失的敏感性（sensitivity）和不確定性（uncertainty），越重要的層能分到越多的更新名額。

• 層內(nèi)競(jìng)爭(zhēng) ：在每一層內(nèi)部，所有權(quán)重更新的重要性也會(huì)被評(píng)估，只有那些得分最高的“優(yōu)勝者”才會(huì)被保留，其余的則被置為零。

這套雙層競(jìng)爭(zhēng)機(jī)制是完全自適應(yīng)的，并且貫穿整個(gè)訓(xùn)練過(guò)程，確保了最寶貴的計(jì)算資源總是花在最關(guān)鍵的參數(shù)上。

實(shí)驗(yàn)效果：性能與效率的雙重勝利

SNELLA在圖像分類、息肉分割和文生圖等多種任務(wù)上都進(jìn)行了廣泛驗(yàn)證，并與多種主流PEFT方法進(jìn)行了對(duì)比。

在標(biāo)準(zhǔn)的FGVC和VTAB-1k分類基準(zhǔn)測(cè)試中，SNELLA全面超越了之前的方法。特別是在細(xì)粒度視覺(jué)分類（FGVC）任務(wù)上，相比強(qiáng)大的SPT-LoRA，SNELLA的Top-1準(zhǔn)確率提升了整整 1.8%（從90.1%提升到91.9%），這是一個(gè)非常顯著的進(jìn)步。

更令人印象深刻的是它的內(nèi)存效率。實(shí)驗(yàn)表明，隨著模型參數(shù)規(guī)模從86M增長(zhǎng)到632M，SNELLA相比全量微調(diào)等方法，能夠節(jié)省 31.1%到39.9% 的內(nèi)存。這意味著我們可以在消費(fèi)級(jí)硬件上微調(diào)更大、更強(qiáng)的模型。

在下游任務(wù)的定性評(píng)估中，SNELLA同樣表現(xiàn)出色。例如，在醫(yī)療影像的息肉分割任務(wù)中，它能更準(zhǔn)確地識(shí)別和分割出病變區(qū)域。

在個(gè)性化的文生圖任務(wù)中，SNELLA也能更好地學(xué)習(xí)和還原特定概念的視覺(jué)特征，生成與文本描述更一致的圖像。

總結(jié)

CV君認(rèn)為，SNELLA提出的這種將核方法與動(dòng)態(tài)稀疏性結(jié)合的思路非常新穎，它不僅解決了現(xiàn)有稀疏微調(diào)方法的痛點(diǎn)，也為未來(lái)如何更高效地利用大模型提供了寶貴的啟發(fā)。作者已經(jīng)開(kāi)源了代碼，強(qiáng)烈推薦感興趣的同學(xué)去嘗試和探索。

大家對(duì)這種端到端的稀疏微調(diào)方法怎么看？歡迎在評(píng)論區(qū)一起交流！