本文第一作者廖海旭為新澤西理工學(xué)院數(shù)據(jù)科學(xué)系在讀博士生，師從Prof. Shuai Zhang。

• 論文標(biāo)題：Theoretical Analysis of Contrastive Learning under Imbalanced Data: From Training Dynamics to a Pruning Solution
• 論文鏈接：https://openreview.net/forum?id=DUXG9E8dEO

一、研究背景

對(duì)比學(xué)習(xí)已成為表征學(xué)習(xí)中的一種強(qiáng)大范式，能夠在不依賴標(biāo)簽的情況下有效利用無(wú)標(biāo)注數(shù)據(jù)。

在這一框架下，語(yǔ)義相似的樣本被視為正樣本對(duì)，而語(yǔ)義不同的樣本被視為負(fù)樣本對(duì)。通過(guò)在表征空間中拉近正樣本對(duì)、拉遠(yuǎn)負(fù)樣本對(duì)之間的距離，對(duì)比學(xué)習(xí)使得模型能夠捕捉到豐富且具有判別性的特征。

該方法在廣泛的應(yīng)用領(lǐng)域中取得了顯著成功，尤其在多模態(tài)學(xué)習(xí)中影響深遠(yuǎn)，推動(dòng)了早期視覺(jué)語(yǔ)言模型發(fā)展的重大進(jìn)展。

盡管對(duì)比學(xué)習(xí)具有諸多優(yōu)勢(shì)，但它在現(xiàn)實(shí)數(shù)據(jù)集中常見的類別不平衡的問(wèn)題下，仍然面臨挑戰(zhàn)。在這類數(shù)據(jù)中，多數(shù)類主導(dǎo)了樣本對(duì)的構(gòu)造，而少數(shù)類則代表性不足。這種不平衡會(huì)阻礙模型對(duì)少數(shù)類判別性特征的捕捉，降低表征質(zhì)量，并導(dǎo)致模型產(chǎn)生偏差行為。

近期的研究開始逐步從理論角度理解對(duì)比學(xué)習(xí)，主要關(guān)注其相較于傳統(tǒng)生成式方法的優(yōu)勢(shì)、數(shù)據(jù)增強(qiáng)在有效表征學(xué)習(xí)中的必要性，以及其在降低下游任務(wù)樣本復(fù)雜度方面的能力。然而，這些研究尚未考慮數(shù)據(jù)分布不平衡所帶來(lái)的影響，缺乏對(duì)這些影響的理論刻畫。

總體而言，本文在理論和實(shí)踐層面都提供了新的洞見，主要理論結(jié)論也通過(guò)數(shù)值實(shí)驗(yàn)得到了驗(yàn)證。主要貢獻(xiàn)如下：

第一，我們構(gòu)建了一個(gè)理論框架，用以刻畫在數(shù)據(jù)分布不平衡條件下、基于 Transformer 編碼器的對(duì)比學(xué)習(xí)訓(xùn)練動(dòng)態(tài)。我們表明學(xué)習(xí)過(guò)程可以分為三個(gè)階段。

圖 1：神經(jīng)元在訓(xùn)練過(guò)程中投影的動(dòng)態(tài)變化。藍(lán)色曲線表示神經(jīng)元在其主導(dǎo)特征方向上的投影增長(zhǎng)情況，橙色曲線表示其在非主導(dǎo)特征方向上的投影，綠色曲線表示其在噪聲空間方向上的投影。在第一階段，神經(jīng)元主要沿特征方向增長(zhǎng)，同時(shí)抑制噪聲分量。在第二階段，其在主導(dǎo)特征方向上的投影增長(zhǎng)速度快于所有其他特征方向，從而形成明顯的分離。在第三階段，神經(jīng)元逐漸收斂，其最終表示由所學(xué)習(xí)的主導(dǎo)特征所主導(dǎo)

第二，我們定量刻畫了少數(shù)特征的存在如何影響神經(jīng)元的學(xué)習(xí)能力，進(jìn)而影響整體表征學(xué)習(xí)。我們的分析表明不平衡會(huì)從多個(gè)方面削弱表征性能。

第三，基于幅值的剪枝能夠增強(qiáng)對(duì)少數(shù)特征的學(xué)習(xí)，恢復(fù)因數(shù)據(jù)不平衡而退化的性能。我們的結(jié)果顯示，剪枝可以加強(qiáng)沿少數(shù)特征方向的梯度更新，鼓勵(lì)更多神經(jīng)元專門學(xué)習(xí)少數(shù)特征，從而獲得更加穩(wěn)健且更均衡的表示。

二、剪枝算法

為了解決數(shù)據(jù)不平衡問(wèn)題，我們?cè)谇跋騻鞑ミ^(guò)程中動(dòng)態(tài)移除幅值較小的神經(jīng)元權(quán)重，而在反向傳播過(guò)程中仍保留所有參數(shù)為可訓(xùn)練狀態(tài)。

具體而言，二值掩碼初始設(shè)為全 1，表示訓(xùn)練開始時(shí)不進(jìn)行任何剪枝。在每一個(gè)訓(xùn)練周期中，我們剪除幅值最小的一部分神經(jīng)元，并相應(yīng)更新二值掩碼。在前向傳播階段，使用掩碼后的參數(shù)對(duì)輸入進(jìn)行編碼。在反向傳播階段，梯度是基于剪枝后的模型計(jì)算，但更新作用于完整的參數(shù)集合。

需要注意的是，該過(guò)程并不會(huì)為了提高效率而永久性地刪除任何神經(jīng)元，盡管可以觀察到一定程度的計(jì)算成本下降。

三、關(guān)鍵發(fā)現(xiàn)的核心洞見

在介紹正式理論結(jié)果之前，我們首先總結(jié)分析所得的關(guān)鍵洞見。我們的研究表明，神經(jīng)元在訓(xùn)練過(guò)程中會(huì)分階段逐步學(xué)習(xí)特征表示。具體而言，我們得到以下結(jié)論：

(K1) 基于 Transformer-MLP 框架的對(duì)比學(xué)習(xí)訓(xùn)練動(dòng)態(tài)。我們的理論將學(xué)習(xí)過(guò)程劃分為三個(gè)階段。

• 在第一階段中，神經(jīng)元權(quán)重沿特征方向增長(zhǎng)，增長(zhǎng)速率由特征頻率決定，神經(jīng)元在非特征方向上的分量則被抑制。
• 在第二階段中，幸運(yùn)神經(jīng)元進(jìn)一步和它學(xué)習(xí)的主導(dǎo)特征方向?qū)R；而普通神經(jīng)元?jiǎng)t被這些幸運(yùn)神經(jīng)元所界定并保持受控，從而使所學(xué)習(xí)的特征更加純凈，同時(shí)非特征分量繼續(xù)受到抑制。
• 在最終階段，訓(xùn)練收斂，每個(gè)神經(jīng)元都會(huì)與某一特定特征集合對(duì)齊，每個(gè)神經(jīng)元在一個(gè)或多個(gè)特征方向上強(qiáng)對(duì)齊，在其他特征方向上弱對(duì)齊，并在非特征方向上保持較小幅度。

(K2) 特征頻率比率決定神經(jīng)元專門化程度。在收斂時(shí)，每個(gè)神經(jīng)元主要由某一特定特征集合中的特征主導(dǎo)，而來(lái)自其他方向的貢獻(xiàn)可以忽略。

• 首先，越稀有的特征學(xué)習(xí)得越弱。
• 其次，該特征集合的大小由特征頻率比率決定：較小的特征頻率比會(huì)擴(kuò)大該集合，導(dǎo)致特征混合；較大的特征頻率比則會(huì)縮小該集合，使神經(jīng)元學(xué)習(xí)到的特征更加純凈，這對(duì)于對(duì)比學(xué)習(xí)而言是更好的。
• 最后，專門學(xué)習(xí)單一特征的神經(jīng)元數(shù)量與也由特征頻率比率決定，并且隨著特征頻率比的增大而減少。

由于對(duì)比學(xué)習(xí)在神經(jīng)元專門學(xué)習(xí)單一特征時(shí)效果最佳，數(shù)據(jù)不平衡會(huì)帶來(lái)三個(gè)相互關(guān)聯(lián)的消極影響：

• 少數(shù)特征以較小幅度被學(xué)習(xí)。
• 神經(jīng)元傾向于學(xué)習(xí)混合的多個(gè)特征而非保持與單個(gè)特征對(duì)齊。
• 專門學(xué)習(xí)單一特征的神經(jīng)元的總數(shù)減少。

這些因素共同削弱了表征質(zhì)量，并要求更大的模型規(guī)模才能學(xué)習(xí)所有特征。

(K3) 剪枝增強(qiáng)少數(shù)特征的學(xué)習(xí)。

• 學(xué)習(xí)少數(shù)特征的神經(jīng)元會(huì)獲得更強(qiáng)更新；而學(xué)習(xí)非少數(shù)特征的神經(jīng)元僅獲得的更新較弱。
• 在收斂時(shí)，學(xué)習(xí)少數(shù)特征的神經(jīng)元的系數(shù)可以達(dá)到與多數(shù)特征同階的規(guī)模，從而緩解由數(shù)據(jù)不平衡帶來(lái)的性能下降。

直觀來(lái)看，由于少數(shù)特征神經(jīng)元的幅值較小，它們更容易被剪枝；這種機(jī)制在梯度更新中放大了包含少數(shù)特征樣本的貢獻(xiàn)。因此，剪枝強(qiáng)化了少數(shù)特征，使其與其他成分明顯區(qū)分開來(lái)，并推動(dòng)更多神經(jīng)元專門化學(xué)習(xí)該特征，從而提升表示學(xué)習(xí)的魯棒性。

四、理論結(jié)果

理論分析結(jié)果的完整內(nèi)容請(qǐng)參考文章，此處我們給出精簡(jiǎn)的概括。

理論一：在第一階段的訓(xùn)練中：

• 所有神經(jīng)元都會(huì)沿著特征方向增長(zhǎng)，而非特征方向則被忽略。
• 在每個(gè)特征方向上的增長(zhǎng)速率取決于該特征的出現(xiàn)頻率。

理論二：在第二階段的訓(xùn)練中：

• 幸運(yùn)神經(jīng)元：與單一特征強(qiáng)烈對(duì)齊。
• 普通神經(jīng)元：其在特征上的分量受幸運(yùn)神經(jīng)元的約束。

理論三：當(dāng)學(xué)習(xí)收斂時(shí)，在沒(méi)有剪枝的情況下，對(duì)比學(xué)習(xí)中神經(jīng)元和特征的對(duì)齊情況如下：

• 每個(gè)神經(jīng)元都會(huì)與一個(gè)或多個(gè)特征強(qiáng)對(duì)齊，與其他特征弱對(duì)齊，并在非特征方向上保持較小幅度。
• 每個(gè)神經(jīng)元傾向于學(xué)習(xí)多個(gè)特征的混合表示，將學(xué)習(xí)更大規(guī)模的混合特征集合。

理論四：在引入剪枝的情況下，對(duì)比學(xué)習(xí)中神經(jīng)元和特征的對(duì)齊情況如下：

• 沿少數(shù)特征方向的神經(jīng)元更新得到增強(qiáng)。少數(shù)特征對(duì)應(yīng)的神經(jīng)元權(quán)重增長(zhǎng)更快。非少數(shù)特征對(duì)應(yīng)的神經(jīng)元權(quán)重增長(zhǎng)緩慢。

五、實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，剪枝在所有數(shù)據(jù)集上均持續(xù)提升準(zhǔn)確率，并且隨著不平衡程度加劇，性能提升更加顯著。此外，剪枝也改善了頭部類別與尾部類別之間的性能不平衡。這些結(jié)果表明，剪枝不僅提升了下游任務(wù)的整體性能，同時(shí)也縮小了頭部類別與尾部類別之間的性能差距。