I-CON: A UNIFYING FRAMEWORK FOR REPRESENTATION LEARNING

I-CON：表示學(xué)習(xí)的統(tǒng)一框架

https://arxiv.org/pdf/2504.16929#page=1.00&gsr=0

摘要
隨著表示學(xué)習(xí)領(lǐng)域的發(fā)展，為了解決不同類別的問題，出現(xiàn)了大量不同的損失函數(shù)。我們提出一個(gè)統(tǒng)一的信息論方程，能夠推廣機(jī)器學(xué)習(xí)中許多現(xiàn)代損失函數(shù)。具體而言，我們引入了一個(gè)框架，表明若干廣泛的機(jī)器學(xué)習(xí)方法實(shí)際上正是在最小化兩個(gè)條件分布之間的積分KL散度：監(jiān)督表示與學(xué)習(xí)到的表示。這一觀點(diǎn)揭示了聚類、譜方法、降維、對(duì)比學(xué)習(xí)和監(jiān)督學(xué)習(xí)背后隱藏的信息幾何結(jié)構(gòu)。該框架使得我們能夠通過融合文獻(xiàn)中成功的各種技術(shù)，開發(fā)出新的損失函數(shù)。我們不僅提供了廣泛的證明，連接了超過23種不同的方法，還利用這些理論成果構(gòu)建了當(dāng)前最先進(jìn)的無監(jiān)督圖像分類器，在ImageNet-1K上的無監(jiān)督分類任務(wù)中比先前的最先進(jìn)方法提升了+8%。此外，我們還展示了I-Con可用于推導(dǎo)出有理論依據(jù)的去偏方法，從而提升對(duì)比表示學(xué)習(xí)器的性能。

1 引言

在過去十年中，表示學(xué)習(xí)領(lǐng)域蓬勃發(fā)展，新的技術(shù)、架構(gòu)和損失函數(shù)層出不窮。這些進(jìn)展推動(dòng)了計(jì)算機(jī)視覺、自然語言處理和多模態(tài)學(xué)習(xí)等領(lǐng)域最先進(jìn)模型的發(fā)展，通常僅需極少的人工監(jiān)督。然而，隨著該領(lǐng)域的不斷擴(kuò)展，損失函數(shù)的多樣性使得人們?cè)絹碓诫y以理解不同方法之間的關(guān)系，以及哪些目標(biāo)函數(shù)最適合特定任務(wù)。

在本研究中，我們提出了一種通用的數(shù)學(xué)框架，將涵蓋監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)在內(nèi)的廣泛表示學(xué)習(xí)技術(shù)，統(tǒng)一到一個(gè)單一的信息論目標(biāo)之下。我們的框架——信息對(duì)比學(xué)習(xí)（Information Contrastive Learning, ICon）表明，許多看似截然不同的方法，包括聚類、譜圖理論、對(duì)比學(xué)習(xí)、降維和監(jiān)督分類，實(shí)際上都是同一底層損失函數(shù)的特例。

盡管先前的研究已經(jīng)發(fā)現(xiàn)了表示學(xué)習(xí)方法中某些子集之間的孤立聯(lián)系，通常一次僅連接兩到三種技術(shù)（Sobal 等，2025；Hu 等，2023；Yang 等，2022；B?hm 等，2023；Balestriero & LeCun，2022），但I(xiàn)Con是首個(gè)將超過23種不同方法統(tǒng)一在一個(gè)目標(biāo)函數(shù)之下的框架。這種統(tǒng)一的視角不僅澄清了現(xiàn)有技術(shù)的內(nèi)在結(jié)構(gòu)，還為在傳統(tǒng)上相互獨(dú)立的領(lǐng)域之間遷移思想和改進(jìn)方法提供了堅(jiān)實(shí)的基礎(chǔ)。

基于ICon，我們推導(dǎo)出新的無監(jiān)督損失函數(shù)，在標(biāo)準(zhǔn)圖像分類基準(zhǔn)測(cè)試上顯著優(yōu)于以往方法。我們的主要貢獻(xiàn)如下：

? 我們提出了ICon，一種單一的信息論損失函數(shù)，能夠推廣表示學(xué)習(xí)中的多個(gè)主要方法類別。

? 我們證明了15個(gè)定理，展示了多種不同算法如何作為ICon的特例出現(xiàn)。

? 我們利用ICon設(shè)計(jì)了一種去偏策略，在無監(jiān)督的ImageNet-1K任務(wù)上準(zhǔn)確率提升了+8%，在線性探針（linear probing）評(píng)估中，CIFAR-100上額外提升了+3%，STL-10上提升了+2%。

2 相關(guān)工作

表示學(xué)習(xí)涵蓋了一系列從復(fù)雜數(shù)據(jù)中提取結(jié)構(gòu)的方法。我們回顧了ICon所基于并推廣的若干研究方向。關(guān)于該領(lǐng)域的全面綜述，可參見（Le-Khac等，2020；Bengio等，2013；Weng，2021）。

特征學(xué)習(xí) 旨在利用監(jiān)督信號(hào)（如成對(duì)相似性、最近鄰、數(shù)據(jù)增強(qiáng)、類別標(biāo)簽或重構(gòu)損失）來提取具有信息量的低維嵌入。經(jīng)典方法如主成分分析（PCA，Pearson，1901）和多維尺度分析（MDS，Kruskal，1964）側(cè)重于保持?jǐn)?shù)據(jù)的全局結(jié)構(gòu)，而UMAP（McInnes等，2018）和t-SNE（Hinton & Roweis，2002；Van der Maaten & Hinton，2008）則通過最小化聯(lián)合分布之間的散度來關(guān)注局部拓?fù)浣Y(jié)構(gòu)。ICon采用了類似的“最小化散度”視角。

對(duì)比學(xué)習(xí) 方法，如SimCLR（Chen等，2020a）、CMC（Tian等，2020）、CLIP（Radford等，2021）和MoCo v3（Chen*等，2021），通常利用正樣本對(duì)和負(fù)樣本對(duì)，這些樣本對(duì)常通過數(shù)據(jù)增強(qiáng)或跨模態(tài)對(duì)齊構(gòu)建。ICon在一個(gè)統(tǒng)一的基于KL散度的框架內(nèi)推廣了這些損失函數(shù)，揭示了它們之間的細(xì)微差異。監(jiān)督分類器（例如ImageNet模型，Krizhevsky等，2017）也能生成有效的特征表示，ICon通過將類別標(biāo)簽視為離散的對(duì)比點(diǎn)，重新解釋了這類方法，從而在監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間建立了橋梁。

聚類方法 通過距離度量、圖劃分或?qū)Ρ刃员O(jiān)督來發(fā)現(xiàn)數(shù)據(jù)中的離散結(jié)構(gòu)。k均值（k-Means，Macqueen，1967）、EM算法（Dempster等，1977）和譜聚類（Shi & Malik，2000）是基礎(chǔ)性算法。近年來的方法，如IIC（Ji等，2019）、對(duì)比聚類（Contrastive Clustering，Li等，2021）和SCAN（Gansbeke等，2020），利用了不變性（invariance）和鄰域結(jié)構(gòu)。教師-學(xué)生模型（如TEMI，Adaloglou等，2023）以及基于指數(shù)移動(dòng)平均（EMA）的架構(gòu)（Chen等，2020b）進(jìn)一步提升了聚類性能。ICon通過將聚類誘導(dǎo)的聯(lián)合分布與來自相似性、結(jié)構(gòu)或?qū)Ρ刃盘?hào)的目標(biāo)分布對(duì)齊，涵蓋了這些方法。

表示學(xué)習(xí)的統(tǒng)一性研究 方面，已有工作探索了對(duì)比學(xué)習(xí)與t-SNE之間的聯(lián)系（Hu等，2023；B?hm等，2023）、對(duì)比損失與交叉熵?fù)p失之間的等價(jià)性（Yang等，2022），以及譜方法與對(duì)比方法之間的關(guān)系（Balestriero & LeCun，2022；Sobal等，2025）。其他嘗試，如貝葉斯語法模型（Grosse等，2012），提供了概率視角。Tschannen等（Tschannen等，2019）強(qiáng)調(diào)了互信息框架中估計(jì)器和架構(gòu)設(shè)計(jì)的重要性，但未能實(shí)現(xiàn)更廣泛的統(tǒng)一。

盡管先前的研究已經(jīng)將這些方法中的部分子集聯(lián)系起來，但據(jù)我們所知，ICon是首個(gè)將監(jiān)督學(xué)習(xí)、對(duì)比學(xué)習(xí)、聚類和降維等目標(biāo)統(tǒng)一于單一損失函數(shù)之下的框架。這一視角闡明了它們共有的結(jié)構(gòu)，并為發(fā)展新的學(xué)習(xí)原理開辟了道路。

3 方法
I-Con框架將多種表示學(xué)習(xí)方法統(tǒng)一到一個(gè)單一的損失函數(shù)之下：最小化兩個(gè)條件“鄰域分布”之間的平均KL散度，這兩個(gè)分布定義了數(shù)據(jù)點(diǎn)之間的轉(zhuǎn)移概率。這一信息論目標(biāo)泛化了來自聚類、對(duì)比學(xué)習(xí)、降維、譜圖理論和監(jiān)督學(xué)習(xí)等多種技術(shù)。通過改變監(jiān)督分布和學(xué)習(xí)分布的構(gòu)建方式，I-Con涵蓋了大量現(xiàn)有方法以及新穎方法。我們提出了I-Con，并展示了其在統(tǒng)一不同領(lǐng)域技術(shù)方面的強(qiáng)大能力，以及在不同領(lǐng)域之間遷移思想的潛力，從而催生了一種當(dāng)前最先進(jìn)的無監(jiān)督圖像分類方法。

3.1 信息對(duì)比學(xué)習(xí)

3.2 使用I-Con統(tǒng)一表示學(xué)習(xí)算法
盡管公式（1）極其簡(jiǎn)潔，但它具有足夠的表達(dá)能力，只需選擇適當(dāng)?shù)膮?shù)化鄰域分布 pθ和 q?，即可推廣文獻(xiàn)中的多種現(xiàn)有方法，如圖1所示。我們?cè)趫D2a中對(duì) pθ和 q?的常見選擇進(jìn)行了分類。

表1總結(jié)了一些關(guān)鍵選擇，這些選擇可重現(xiàn)來自對(duì)比學(xué)習(xí)（SimCLR、MoCo v3、SupCon、CMC、CLIP、VICReg）、降維（SNE、t-SNE、PCA）、聚類（K-Means、譜聚類、DCD、PMI）以及監(jiān)督學(xué)習(xí)（交叉熵?fù)p失、調(diào)和損失）等領(lǐng)域的流行方法。由于篇幅限制，各定理的證明均移至補(bǔ)充材料中。我們還注意到，表1并未窮盡所有可能，鼓勵(lì)研究社區(qū)探索其他學(xué)習(xí)框架是否也在隱式地針對(duì)某種 p和 q的選擇最小化公式（1）。

3.2.1 示例：SNE、SimCLR 和 K-Means
盡管I-Con統(tǒng)一了廣泛的方法，我們?cè)诖送ㄟ^展示 p和 q的不同選擇如何復(fù)現(xiàn)SNE、SimCLR和K-Means等經(jīng)典技術(shù)來加以說明。完整細(xì)節(jié)見附錄。

3.3 使用I-Con創(chuàng)建新的表示學(xué)習(xí)方法
I-Con框架在單一數(shù)學(xué)形式下統(tǒng)一了各種表示學(xué)習(xí)方法，并且關(guān)鍵的是，它促進(jìn)了不同領(lǐng)域之間技術(shù)的遷移與融合。

本文中，我們展示了如何通過梳理現(xiàn)代表示學(xué)習(xí)方法，開發(fā)出性能超越以往水平的聚類和無監(jiān)督分類算法。具體而言，我們?nèi)诤狭俗V聚類、t-SNE 和去偏對(duì)比學(xué)習(xí)（Debiased Contrastive Learning, Chuang 等，2020）的洞見，構(gòu)建了一個(gè)當(dāng)前最先進(jìn)的無監(jiān)督圖像分類流程。

3.3.1 去偏

3.3.2 通過均勻分布實(shí)現(xiàn)去偏
我們的第一個(gè)示例采用了一個(gè)簡(jiǎn)單的均勻混合分布：

其中 N是局部鄰域的大小，α表示混合的程度。該方法為每個(gè)“負(fù)”樣本分配一個(gè)較小的概率質(zhì)量 Nα，從而緩解了對(duì)鄰域分配過于置信的問題。在監(jiān)督學(xué)習(xí)場(chǎng)景中，這類似于標(biāo)簽平滑（label smoothing, Szegedy 等，2016）。相比之下，Chuang 等（2020）則保持標(biāo)簽為獨(dú)熱（one-hot）形式，直接修改softmax函數(shù)本身。

另一種理解該方法的角度是通過更重尾部或更寬泛的分布來看待。通過添加一個(gè)均勻分布成分，我們模仿了t-SNE中使用的學(xué)生t分布（Van der Maaten & Hinton, 2008）的思想，該分布會(huì)對(duì)較遠(yuǎn)的點(diǎn)分配更大的概率質(zhì)量。在這兩種情況下，擴(kuò)展分布都有助于降低對(duì)狹窄定義的鄰居集合過擬合的風(fēng)險(xiǎn)。

表3以及圖5和圖6中的實(shí)驗(yàn)結(jié)果表明，這種輕量級(jí)的修改在各種任務(wù)和批量大小下均能持續(xù)提升性能。它還能“緩解”過于置信的分布，類似于監(jiān)督學(xué)習(xí)中交叉熵?fù)p失的標(biāo)簽平滑，從而防止梯度消失問題。

3.3.3 通過鄰居傳播實(shí)現(xiàn)去偏
第二種策略采用基于圖的擴(kuò)展方法。如表1所示，將K均值中的高斯鄰域替換為度加權(quán)的k近鄰，即可得到譜聚類，而譜聚類以魯棒性和高質(zhì)量聚類結(jié)果著稱。受此啟發(fā)，我們使用基于KNN（k近鄰）的鄰域定義來訓(xùn)練對(duì)比學(xué)習(xí)模型。在給定最近鄰圖的基礎(chǔ)上，我們可以通過進(jìn)行更長(zhǎng)路徑的隨機(jī)游走進(jìn)一步擴(kuò)展該圖，這一過程類似于Word-Graph2Vec 或 tsNET（Li 等，2023；Kruiger 等，2017），我們將其稱為 鄰居傳播 （neighbor propagation）。

其中 I[?]是指示函數(shù)。這種基于隨機(jī)游走的平滑方法擴(kuò)展了有效的鄰域范圍，使得模型能夠從更密集的監(jiān)督信號(hào)中進(jìn)行學(xué)習(xí)。

表3和表4的結(jié)果證實(shí)，采用這種基于傳播的方法在無監(jiān)督圖像分類任務(wù)中帶來了顯著性能提升，凸顯了鄰域擴(kuò)展作為一種去偏策略的有效性。

4 實(shí)驗(yàn)

在本節(jié)中，我們展示了I-Con框架能夠提出可驗(yàn)證的假設(shè)，并為自監(jiān)督和無監(jiān)督學(xué)習(xí)提供實(shí)用的洞見。我們的目標(biāo)不僅僅是追求最先進(jìn)的性能，更重要的是展示如何通過統(tǒng)一的信息論方法，利用I-Con來增強(qiáng)現(xiàn)有的無監(jiān)督學(xué)習(xí)方法。通過這一框架，我們還強(qiáng)調(diào)了聚類、對(duì)比學(xué)習(xí)和降維等不同機(jī)器學(xué)習(xí)領(lǐng)域技術(shù)之間相互借鑒的潛力。這種由I-Con所支持的技術(shù)遷移，能夠顯著改進(jìn)現(xiàn)有方法，并為未來探索開辟新的方向。

我們將實(shí)驗(yàn)重點(diǎn)放在聚類任務(wù)上，因?yàn)榕c對(duì)比學(xué)習(xí)相比，聚類在當(dāng)前研究中相對(duì)較少被深入探討，而如今已有多種技術(shù)可以適配到這一任務(wù)中。通過在I-Con框架下將k均值、SimCLR和t-SNE等經(jīng)典方法聯(lián)系起來，我們發(fā)現(xiàn)了大量改進(jìn)聚類方法的可能性。我們通過實(shí)驗(yàn)驗(yàn)證了這些理論洞見，展示了I-Con的實(shí)際影響。

我們使用ImageNet-1K數(shù)據(jù)集（Deng等，2009）進(jìn)行評(píng)估，該數(shù)據(jù)集包含1000個(gè)類別和超過一百萬張高分辨率圖像。由于其規(guī)模龐大且內(nèi)容復(fù)雜，該數(shù)據(jù)集被認(rèn)為是無監(jiān)督圖像分類最具挑戰(zhàn)性的基準(zhǔn)之一。為了與先前的研究進(jìn)行公平比較，我們嚴(yán)格遵循Adaloglou等（2023）提出的實(shí)驗(yàn)協(xié)議。評(píng)估聚類性能的主要指標(biāo)是匈牙利準(zhǔn)確率（Hungarian accuracy），該指標(biāo)通過匈牙利算法（Ji等，2019）尋找預(yù)測(cè)聚類與真實(shí)標(biāo)簽之間的最優(yōu)匹配，從而衡量聚類分配的質(zhì)量。這種方法在訓(xùn)練過程中缺乏直接標(biāo)簽監(jiān)督的無監(jiān)督場(chǎng)景下，提供了對(duì)聚類性能的穩(wěn)健評(píng)估。

在特征提取方面，我們采用了三種不同規(guī)模的DiNO預(yù)訓(xùn)練視覺Transformer（ViT）模型：ViT-S/14、ViT-B/14 和 ViT-L/14（Caron等，2021）。選擇這些模型既是為了與先前工作保持可比性，也是為了探究I-Con框架在不同模型容量下的表現(xiàn)。實(shí)驗(yàn)設(shè)置（包括訓(xùn)練協(xié)議、優(yōu)化策略和數(shù)據(jù)增強(qiáng)方法）均與TEMI中使用的方法保持一致，以確保方法論的一致性。

訓(xùn)練過程包括在DiNO模型提取的特征之上優(yōu)化一個(gè)線性分類器。每個(gè)模型均訓(xùn)練30個(gè)epoch，使用ADAM優(yōu)化器（Kingma & Ba，2017），批量大小為4096，初始學(xué)習(xí)率為1e-3。每10個(gè)epoch將學(xué)習(xí)率衰減為原來的一半，以確保穩(wěn)定收斂。我們不對(duì)特征向量進(jìn)行額外的歸一化處理。在訓(xùn)練過程中，我們應(yīng)用了多種數(shù)據(jù)增強(qiáng)技術(shù)，包括隨機(jī)縮放、裁剪、顏色抖動(dòng)和高斯模糊，以生成魯棒的特征表示。此外，為了提升聚類性能，我們使用余弦相似度預(yù)先計(jì)算了數(shù)據(jù)集中每張圖像的全局最近鄰。這使得我們?cè)诿總€(gè)訓(xùn)練批次中可以為每張圖像采樣兩個(gè)增強(qiáng)版本和兩個(gè)最近鄰樣本，從而將局部和全局信息都融入到學(xué)習(xí)到的表示中。我們?cè)诒?中將所提出的方法稱為“InfoNCE Clustering”（信息對(duì)比聚類）。具體而言，我們的監(jiān)督鄰域由數(shù)據(jù)增強(qiáng)樣本、KNN（k=3）以及長(zhǎng)度為1的KNN游走構(gòu)成。我們采用k均值中的“按類別共享的聚類似然”鄰域（詳見表1中的具體公式）作為學(xué)習(xí)到的鄰域函數(shù)，以驅(qū)動(dòng)聚類學(xué)習(xí)過程。

4.1 基線方法
我們將我們的方法與幾種當(dāng)前最先進(jìn)的聚類方法進(jìn)行了比較，包括TEMI、SCAN、IIC和對(duì)比聚類（Contrastive Clustering）。這些方法依賴于數(shù)據(jù)增強(qiáng)和學(xué)習(xí)到的表示，但通常需要額外的正則化項(xiàng)或損失函數(shù)調(diào)整，例如控制聚類大小或降低相似性損失的權(quán)重。相比之下，我們基于I-Con的損失函數(shù)具有自平衡特性，無需此類人工調(diào)參，使其成為一種更簡(jiǎn)潔、理論基礎(chǔ)更扎實(shí)的方法。這使得我們?cè)谌N不同規(guī)模的主干網(wǎng)絡(luò)上均實(shí)現(xiàn)了更高的準(zhǔn)確率和更穩(wěn)定的收斂。

4.2 實(shí)驗(yàn)結(jié)果
表2對(duì)比了去偏的InfoNCE聚類方法（Debiased InfoNCE Clustering）在不同DiNO變體（ViT-S/14、ViT-B/14、ViT-L/14）以及其他多種現(xiàn)代聚類方法上的匈牙利準(zhǔn)確率。I-Con框架在所有模型規(guī)模下均持續(xù)優(yōu)于之前的最先進(jìn)方法。具體而言，對(duì)于DiNO ViT-B/14和ViT-L/14模型，去偏的InfoNCE聚類方法相比此前最先進(jìn)的ImageNet聚類方法TEMI，匈牙利準(zhǔn)確率分別提升了+4.5%和+7.8%。我們將這些性能提升歸因于兩個(gè)主要因素：

自平衡損失：與TEMI或SCAN等需要人工調(diào)參正則化項(xiàng)（例如平衡聚類大小或調(diào)整相似性損失的權(quán)重）的方法不同，I-Con的損失函數(shù)能夠自動(dòng)平衡這些因素，無需額外的正則化超參數(shù)調(diào)優(yōu)，因?yàn)槲覀兪褂昧伺ck均值相同的聚類核函數(shù)。這一理論基礎(chǔ)使得聚類結(jié)果更加魯棒且準(zhǔn)確。

跨領(lǐng)域洞見：I-Con借鑒了對(duì)比學(xué)習(xí)中的思想，通過基于圖像嵌入表示的成對(duì)關(guān)系來優(yōu)化聚類，將數(shù)據(jù)增強(qiáng)樣本和鄰近樣本同等對(duì)待。這種在對(duì)比學(xué)習(xí)中已被證明成功的方法，很好地遷移到了聚類任務(wù)中，顯著提升了在噪聲大、高維圖像數(shù)據(jù)上的性能。

4.3 消融實(shí)驗(yàn)

我們進(jìn)行了多項(xiàng)消融研究，以通過實(shí)驗(yàn)驗(yàn)證從I-Con框架分析對(duì)比聚類所衍生出的架構(gòu)改進(jìn)的有效性。這些消融實(shí)驗(yàn)主要聚焦于兩個(gè)關(guān)鍵方面：將去偏機(jī)制引入目標(biāo)分布空間和嵌入空間的效果，以及不同鄰居傳播策略的影響。

我們對(duì)目標(biāo)分布中不同水平的去偏進(jìn)行了實(shí)驗(yàn)，其中去偏程度由參數(shù) α 控制，并測(cè)試了以下幾種配置：僅在目標(biāo)側(cè)進(jìn)行去偏、在兩側(cè)（目標(biāo)分布和學(xué)習(xí)到的表示）都進(jìn)行去偏，以及完全不進(jìn)行去偏。如圖6所示，引入去偏能夠提升性能，最優(yōu)值通常在 α = 0.6 到 α = 0.8 之間，尤其是在學(xué)習(xí)過程的兩側(cè)都應(yīng)用去偏時(shí)效果最佳。該方法類似于對(duì)比學(xué)習(xí)中的去偏機(jī)制，即假設(shè)每個(gè)負(fù)樣本都有一定的非零概率（α/N）實(shí)際上是錯(cuò)誤的（即可能是正樣本）。圖5展示了在不同批量大小下，改變 α 值對(duì)性能的提升效果。

在第二組實(shí)驗(yàn)中（如表4所示），我們考察了鄰居傳播策略的影響。我們?cè)u(píng)估了在對(duì)比損失計(jì)算中引入局部和全局鄰居時(shí)對(duì)聚類性能的影響。鄰居傳播（尤其是小尺度下，如 s = 1 和 s = 2）在所有模型規(guī)模上均顯著提升了性能，表明捕捉嵌入空間中的局部結(jié)構(gòu)至關(guān)重要。而更大的傳播步長(zhǎng)（例如 s = 3）帶來的增益逐漸減小，表明過度傳播可能會(huì)稀釋來自最近且最相關(guān)點(diǎn)的信息。需要注意的是，只有 DiNO-L/14 模型更偏好較大的步長(zhǎng)，這可能是因?yàn)槠渚哂懈鼜?qiáng)的k近鄰識(shí)別能力，因此擴(kuò)展的連接更可能是正確的。

我們的消融研究表明，對(duì)去偏參數(shù)和鄰居傳播策略進(jìn)行微小調(diào)整，即可通過一個(gè)簡(jiǎn)單的損失函數(shù)實(shí)現(xiàn)顯著性能提升，達(dá)到當(dāng)前最先進(jìn)的效果。此外，不同模型對(duì) α 和傳播步長(zhǎng)的敏感性有所不同：更大的模型通常能從更大的傳播范圍中獲益更多，但需要對(duì) α 進(jìn)行精細(xì)調(diào)參以達(dá)到最佳性能。我們建議將 α 設(shè)置在 0.6 到 0.8 之間，并將鄰居傳播限制在較小的范圍內(nèi)，以在性能和計(jì)算效率之間取得良好平衡。

5 結(jié)論
綜上所述，我們提出了I-Con：一個(gè)單一的信息論方程，統(tǒng)一了廣泛類別的機(jī)器學(xué)習(xí)方法。我們提供了超過15個(gè)定理，證明了該方程適用于當(dāng)前在聚類、譜圖理論、監(jiān)督與無監(jiān)督對(duì)比學(xué)習(xí)、降維以及監(jiān)督分類與回歸等任務(wù)中廣泛使用的諸多主流損失函數(shù)。我們不僅在理論上統(tǒng)一了這些算法，還展示了這種統(tǒng)一關(guān)系能夠幫助我們發(fā)現(xiàn)新的最先進(jìn)方法，并將某一方法中取得的改進(jìn)遷移到該類別中的其他方法。我們通過構(gòu)建一種新的無監(jiān)督圖像分類方法，驗(yàn)證了這一點(diǎn)，該方法相比先前的最佳方法實(shí)現(xiàn)了+8%的性能提升。我們相信，本工作所展示的結(jié)果僅是I-Con可能統(tǒng)一的方法中的一小部分，我們希望研究社區(qū)能夠利用這一視角，促進(jìn)不同算法和機(jī)器學(xué)習(xí)領(lǐng)域之間的協(xié)作與分析。

原文鏈接： https://arxiv.org/pdf/2504.16929=1.00&gsr=0