人工智能模型的公平性問題日益引起關(guān)注，但我們對(duì)視覺模型中的社會(huì)偏見知之甚少。當(dāng)我們的圖像識(shí)別系統(tǒng)＂看到＂一個(gè)女性時(shí)，它在背后悄然將其與＂家庭＂而非＂事業(yè)＂聯(lián)系起來；當(dāng)系統(tǒng)處理不同膚色的人臉時(shí)，它可能無意識(shí)地做出偏頗的判斷。這些埋藏在代碼深處的偏見從何而來？是數(shù)據(jù)本身的問題，還是模型架構(gòu)的局限？又或許是訓(xùn)練方法的缺陷？本文揭開視覺Transformer模型中社會(huì)偏見的多層面成因，探究訓(xùn)練數(shù)據(jù)、模型規(guī)模與訓(xùn)練目標(biāo)如何共同塑造了AI的＂偏見之眼＂，以及我們可以如何通過技術(shù)手段來消除這些不公正的認(rèn)知。

偏見之眼

視覺Transformer模型（ViT）已經(jīng)成為現(xiàn)代計(jì)算機(jī)視覺的基石，但這些模型＂看＂世界的方式卻隱藏著令人擔(dān)憂的社會(huì)偏見。當(dāng)我們深入探索這些模型的嵌入空間時(shí)，發(fā)現(xiàn)它們經(jīng)常在不同社會(huì)群體間做出帶有刻板印象的關(guān)聯(lián)。比如，研究顯示ViT-MAE模型在處理性別相關(guān)圖像時(shí)，會(huì)將＂女性＂與＂家庭＂關(guān)聯(lián)度更高，而非＂職業(yè)＂；相比之下，對(duì)于＂男性＂圖像，模型對(duì)＂職業(yè)＂和＂家庭＂的關(guān)聯(lián)則更為平衡。

這些偏見不僅限于性別。研究中使用的圖像嵌入關(guān)聯(lián)測(cè)試（iEAT）發(fā)現(xiàn)，幾乎所有視覺Transformer模型都表現(xiàn)出對(duì)阿拉伯-穆斯林群體的負(fù)面偏見，將他們與＂不愉快＂的概念關(guān)聯(lián)度更高。類似地，針對(duì)膚色、年齡、殘障狀態(tài)等維度的測(cè)試也揭示了模型中存在的系統(tǒng)性偏見。

圖像嵌入關(guān)聯(lián)測(cè)試本質(zhì)上是測(cè)量模型嵌入空間中各概念之間的余弦相似度。研究者選取了15組測(cè)試案例，每組包含兩個(gè)目標(biāo)概念（如＂男性＂和＂女性＂）和兩個(gè)屬性概念（如＂職業(yè)＂和＂家庭＂）。當(dāng)模型將某個(gè)目標(biāo)概念與某個(gè)屬性的關(guān)聯(lián)程度顯著高于另一個(gè)屬性時(shí)，就表明存在偏見。

測(cè)量這些偏見需要兩個(gè)關(guān)鍵指標(biāo)：統(tǒng)計(jì)顯著性和效應(yīng)量。統(tǒng)計(jì)顯著性通過排列測(cè)試來確定，計(jì)算得到p值（pt）；而效應(yīng)量（d）則量化偏見的方向和強(qiáng)度。例如，當(dāng)測(cè)試＂男性/女性＂與＂職業(yè)/家庭＂的關(guān)聯(lián)時(shí)，ViT-MAE模型顯示出-0.59的效應(yīng)量，表明模型傾向于將女性與家庭關(guān)聯(lián)、將男性與職業(yè)關(guān)聯(lián)。

更令人擔(dān)憂的是，這些偏見并非僅存在于模型的某一層。研究顯示，生成式學(xué)習(xí)模型在各層中都表現(xiàn)出相當(dāng)數(shù)量的偏見，而判別式學(xué)習(xí)模型雖然在淺層與生成式模型相似，但在深層中偏見逐漸減少。這表明偏見可能從模型最基本的特征提取階段就已經(jīng)形成。

數(shù)據(jù)的迷局

既然識(shí)別了視覺模型中的社會(huì)偏見，一個(gè)直觀的想法是：這些偏見是否源自訓(xùn)練數(shù)據(jù)中的不均衡表示？研究者嘗試通過對(duì)抗性數(shù)據(jù)增強(qiáng)的方法來驗(yàn)證和解決這一問題。

對(duì)抗性數(shù)據(jù)增強(qiáng)，本質(zhì)上是創(chuàng)建與原始訓(xùn)練數(shù)據(jù)相反的樣本。以性別偏見為例，研究團(tuán)隊(duì)采用了擴(kuò)散模型圖像編輯技術(shù)，為ImageNet-1K數(shù)據(jù)集生成了159，393張對(duì)抗樣本。具體步驟是：首先使用BLIP和CLIP模型為圖像生成文本描述，然后替換描述中的性別詞匯（如將＂男人＂替換為＂女人＂），再通過CLIPSeg模型在原圖中遮罩相關(guān)區(qū)域，最后用Stable Diffusion模型根據(jù)修改后的文本描述重新生成該區(qū)域。

這種方法的效果如何？實(shí)驗(yàn)表明，對(duì)抗性數(shù)據(jù)增強(qiáng)確實(shí)能減輕某些模型中的社會(huì)偏見，但效果因模型而異，且無法完全消除偏見。例如，在BEiT模型上，使用對(duì)抗數(shù)據(jù)訓(xùn)練一個(gè)輪次后，性別偏見的效應(yīng)量從0.65降低到0.45，但代價(jià)是CIFAR10數(shù)據(jù)集上的線性評(píng)估性能從87.5下降到84.8。而在ViT-MoCo模型上，偏見僅從1.41輕微減少到1.39，性能則保持不變。

更有趣的是，對(duì)ViT-MAE模型進(jìn)行相同處理后，性別偏見不降反增，從0.59上升到0.64。這表明不同模型對(duì)對(duì)抗數(shù)據(jù)的反應(yīng)存在顯著差異，對(duì)抗訓(xùn)練的效果可能與模型架構(gòu)和訓(xùn)練目標(biāo)息息相關(guān)。

為排除預(yù)訓(xùn)練檢查點(diǎn)的影響，研究者還嘗試了從頭開始使用ImageNet-1K和對(duì)抗數(shù)據(jù)共同訓(xùn)練模型（雙向CDA）。結(jié)果顯示，ViT-MoCo的性別偏見從1.25減少到1.04，而ViT-MAE的偏見仍從0.50增加到0.55。這進(jìn)一步證實(shí)了觀察到的效應(yīng)并非源自預(yù)訓(xùn)練檢查點(diǎn)，而可能是模型架構(gòu)差異導(dǎo)致的。

這些發(fā)現(xiàn)提出了一個(gè)重要問題：社會(huì)偏見在視覺模型中的形成是否僅僅是訓(xùn)練數(shù)據(jù)中對(duì)象共現(xiàn)的結(jié)果？研究表明，情況遠(yuǎn)比這復(fù)雜。雖然某些偏見確實(shí)可能源自數(shù)據(jù)分布不均（如女性更多出現(xiàn)在＂家庭或酒店＂場(chǎng)景，男性更多出現(xiàn)在＂工業(yè)和建筑＂場(chǎng)景），但對(duì)抗數(shù)據(jù)增強(qiáng)的有限效果和模型間的差異反應(yīng)表明，模型架構(gòu)和訓(xùn)練目標(biāo)可能同樣重要。

有趣的是，實(shí)驗(yàn)顯示一些偏見在所有模型中都一致存在，不受訓(xùn)練目標(biāo)影響。例如，所有測(cè)試的模型都將女性更多與家庭角色而非職業(yè)聯(lián)系起來，并將阿拉伯-穆斯林群體視為不那么愉快。這表明這些特定偏見可能確實(shí)深植于訓(xùn)練數(shù)據(jù)中，而其他偏見則可能更多受到模型設(shè)計(jì)的影響。

這些發(fā)現(xiàn)突顯了解決視覺模型社會(huì)偏見問題的復(fù)雜性。簡(jiǎn)單地平衡訓(xùn)練數(shù)據(jù)可能不足以消除所有偏見，特別是當(dāng)不同模型對(duì)相同的對(duì)抗數(shù)據(jù)表現(xiàn)出不同反應(yīng)時(shí)。研究者認(rèn)為，未來可能需要更有原則性的方法，甚至可能需要繞過對(duì)抗數(shù)據(jù)的使用，直接通過后處理干預(yù)來消除模型中的偏見。

要解決視覺模型中的社會(huì)偏見問題，我們需要全面考慮數(shù)據(jù)、架構(gòu)和訓(xùn)練方法三個(gè)維度。偏見不僅僅是數(shù)據(jù)的問題，而是一個(gè)涉及多個(gè)因素的復(fù)雜現(xiàn)象，需要綜合的解決方案。

教會(huì)方式有別

視覺Transformer模型的行為就像接受不同教育的學(xué)生，它們對(duì)世界的＂理解＂很大程度上取決于訓(xùn)練的方式。研究顯示，判別式學(xué)習(xí)和生成式學(xué)習(xí)這兩種主要的自監(jiān)督訓(xùn)練目標(biāo)，會(huì)讓模型形成截然不同的社會(huì)偏見模式。

判別式學(xué)習(xí)模型（如ViT-DINO、ViT-MoCo和ViT-MSN）工作原理類似于＂找不同＂游戲，它們通過比較同一圖像的不同視角來學(xué)習(xí)特征。這些模型被訓(xùn)練成識(shí)別同一張圖片在不同變形（如旋轉(zhuǎn)、裁剪或顏色變化）下的共同點(diǎn)。與此相對(duì)，生成式學(xué)習(xí)模型（如BEiT、iGPT和ViT-MAE）則像在玩＂填空＂游戲，它們會(huì)嘗試從不完整信息中重建原始圖像，比如從被掩蓋的圖像部分預(yù)測(cè)完整圖像。

研究結(jié)果令人驚訝：判別式學(xué)習(xí)模型展現(xiàn)出明顯更少的社會(huì)偏見。當(dāng)統(tǒng)計(jì)顯著性閾值設(shè)為0.05時(shí)，判別式模型平均只有約4個(gè)顯著社會(huì)偏見，而生成式模型則平均有約8個(gè)。這種差距在各個(gè)統(tǒng)計(jì)顯著性水平（從0.0001到0.1）上都保持一致，表明這一發(fā)現(xiàn)具有統(tǒng)計(jì)學(xué)上的穩(wěn)健性。

為什么會(huì)出現(xiàn)這種差異？研究者推測(cè)，生成式模型在本質(zhì)上更容易捕捉訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)模式和依賴關(guān)系，因?yàn)樗鼈兊哪繕?biāo)就是重建符合這些模式的圖像。如果訓(xùn)練數(shù)據(jù)對(duì)特定人口統(tǒng)計(jì)、物體或場(chǎng)景存在偏向，模型就會(huì)在其表示中無意識(shí)地學(xué)習(xí)并延續(xù)這些偏見。相反，判別式學(xué)習(xí)目標(biāo)鼓勵(lì)模型學(xué)習(xí)在同一圖像不同視角間保持不變的特征，這可能使模型更關(guān)注基本視覺特征，而不那么受社會(huì)偏見或外部因素影響。

更令人震驚的是，使用相同數(shù)據(jù)集訓(xùn)練的不同模型可能展現(xiàn)完全相反的社會(huì)偏見。以美洲原住民與歐裔美國人的比較為例，ViT-MAE模型傾向于將美洲原住民與＂不愉快＂概念關(guān)聯(lián)（效應(yīng)量-1.15），而ViT-MoCo模型則表現(xiàn)出相反的關(guān)聯(lián)模式（效應(yīng)量-0.66，負(fù)號(hào)表示偏見方向相反）。這一發(fā)現(xiàn)挑戰(zhàn)了＂社會(huì)偏見僅僅是訓(xùn)練數(shù)據(jù)中物體共現(xiàn)的結(jié)果＂這一簡(jiǎn)單假設(shè)。

盡管如此，研究也發(fā)現(xiàn)一些社會(huì)偏見在所有模型中都很一致，不受訓(xùn)練目標(biāo)影響。比如，所有測(cè)試模型都將阿拉伯-穆斯林群體與＂不愉快＂概念關(guān)聯(lián)度更高（效應(yīng)量在-0.55到-1.24之間），將女性更多與家庭角色而非職業(yè)聯(lián)系（效應(yīng)量在-0.14到-1.41之間）。這表明這些特定偏見可能確實(shí)源自訓(xùn)練數(shù)據(jù)中的系統(tǒng)性不平衡。

這些發(fā)現(xiàn)暗示著訓(xùn)練目標(biāo)在社會(huì)偏見形成中起著關(guān)鍵作用，不僅影響偏見的數(shù)量，還影響其方向。因此，未來的偏見緩解工作可能應(yīng)該聚焦于那些在不同模型間一致存在的社會(huì)偏見，這些偏見更可能是數(shù)據(jù)分布不平衡的結(jié)果，而非模型特性的產(chǎn)物。

尺寸見分曉

模型的大小真的重要嗎？在視覺Transformer模型的世界里，答案是肯定的，尤其是談到社會(huì)偏見。研究人員對(duì)三種不同尺寸的iGPT模型（小、中、大）和三種不同尺寸的ViT-MAE模型（基礎(chǔ)、大、巨大）進(jìn)行了系統(tǒng)分析，發(fā)現(xiàn)模型規(guī)模與社會(huì)偏見之間存在明顯關(guān)系。

隨著模型變大，社會(huì)偏見的方向往往保持不變，但強(qiáng)度卻顯著減弱。具體來說，iGPT-S模型在15項(xiàng)測(cè)試中的平均絕對(duì)效應(yīng)量約為0.83，而更大的iGPT-L模型則降至約0.54。類似地，ViT-MAE-B的平均絕對(duì)效應(yīng)量約為0.80，而最大的ViT-MAE-H模型降至約0.63。這表明，雖然更大的模型仍然存在社會(huì)偏見，但其強(qiáng)度通常較小。

這一現(xiàn)象背后的原因可能是大型模型具有更強(qiáng)的語義信息捕獲能力，減少了對(duì)虛假相關(guān)性的依賴。簡(jiǎn)單來說，更大的模型＂看＂得更全面，不必過度依賴可能含有偏見的簡(jiǎn)單線索。然而，研究人員強(qiáng)調(diào)，僅靠增加模型規(guī)?？赡懿蛔阋酝耆鐣?huì)偏見，這只是緩解策略的一部分。

除了模型規(guī)模，輸入分辨率也顯著影響著社會(huì)偏見的強(qiáng)度。研究者分析了在ImageNet-21k上預(yù)訓(xùn)練并在ImageNet-1k上微調(diào)的BEiT模型，這些模型在224224、384384和512512三種不同輸入分辨率上運(yùn)行。隨著輸入分辨率從224224增加到512512，社會(huì)偏見的平均絕對(duì)效應(yīng)量從約0.88降至約0.65。這表明更高的輸入分辨率有助于減輕社會(huì)偏見，可能是因?yàn)槟Ｐ湍軌颢@取更多細(xì)節(jié)信息，減少了對(duì)帶有偏見的簡(jiǎn)化假設(shè)的依賴。

研究還考察了圖像塊（patch）大小對(duì)社會(huì)偏見的影響，比較了使用88塊和1616塊的ViT-DINO模型。結(jié)果顯示，雖然不同塊大小的模型表現(xiàn)出偏見強(qiáng)度的差異，但沒有觀察到系統(tǒng)性的增加或減少模式。不過，由于可用模型樣本量有限，這一結(jié)論需要進(jìn)一步驗(yàn)證。

在分析模型內(nèi)部結(jié)構(gòu)時(shí)，研究者還發(fā)現(xiàn)一個(gè)有趣現(xiàn)象：偏見在模型不同層中的分布與訓(xùn)練目標(biāo)相關(guān)。對(duì)于生成式學(xué)習(xí)模型（如ViT-MAE和BEiT），社會(huì)偏見在各層中數(shù)量基本穩(wěn)定。而對(duì)于判別式學(xué)習(xí)模型（如ViT-DINO和ViT-MoCo），早期層的偏見數(shù)量與生成式模型相似，但隨著層數(shù)增加，偏見逐漸減少。

這一觀察結(jié)果暗示，模型早期層中的偏見可能源于圖像數(shù)據(jù)的固有特性，與高級(jí)語義解釋無關(guān)。例如，膚色和體重這類偏見可能連接到低級(jí)特征如像素亮度，在模型形成語義概念前就已存在。隨著判別式模型在深層形成更有意義的語義特征，它們表現(xiàn)出更少的偏見，而生成式模型即使在深層也保留了相當(dāng)數(shù)量的偏見。

這些發(fā)現(xiàn)指向了一個(gè)實(shí)用的緩解策略：在選擇模型架構(gòu)時(shí)，可以考慮使用更大的模型和更高的輸入分辨率，尤其是選擇判別式學(xué)習(xí)目標(biāo)訓(xùn)練的模型，以減輕社會(huì)偏見的影響。同時(shí)，在使用模型嵌入特征時(shí)，對(duì)于判別式模型，可能優(yōu)先考慮更深層的特征，因?yàn)樗鼈兺ǔ０俚纳鐣?huì)偏見。

總體而言，這些研究結(jié)果揭示了視覺Transformer模型中社會(huì)偏見形成的復(fù)雜性，并提供了多角度的理解和可能的緩解策略。通過適當(dāng)選擇訓(xùn)練目標(biāo)、模型規(guī)模和輸入分辨率，可以在保持模型性能的同時(shí)減輕社會(huì)偏見的影響，朝著更公平的人工智能邁進(jìn)一步。

參考資料

1. Brinkmann， J.， Swoboda， P.， &； Bartelt， C. （2025）. A Multidimensional Analysis of Social Biases in Vision Transformers. ICCV 2025.

2. Sirotkin， A.， et al. （2023）. Distribution of social biases in self-supervised image models.

3. Webster， R.， et al. （2022）. Counterfactual data augmentation for mitigating biases in vision models.

4. He， K.， et al. （2021）. Masked autoencoders are scalable vision learners.

5. Chen， X.， et al. （2021）. An empirical study of training self-supervised vision transformers.