DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning

DecAlign：用于解耦多模態(tài)表示學習的層次化跨模態(tài)對齊

https://arxiv.org/pdf/2503.11892v2

摘要

多模態(tài)表征學習旨在捕獲不同模態(tài)之間的共享和互補語義信息。然而，不同模態(tài)之間的固有異質性給實現(xiàn)有效的跨模態(tài)協(xié)作和整合帶來了重大挑戰(zhàn)。為了解決這個問題，我們引入了DecAlign，這是一個新穎的層次化跨模態(tài)對齊框架，旨在將多模態(tài)表征分解為模態(tài)唯一（異構）和模態(tài)共通（同構）特征。具體來說，我們通過一種新穎的原型引導最優(yōu)傳輸對齊策略來減輕模態(tài)唯一特征的分布差異，該策略利用高斯混合模型和多邊傳輸。同時，通過最大均值差異正則化對齊潛在分布匹配來加強跨模態(tài)的語義一致性。此外，我們結合了一個多模態(tài)變壓器以增強高級語義特征融合，進一步減少跨模態(tài)的不一致性。我們在四個廣泛使用的多模態(tài)基準測試中的廣泛實驗表明，DecAlign在五個指標上始終優(yōu)于最先進的方法。這些結果突顯了DecAlign在提高跨模態(tài)對齊和語義一致性的同時保留模態(tài)唯一特征方面的有效性，標志著多模態(tài)表征學習場景的重大進步。我們的項目頁面位于https://taco-group.github.io/DecAlign/。

1 引言

多模態(tài)表征學習旨在通過捕獲不同模態(tài)間的共享語義，同時保留各自獨特的特征，來有效整合不同的模態(tài)。這一目標已在許多領域中被追求，包括多模態(tài)情感分析（Lian等，2023；Das & Singh，2023；Wang等，2024a）、推薦系統(tǒng)（Liu等，2024a；2022）、自動駕駛（Yuan等，2025a；Xing等，2024b；Ma等，2025；Xing等，2024a）、分布外檢測（Dong等，2024；Li等，2024c），以及一般的視覺理解和推理（Xing等，2025；Wang等，2024b；Cui等，2023；Wang等，2022b；Liang等，2025）。盡管取得了顯著進展，但模態(tài)間固有的異質性——主要是由于數(shù)據(jù)分布的差異、各種表征尺度和語義粒度——仍然是阻礙有效跨模態(tài)整合的關鍵障礙。

動機。這一挑戰(zhàn)因模態(tài)唯一（異構）模式和跨模態(tài)共同（同構）語義的復雜糾纏而進一步加劇。傳統(tǒng)的多模態(tài)融合方法通常通過簡單的連接或線性變換將原始多模態(tài)數(shù)據(jù)投影到統(tǒng)一的空間中來簡化問題（Han等，2022；Zhang等，2023）。然而，這種不加區(qū)分的融合常常將模態(tài)唯一的特征與全局共享的語義糾纏在一起，導致語義干擾，其中詳細的單模態(tài)特征可能會破壞全局跨模態(tài)關系（Liang等，2024a；Xu等，2023）。當處理維度不匹配時，這種現(xiàn)象尤為明顯，例如，高維、空間相關的圖像特征與低維、時間相關的文本特征配對（Wei等，2025；2024；Zhu等，2024）。這些維度不匹配經常導致次優(yōu)的對齊，在融合過程中造成信息冗余或關鍵信息的丟失。

我們的方法。為了克服這些限制，我們提出了DecAlign，這是一個用于多模態(tài)表征學習的層次化跨模態(tài)對齊框架。如圖2所示，DecAlign首先通過專門的編碼器明確地分離異構和同構特征。然后，利用雙流跨模態(tài)對齊機制，DecAlign分別處理不同粒度的模態(tài)特征：? 對于異構性，我們提出了基于原型的最優(yōu)傳輸對齊（Peyré & Cuturi, 2019），使用高斯混合模型（GMM）（Bishop, 2006）和多邊傳輸計劃（Pass, 2015），有效地減輕分布差異并限制模態(tài)獨有的干擾。此外，我們通過使用跨模態(tài)注意力機制的多模態(tài)變壓器來增強語義對齊和魯棒性，以彌合高級語義不一致性。? 對于同構性，DecAlign通過潛在分布匹配和最大均值差異（MMD）正則化實現(xiàn)語義一致性。最后，我們將對齊的模態(tài)唯一特征與模態(tài)共通特征連接起來，通過一個可學習的投影儀傳遞給下游任務。我們的主要貢獻總結如下：

• 模態(tài)解耦。我們提出了DecAlign，這是一個新穎的層次化跨模態(tài)對齊框架，將多模態(tài)特征解耦為模態(tài)異構和模態(tài)同構組件，允許定制策略來捕獲模態(tài)獨有的特征和共享的語義。

• 層次化對齊策略。我們開發(fā)了一個雙流對齊機制，結合原型引導的最優(yōu)傳輸和跨模態(tài)變壓器來處理模態(tài)異構性，同時應用潛在空間統(tǒng)計匹配來解決同構性，顯著提高了跨模態(tài)語義整合。

• 實證評估。在四個廣泛使用的基準數(shù)據(jù)集上的廣泛實驗表明，DecAlign在多模態(tài)表征學習中一致性地優(yōu)于13種最先進的方法，驗證了其有效性和泛化能力。

2 相關工作（擴展版本見附錄A）

多模態(tài)表征學習。該領域將異構模態(tài)整合到統(tǒng)一的表征中，以捕獲互補的語義（Qian等，2025b；Liang等，2024b；Bayoudh，2024；Wang等，2025）。進展包括對比和掩碼建模（Self-MM），以及層次化圖對比學習（HGraph-CL）（Yu等，2021；Lin等，2022）。然而，異質性和互補性的糾纏阻礙了兩者的利用。為了解決這個問題，MISA分離了不變和獨特的特征，而DMD應用了圖知識蒸餾（Hazarika等，2020；Li等，2023）。然而，全局建模占主導地位，常常忽視了令牌級別的不一致性。我們的DecAlign引入了層次化對齊，從局部到全局，從異質性到同質性，以實現(xiàn)精確和一致的整合。

跨模態(tài)對齊。多模態(tài)學習的核心挑戰(zhàn)是結構、分布和語義的異質性，這限制了特征協(xié)同（Zhu等，2024）。主要方法包括：? 共享表征。學習統(tǒng)一的潛在空間以實現(xiàn)語義一致性。CLIP通過大規(guī)模對比學習對齊圖像-文本對（Radford等，2021；Gao等，2024），而Uni-Code使用解耦和指數(shù)移動平均值實現(xiàn)穩(wěn)定的對齊（Xia等，2024b）。? 基于變壓器的跨注意力。跨注意力動態(tài)捕獲模態(tài)間的信息，如具有解耦或層次化融合的多模態(tài)變壓器（Tsai等，2019；Yang等，2022；Hu等，2024）。? 模態(tài)翻譯。翻譯方法通過跨模態(tài)生成或重建建立映射，明確建模依賴關系（Liu等，2024b；Zeng等，2024；Tian等，2022）。? 知識蒸餾。蒸餾通過轉移知識平衡模態(tài)間的貢獻。DMD應用圖蒸餾進行相關性建模，UMDF使用統(tǒng)一自蒸餾進行魯棒表征學習（Li等，2023；2024b）。與可能過度對齊并丟失模態(tài)特定特征的方法相比，我們的框架結合了表征解耦和層次化對齊，以保留單模態(tài)獨特性，同時確保語義一致性。

3 方法

動機和概述。多模態(tài)表征學習的基本挑戰(zhàn)在于有效解決模態(tài)獨特特征與跨模態(tài)語義一致性之間的固有沖突。出現(xiàn)了兩個關鍵問題：① 異質性：指的是不同模態(tài)之間固有的表征焦點和分布差異，這些差異阻礙了跨模態(tài)語義對齊；② 同質性：強調盡管存在固有差異，但需要捕捉跨模態(tài)共享語義的必要性。為了克服這些限制，我們提出了DecAlign，這是一個層次化的跨模態(tài)對齊框架，明確地對模態(tài)獨特和模態(tài)共通特征采用特定的對齊策略。如圖2所示，DecAlign首先將多模態(tài)表征分解為模態(tài)獨特（異構）和模態(tài)共通（同構）特征（第3.1節(jié)）。隨后采用層次化對齊機制，結合原型引導的多邊最優(yōu)傳輸和跨模態(tài)變壓器進行異構對齊（第3.2節(jié)），以及使用MMD正則化進行同構對齊的潛在空間語義一致性（第3.3節(jié)），確保模態(tài)獨特信息和跨模態(tài)共性的語義一致性。

3.1 多模態(tài)特征解耦

考慮到模態(tài)間的固有異質性和潛在冗余，我們通過明確分離模態(tài)獨特和模態(tài)共通特征來優(yōu)化解耦過程。所有編碼器都被設計為產生具有相同維度的表征以確保兼容性。我們不采用建模分布或計算可能計算成本很高的互信息的方法，而是使用余弦相似度來量化它們潛在的重疊。因此，解耦過程的損失被正式定義為：

3.2 異構性對齊

在多模態(tài)任務中，模態(tài)獨特的特征捕捉了每個模態(tài)特有的不同特征。然而，這些特征在空間結構、尺度、噪聲水平和密度上往往存在顯著差異，使得跨模態(tài)的直接點對點對齊既不可靠又計算成本高昂。此外，盡管這些特征在形式上有所不同，但在涉及相同的基本概念或對象類別時，它們經常攜帶語義對齊的信息。為了在保留共享語義結構的同時有效地彌合模態(tài)獨特特征差異，我們引入了跨模態(tài)的類別原型。這些原型代表了不同模態(tài)特定表征下一致的語義模式，并作為參考點來指導對齊?；诖耍覀儾捎迷鸵龑У亩噙呑顑?yōu)傳輸框架，以實現(xiàn)跨異構特征空間的自適應和細粒度對齊。

原型生成。為了靈活捕捉多模態(tài)數(shù)據(jù)中的復雜分布和潛在相關性，我們采用高斯混合模型（GMM），它利用軟分配機制和高斯分布假設來更準確地表示不同模態(tài)特征的原型結構。GMM通過標準的期望最大化算法進行擬合，該算法迭代估計混合系數(shù)、均值和協(xié)方差，以最大化模態(tài)獨特特征的可能性。我們首先使用GMM對模態(tài)獨特特征進行建模，其中原型由高斯分布的均值和方差表示：

原型引導的最優(yōu)傳輸。不同模態(tài)的模態(tài)獨特特征通常位于具有顯著分布差異的不同特征空間中，傳統(tǒng)的點對點對齊方法難以同時捕捉全局和局部關系。為了解決多模態(tài)場景中的這一挑戰(zhàn)，我們引入了一種多邊最優(yōu)傳輸方法來建立分布之間的匹配?？缒B(tài)原型匹配成本矩陣被定義為：

3.3 同質性對齊

雖然不同的模態(tài)在其表征中表現(xiàn)出獨特的特征，但它們也共享傳達相同語義信息的共同元素。為了有效地揭示和對齊這些共享特征，解決由模態(tài)獨特變化及其分布中的殘余不一致性所帶來的固有挑戰(zhàn)至關重要。

潛在空間語義對齊。為了解決模態(tài)共通特征中的全局偏差和語義不一致性，并在特征融合過程中減輕信息失真，我們使用高斯分布對模態(tài)特征分布進行建模。通過將表征映射到潛在空間，我們通過均值、協(xié)方差和偏度來量化位置、形狀和對稱性的差異，其中偏度進一步被納入以捕捉模態(tài)共通特征分布中的不對稱性，使對齊能夠考慮非高斯語義變化并提高跨模態(tài)一致性。具體來說，對于模態(tài)共通特征，它們的分布被近似為的共通特征的均值、協(xié)方差和偏度。它們的詳細公式在附錄B.6中討論。為了確?？缒B(tài)的語義一致性，我們定義潛在空間語義對齊損失為：

3.4 多模態(tài)融合與預測

認識到多模態(tài)異構表征的獨特特征，例如語言中的句法結構、視覺中的空間布局以及音頻中的時間模式，我們引入了特定于模態(tài)的變壓器（Tsai等人，2019年）來增強全局時間和上下文建模。雖然先前的對齊將模態(tài)獨特特征置于語義一致的空間中，但這些表征仍然包含豐富的模態(tài)內信息，這些信息可以從進一步的細化中受益。使用每個模態(tài)的單獨變壓器并不會破壞對齊，因為表征空間已經通過對齊損失進行了規(guī)范化。相反，這些變壓器充當模態(tài)感知細化器。它們的輸出與模態(tài)共通特征連接，使得共享語義和模態(tài)特定線索能夠共同為最終預測提供信息，最終預測由一個全連接層生成。我們框架的整體優(yōu)化目標定義為：

4 實驗

數(shù)據(jù)集和評價指標描述。我們在四個常見的多模態(tài)數(shù)據(jù)集上評估DecAlign：CMU-MOSI（Zadeh等人，2016年）、CMU-MOSEI（Zadeh等人，2018年）、CH-SIMS（Yu等人，2020年）和IEMOCAP（Busso等人，2008年）。對于CMU-MOSI和CMU-MOSEI，根據(jù)先前的研究（Liang等人，2021年；Li等人，2023年；Zhou等人，2025年），我們使用二元準確率（Acc-2）、七類準確率（Acc-7）和二元F1分數(shù)來評估性能。Acc-2反映了樣本是否被預測為負面，而情感強度預測則通過平均絕對誤差（MAE）和皮爾遜相關系數(shù)（Corr）進一步評估，以捕捉偏差和線性。對于CH-SIMS，我們采用MAE和F1分數(shù)。IEMOCAP遵循（Lian等人，2023年；Fu等人，2024年；Zhang等人，2024年）的方法，使用加權準確率（WAcc）和加權平均F1分數(shù)（WAF1），以考慮類別分布不平衡。詳細的數(shù)據(jù)集和指標描述見附錄B。

實現(xiàn)細節(jié)。與之前的研究一致（Li等人，2023年；Wang等人，2023年），我們使用MMSA-FET工具包（Yu等人，2021年）對除IEMOCAP外的所有數(shù)據(jù)集進行特征提取，對于IEMOCAP，我們遵循先前代表性工作中描述的預處理程序（Lian等人，2023年）。我們在NVIDIA A6000上使用Adam優(yōu)化器以32的批量大小訓練DecAlign 50個周期。關于超參數(shù)設置的更多細節(jié)在附錄B.3中提供，特征提取在附錄B.4中描述。

4.1 比較分析（擴展版本見附錄C）

我們在統(tǒng)一的實驗環(huán)境和一致的數(shù)據(jù)集劃分下，將DecAlign與一系列最先進的方法進行比較。這些基線方法包括MFM（Tsai等人，2018年）、MulT（Tsai等人，2019年）、PMR（Fan等人，2023年）、CubeMLP（Sun等人，2022年）、MUTA-Net（Tang等人，2023年）、MISA（Hazarika等人，2020年）、CENet（Wang等人，2022a）、Self-MM（Yu等人，2021年）、FDMER（Yang等人，2022年）、AOBERT（Kim & Park，2023年）、DMD（Li等人，2023年）、ReconBoost（Hua等人，2024年）和CGGM（Guo等人，2025年）。表1、5、6、7以及圖1展示了我們的DecAlign框架與四個廣泛使用的數(shù)據(jù)集上的13種最先進方法的全面比較。為了考慮統(tǒng)計顯著性并減少隨機性的影響，所報告的DecAlign性能是在五次獨立運行中平均得到的。比較顯示，DecAlign在捕捉連續(xù)目標值的微妙變化以及在離散類別之間進行更精確區(qū)分方面表現(xiàn)出更強的能力。它在不同數(shù)據(jù)集上的一致性能表明了對多模態(tài)數(shù)據(jù)中連續(xù)和分類模式建模的增強能力，反映了對復雜跨模態(tài)交互的更全面理解。

基于Transformer的方法。與MulT（Tsai等人，2019年）、Self-MM（Yu等人，2021年）、PMR（Fan等人，2023年）和MUTA-Net（Tang等人，2023年）等基于Transformer的方法相比，這些方法依賴于交叉注意力機制進行全局特征融合，DecAlign克服了模態(tài)特有的干擾和局部語義不一致性?；赥ransformer的模型假設一個共享的潛在空間，通常會導致占主導地位的模態(tài)掩蓋較弱的模態(tài)，從而導致信息丟失。相比之下，DecAlign明確地分離了模態(tài)異質特征和模態(tài)同質特征，利用基于原型的最優(yōu)傳輸進行細粒度對齊，并通過MMD正則化進行潛在空間語義對齊以實現(xiàn)全局一致性。這減輕了模態(tài)干擾，降低了平均絕對誤差（MAE），提高了相關性（Corr），同時提高了分類性能。

基于特征解耦的方法。雖然多模態(tài)特征解耦方法如MISA（Hazarika等人，2020年）、FDMER（Yang等人，2022年）和DMD（Li等人，2023年）減輕了模態(tài)干擾，但它們主要關注全局對齊，常常忽略了標記級別的不一致性。這種限制阻礙了細粒度的多模態(tài)融合，特別是在需要精確語義融合的任務中。DecAlign通過雙流層次化對齊策略克服了這一挑戰(zhàn)，將基于原型的傳輸用于局部對齊，并結合語義一致性約束以實現(xiàn)穩(wěn)健的全局融合。這使得多模態(tài)表示更具表現(xiàn)力，從而在回歸和分類指標上都取得了卓越的性能。

混淆矩陣分析。為了進一步展示我們性能的優(yōu)越性，并驗證我們提出方法的有效性，我們分析了DecAlign的混淆矩陣，并將其與多模態(tài)情感分析領域中的代表性工作進行比較，包括MulT（Tsai等人，2019年）、MISA（Hazarika等人，2020年）和DMD（Li等人，2023年）。如圖3所示，DecAlign在不同情感強度水平上實現(xiàn)了更平衡且準確的情感分類，顯著減少了誤識別錯誤，特別是在區(qū)分細微情感差異方面表現(xiàn)出色。

與其他方法相比，DecAlign展現(xiàn)出更強的對角線優(yōu)勢，反映了更高的情感分類準確性。值得注意的是，在極端情感類別（-3和+3）中，現(xiàn)有模型常常會錯誤分類樣本，而DecAlign顯著減少了與相鄰情感水平的混淆。在中等情感類別（-1、0和1）中，正確預測樣本的更高集中度進一步證明了其捕捉細粒度情感差異的能力，減少了對中性或極端標簽的偏向。此外，與MulT、MISA和DMD不同，這些方法在負向到中性情感的識別上存在困難，而DecAlign實現(xiàn)了情感類別之間的更清晰分離，確保了更穩(wěn)健且可解釋的預測。這種改進在-2和+2類別中尤為明顯，DecAlign將誤識別到相鄰類別的概率降至最低，驗證了其層次化對齊策略在捕捉模態(tài)獨特細節(jié)和共享語義模式方面的有效性。

4.2 消融研究（擴展版本見附錄C.3）

為了進一步評估DecAlign中各個組件的貢獻，我們在MOSI和MOSEI數(shù)據(jù)集上進行了消融研究，其他基準測試的結果在附錄中給出。第一項研究考察了關鍵模型組件的影響，而第二項研究則關注特定對齊策略的有效性。

關鍵組件的影響
我們使用平均絕對誤差（MAE）和二元F1分數(shù)（表2）來評估多模態(tài)特征解耦（MFD）、異質（Hete）和同質（Homo）對齊對模型性能的影響。完整模型取得了最佳結果，證實了層次化對齊的重要性。移除同質對齊略微增加了MAE并降低了Acc-2，表明模態(tài)內一致性的重要性。移除異質對齊導致了更大的性能下降，表明模態(tài)獨特干擾對特征融合的影響。同時移除這兩種對齊會導致顯著的性能退化，突出了分離模態(tài)同質和模態(tài)異質特征的必要性。

此外，圖4（a）-（d）可視化了在不同情感類別中進行消融的結果，展示了在凍結異質和同質對齊模塊時的性能變化。情感類別中的性能退化進一步驗證了層次化對齊策略的必要性，以在多樣化的表情中保持穩(wěn)健的性能。值得注意的是，即使禁用任何一個對齊模塊，F(xiàn)1分數(shù)仍然高于許多最先進的方法，包括FDMER、AOBERT和DMD，這證明了我們提出的從異質和同質角度進行對齊方法的有效性。當移除MFD時，性能退化最為嚴重，表明在融合之前保留模態(tài)獨特信息是至關重要的。這進一步強調了整合異質和同質表示以實現(xiàn)更好的情感分析的有效性。

特定對齊策略的影響
我們進一步評估了基于原型的最優(yōu)傳輸（Proto-OT）、對比訓練（CT）、語義一致性（Sem）和最大均值差異（MMD）正則化對DecAlign性能的貢獻，如表2所示。移除MMD正則化會導致輕微的性能下降，突出了其在全球潛在空間對齊和特征一致性中的作用。排除語義一致性會進一步降低性能，表明強制語義對齊增強了多模態(tài)特征融合。當移除對比訓練時，性能下降最為顯著，表明其在學習區(qū)分性多模態(tài)表示中的關鍵作用。同樣，消除Proto-OT會導致回歸和分類指標的顯著下降，證明了通過最優(yōu)傳輸進行細粒度對齊顯著提高了多模態(tài)協(xié)作預測性能。

模態(tài)差距分析
圖4（e）-（h）展示了一個關于視覺和語言模態(tài)的案例研究，說明了DecAlign如何減少模態(tài)差距以增強對齊。沒有異質或同質對齊的模型表現(xiàn)出顯著更大的差距，阻礙了跨模態(tài)融合。這些結果進一步驗證了我們層次化對齊策略的有效性。擴展分析將在附錄C.4中展示。

4.3參數(shù)敏感性分析

為了分析超參數(shù)α和β對DecAlign的影響，我們進行了廣泛的網(wǎng)格搜索，并在MOSI和MOSEI數(shù)據(jù)集上評估了模型在不同參數(shù)設置下的二元F1分數(shù)。

圖5展示了結果的熱力圖可視化，其中較深的顏色表示更高的性能。最優(yōu)設置是α = 0.05，β = 0.05，這一設置在兩個數(shù)據(jù)集上都實現(xiàn)了最高的性能。

較大的α和β值會導致性能急劇下降，這表明過度的對齊約束會阻礙有效的融合。較小的α值與適中的β值能夠產生強大的性能，這突出了在最優(yōu)多模態(tài)學習中平衡基于原型的對齊和語義一致性的重要性。

5 結論

我們提出了DecAlign，這是一個用于解耦多模態(tài)表示學習的層次化框架，分別對齊模態(tài)獨特和模態(tài)共有的特征。通過基于原型的最優(yōu)傳輸和潛在語義對齊，我們的方法能夠捕捉跨模態(tài)的全局分布和局部語義。在多個基準測試上的實驗驗證了其有效性。

原文鏈接：https://arxiv.org/pdf/2503.11892v2