Learning subjective time-series data via Utopia Label Distribution Approximation

通過(guò) Utopia 標(biāo)簽分布近似學(xué)習(xí)主觀時(shí)間序列數(shù)據(jù)

https://www.sciencedirect.com/science/article/pii/S0031320324006757

摘要
主觀時(shí)間序列回歸（STR）任務(wù)最近受到了越來(lái)越多的關(guān)注。然而，大多數(shù)現(xiàn)有方法忽視了STR數(shù)據(jù)中的標(biāo)簽分布偏差，這導(dǎo)致了模型的偏差。在年齡和深度估計(jì)等不平衡回歸任務(wù)的新興研究中，假設(shè)標(biāo)簽分布是均勻且已知的。但在現(xiàn)實(shí)中，STR任務(wù)中測(cè)試集的標(biāo)簽分布通常是不均勻且未知的。此外，時(shí)間序列數(shù)據(jù)在時(shí)間上下文和標(biāo)簽空間中表現(xiàn)出連續(xù)性，這尚未被現(xiàn)有方法解決。為了解決這些問(wèn)題，我們提出了一種烏托邦標(biāo)簽分布近似（ULDA）方法，該方法將近似真實(shí)世界但未知（烏托邦）的標(biāo)簽分布用于校準(zhǔn)訓(xùn)練集和測(cè)試集。烏托邦標(biāo)簽分布是通過(guò)使用高斯核對(duì)原始分布進(jìn)行卷積生成的。ULDA還設(shè)計(jì)了兩個(gè)新模塊（時(shí)間切片正態(tài)采樣（TNS）生成所需的新樣本和卷積加權(quán)損失（CWL）降低冗余樣本的學(xué)習(xí)權(quán)重），這些模塊不僅協(xié)助模型訓(xùn)練，還保持了時(shí)間上下文空間中的樣本連續(xù)性。廣泛的實(shí)驗(yàn)表明，ULDA提升了STR任務(wù)的最新性能，并展示了對(duì)其他時(shí)間序列任務(wù)的相當(dāng)強(qiáng)的泛化能力。

關(guān)鍵詞：標(biāo)簽分布偏差、主觀時(shí)間序列回歸、烏托邦標(biāo)簽分布近似、時(shí)間切片正態(tài)采樣、卷積加權(quán)損失

1. 引言

   
   隨著多媒體社交網(wǎng)絡(luò)的快速發(fā)展，許多應(yīng)用（例如多模態(tài)檢索 [1]、預(yù)告片生成 [2] 和個(gè)性化推薦 [3]）都需要在若干任務(wù)上具備高性能算法，如視頻情感分析 [4,5]、視頻摘要生成 [6,7] 和音樂(lè)情緒識(shí)別 [8] 等。這些任務(wù)通常需要幀級(jí)別的標(biāo)注，即對(duì)視頻或音頻片段中的每一幀進(jìn)行標(biāo)注。這些標(biāo)簽通常是表示情緒極性與強(qiáng)度 [8,9] 或視頻摘要中各幀重要性得分 [6,10] 的數(shù)值，取值在一個(gè)連續(xù)范圍內(nèi)。通常，這些數(shù)值是多位標(biāo)注者主觀判斷的平均結(jié)果。本文將此類(lèi)任務(wù)命名為 主觀時(shí)間序列回歸 （Subjective Time-series Regression, STR）任務(wù)。這與年齡估計(jì) [11] 和深度估計(jì) [12] 等回歸任務(wù)中使用的客觀標(biāo)簽不同，后者的標(biāo)簽基于可測(cè)量且可驗(yàn)證的標(biāo)準(zhǔn)。

由于STR任務(wù)的特殊性，每幀的回歸標(biāo)簽是多位標(biāo)注者投票的平均值。我們觀察到，大多數(shù)現(xiàn)有數(shù)據(jù)集的標(biāo)注人數(shù)不足（例如，LIRIS-ACCEDE 數(shù)據(jù)集 [9] 中每個(gè)樣本僅有3位標(biāo)注者，SumMe 數(shù)據(jù)集 [6] 中為15～18人，TVSum 數(shù)據(jù)集 [10] 中為20人）。在這種情況下，訓(xùn)練集和測(cè)試集中的樣本及其標(biāo)簽可被視為對(duì)現(xiàn)實(shí)世界的一種欠采樣。這可能導(dǎo)致每個(gè)訓(xùn)練樣本的標(biāo)簽發(fā)生偏斜，進(jìn)而使得整個(gè)訓(xùn)練標(biāo)簽分布相較于真實(shí)世界的分布產(chǎn)生偏差。

為緩解學(xué)習(xí)有偏模型的問(wèn)題，研究人員已做出大量努力，試圖基于訓(xùn)練數(shù)據(jù)估計(jì)真實(shí)世界的標(biāo)簽分布，以校準(zhǔn)訓(xùn)練集和測(cè)試集。然而，測(cè)試集（即真實(shí)世界）的標(biāo)簽分布通常是未知的。大多數(shù)現(xiàn)有研究假設(shè)測(cè)試集呈均勻分布，并通過(guò)平衡數(shù)據(jù)分布來(lái)解決該問(wèn)題，主要分為兩類(lèi)方法：數(shù)據(jù)級(jí)方法（Data-level methods），通過(guò)對(duì)訓(xùn)練數(shù)據(jù)的子集進(jìn)行過(guò)采樣或欠采樣以平衡分布，例如 SmoteR [13]、SmogN [14] 等；以及算法級(jí)方法（Algorithm-level methods），通過(guò)調(diào)整現(xiàn)有學(xué)習(xí)算法（尤其是損失函數(shù)）以更好地處理不平衡的訓(xùn)練數(shù)據(jù)，例如 BMC [15]、Dense loss [16]、RankSim [17] 等。近期一項(xiàng)新興工作 DIR [18] 結(jié)合了上述兩類(lèi)方法。盡管這些方法對(duì)于非時(shí)間序列回歸任務(wù)（如年齡估計(jì) [11] 或深度估計(jì) [12]）可能是合理的，但在STR任務(wù)中，數(shù)據(jù)不太可能服從均勻分布，因?yàn)闃?biāo)簽具有主觀性。以情緒為例，在日常生活中，人們表達(dá)憤怒與中性情緒的概率幾乎不可能相等。因此，上述方法在STR任務(wù)中可能并不適用。

鑒于STR任務(wù)中均勻分布的假設(shè)不合理，我們認(rèn)為采用數(shù)據(jù)驅(qū)動(dòng)的方法應(yīng)是更優(yōu)的選擇。為驗(yàn)證這一假設(shè)，我們開(kāi)展了一項(xiàng)初步研究。然而，由于收集具有充足標(biāo)注的數(shù)據(jù)集極為困難，我們基于 LIRIS-ACCEDE 數(shù)據(jù)集 [9] 中所有影片的前1000秒，構(gòu)建了一個(gè)虛擬電影的合成數(shù)據(jù)分布。該電影每一幀的標(biāo)簽由大量虛擬標(biāo)注者（100人）給出，其分布服從高斯分布，如圖1(a)所示。這些標(biāo)簽的均值被用作真實(shí)世界中的“真實(shí)分布”，其統(tǒng)計(jì)分布如圖1(b)所示。為模擬現(xiàn)有數(shù)據(jù)集的情況，我們從這100名虛擬標(biāo)注者中隨機(jī)選取3人，以其投票均值模擬訓(xùn)練集的數(shù)據(jù)分布，如圖1(c)所示。圖1(d)展示了三種標(biāo)簽分布：原始訓(xùn)練集標(biāo)簽分布（紅色）、均勻分布（淺藍(lán)色）以及本文所提方法估計(jì)的近似“烏托邦”標(biāo)簽分布（深藍(lán)色）?？梢杂^察到，均勻分布與圖1(b)中的真實(shí)世界標(biāo)簽分布存在顯著差異；而僅由少數(shù)標(biāo)注者投票得到的均值也嚴(yán)重偏離真實(shí)標(biāo)簽，進(jìn)一步導(dǎo)致標(biāo)簽分布出現(xiàn)偏差。我們計(jì)算了這三種標(biāo)簽分布與真實(shí)世界標(biāo)簽分布之間的皮爾遜相關(guān)系數(shù)（PCC）。結(jié)果顯示，均勻分布的PCC最低（0.015），訓(xùn)練集標(biāo)簽分布次之（0.880），而我們近似的烏托邦標(biāo)簽分布取得了最高的PCC（0.922）。

為逼近烏托邦標(biāo)簽分布，我們的思路不同于其他不平衡回歸方法——后者直接校準(zhǔn)訓(xùn)練集與測(cè)試集之間的標(biāo)簽分布（如圖2(a)所示）。我們通過(guò)間接方式校準(zhǔn)標(biāo)簽分布，即將訓(xùn)練集的分布逼近真實(shí)世界的分布（如圖2(b)所示）。然而，關(guān)鍵挑戰(zhàn)在于真實(shí)世界的分布是未知的。幸運(yùn)的是，已有充分研究表明：在現(xiàn)實(shí)世界中，當(dāng)標(biāo)注者數(shù)量足夠多時(shí)，中心極限定理成立 [19,20]。這意味著，每個(gè)標(biāo)簽值對(duì)應(yīng)的樣本數(shù)量應(yīng)服從高斯分布?；谶@一觀察，我們提出一種數(shù)據(jù)驅(qū)動(dòng)的方法，稱(chēng)為烏托邦標(biāo)簽分布近似（Utopia Label Distribution Approximation, ULDA），該方法利用高斯核對(duì)訓(xùn)練集的標(biāo)簽分布進(jìn)行卷積，從而逼近真實(shí)但未知的（“烏托邦”）標(biāo)簽分布。圖1(d)中的PCC對(duì)比表明，僅使用訓(xùn)練集，ULDA即可獲得最接近真實(shí)世界分布的代表性分布，且無(wú)需引入任何有偏假設(shè)。

卷積之后，每個(gè)回歸標(biāo)簽所需的樣本數(shù)量可能發(fā)生改變。然而，STR任務(wù)數(shù)據(jù)還具有另一個(gè)顯著特性——在時(shí)間上下文空間和標(biāo)簽空間中均具有連續(xù)性，這使得前述數(shù)據(jù)級(jí)和算法級(jí)方法不再適用。為應(yīng)對(duì)這一問(wèn)題，我們?cè)O(shè)計(jì)了兩種策略：(1) 當(dāng)卷積后所需樣本數(shù)量大于原始數(shù)量時(shí)，我們提出時(shí)間切片正態(tài)采樣（Time-slice Normal Sampling, TNS）方法，用于增強(qiáng)時(shí)間序列訓(xùn)練樣本。TNS在短時(shí)間切片內(nèi)估計(jì)樣本特征的正態(tài)分布，并通過(guò)蒙特卡洛采樣生成新樣本，以保持上下文連續(xù)性。(2) 當(dāng)所需樣本數(shù)量小于原始數(shù)量時(shí)，我們?cè)O(shè)計(jì)了卷積加權(quán)損失（Convolution Weighted Loss, CWL），通過(guò)降低這些樣本的權(quán)重而非進(jìn)行欠采樣來(lái)實(shí)現(xiàn)平衡。權(quán)重根據(jù)卷積前后樣本數(shù)量的比值計(jì)算得出。同樣，由于未剔除任何訓(xùn)練樣本，CWL也能維持上下文連續(xù)性。

本文的貢獻(xiàn)有三點(diǎn)：

1. 我們深入探究了STR任務(wù)中數(shù)據(jù)分布的本質(zhì)，并提出了烏托邦標(biāo)簽分布近似（ULDA）方法，以解決時(shí)間序列數(shù)據(jù)中的標(biāo)簽分布偏差問(wèn)題。據(jù)我們所知，ULDA是文獻(xiàn)中首個(gè)針對(duì)該問(wèn)題提出的方法。

1. 我們?cè)O(shè)計(jì)了時(shí)間切片正態(tài)采樣（Time-slice Normal Sampling, TNS），這是一種數(shù)據(jù)級(jí)方法，用于在所需樣本數(shù)量大于原始樣本數(shù)量時(shí)生成新的時(shí)間序列數(shù)據(jù)；同時(shí)提出了卷積加權(quán)損失（Convolution Weighted Loss, CWL），這是一種算法級(jí)方法，用于在所需樣本數(shù)量小于原始數(shù)量時(shí)降低樣本的權(quán)重。
2. 大量實(shí)驗(yàn)表明，我們提出的 ULDA（結(jié)合 TNS 與 CWL）顯著提升了基線模型的性能，并在四個(gè)基準(zhǔn)數(shù)據(jù)集上優(yōu)于當(dāng)前最先進(jìn)的（SOTA）方法。我們的代碼已公開(kāi)于：https://github.com/wxxv/ULDA_LIRIS_PGL 。

1. 相關(guān)工作

   
   2.1 主觀時(shí)間序列回歸任務(wù)

隨著主觀時(shí)間序列回歸（STR）任務(wù)受到越來(lái)越多的關(guān)注，近期已提出多個(gè)針對(duì)STR任務(wù)的數(shù)據(jù)集和方法。Baveye 等人 [9] 構(gòu)建了 LIRIS-ACCEDE 數(shù)據(jù)集——一個(gè)用于情感內(nèi)容分析的大規(guī)模視頻數(shù)據(jù)集，其中視頻每秒都被標(biāo)注。他們還使用支持向量回歸（SVR）模型驗(yàn)證了情緒回歸預(yù)測(cè)的可行性。Zhang 等人 [8] 創(chuàng)建了用于音樂(lè)情緒識(shí)別（MER）的 PMEmo 數(shù)據(jù)集，其中每首歌曲在每0.5秒處都帶有情緒標(biāo)注。Gygli 等人 [6] 和 Song 等人 [10] 分別構(gòu)建了 SumMe 和 TVSum 視頻摘要數(shù)據(jù)集，其中每一幀都被賦予一個(gè)重要性得分。

在 STR 任務(wù)方面，Zhao 等人 [21] 為電影情感分析設(shè)計(jì)了一種雙時(shí)間尺度結(jié)構(gòu)，能夠同時(shí)捕捉片段間（inter-clip）與片段內(nèi)（intra-clip）的關(guān)系，以充分利用視頻中的時(shí)間上下文信息。Mittal 等人 [22] 提出了 Affect2MM 用于視頻情感分析，該方法利用 LSTM 模型提取視頻情緒特征，并聲稱(chēng) Affect2MM 是首個(gè)通過(guò)注意力機(jī)制和格蘭杰因果（Granger causality）顯式建模時(shí)間因果關(guān)系的方法。為克服以往方法在建模長(zhǎng)期依賴方面的不足，Apostolidis 等人 [23] 提出了 PGL-SUM 用于視頻摘要，該方法通過(guò)結(jié)合全局與局部的多頭注意力機(jī)制，在不同粒度級(jí)別上建模幀之間的依賴關(guān)系。Zhang 等人 [24] 提出了 RMN（Reinforced Memory Network），這是一種基于強(qiáng)化學(xué)習(xí)的記憶網(wǎng)絡(luò)，可緩解 LSTM 的存儲(chǔ)限制以及長(zhǎng)序列預(yù)測(cè)中的梯度消失/爆炸問(wèn)題。據(jù)目前報(bào)道，RMN 在多種 STR 任務(wù)上達(dá)到了最先進(jìn)的（SOTA）性能。

上述所有方法均聚焦于學(xué)習(xí)時(shí)間序列數(shù)據(jù)更優(yōu)的上下文特征。然而，它們忽略了現(xiàn)有 STR 數(shù)據(jù)集中因標(biāo)注者數(shù)量不足所導(dǎo)致的標(biāo)簽分布偏差問(wèn)題，從而導(dǎo)致模型產(chǎn)生偏倚。

2.2 不平衡回歸

不平衡分類(lèi)問(wèn)題已得到廣泛研究 [25]。相比之下，不平衡回歸直到最近才引起研究者的關(guān)注。其目標(biāo)是從天然不平衡的數(shù)據(jù)中學(xué)習(xí)連續(xù)目標(biāo)值，并泛化到在整個(gè)連續(xù)目標(biāo)值范圍內(nèi)均衡分布的測(cè)試集上 [18]。由于標(biāo)簽空間的連續(xù)性使得不平衡回歸區(qū)別于不平衡分類(lèi)，研究人員提出了新的數(shù)據(jù)級(jí)或算法級(jí)方法，在從不平衡訓(xùn)練集中學(xué)習(xí)時(shí)校正模型的偏差。

數(shù)據(jù)級(jí)方法基于多種采樣策略。通常，它們?cè)噲D在數(shù)據(jù)預(yù)處理階段通過(guò)在預(yù)定義的稀有標(biāo)簽區(qū)域合成新樣本、并在普通標(biāo)簽區(qū)域進(jìn)行欠采樣，從而構(gòu)建一個(gè)平衡的訓(xùn)練集。SmoteR [13] 基于 SMOTE [26]，通過(guò)對(duì)輸入和目標(biāo)在稀有區(qū)域進(jìn)行線性插值來(lái)合成新數(shù)據(jù)。Branco 等人 [14,27] 提出了 SmogN，該方法將 SmoteR 與通過(guò)高斯噪聲進(jìn)行的過(guò)采樣相結(jié)合；同時(shí)，他們還設(shè)計(jì)了 REBAGG 算法，該算法集成多個(gè)使用不同重采樣方法訓(xùn)練的回歸器。

算法級(jí)方法假設(shè)測(cè)試集是均衡且一致的，進(jìn)而設(shè)計(jì)不同的重加權(quán)損失函數(shù)，以從不平衡訓(xùn)練集中學(xué)習(xí)均衡的特征。Yang 等人 [18] 和 Steininger 等人 [16] 提出了 LDS 和 KDE 方法，將標(biāo)簽的連續(xù)性納入考量：他們首先使用核密度估計(jì)（KDE）估計(jì)標(biāo)簽密度分布，然后通過(guò)與標(biāo)簽密度成反比的加權(quán)損失來(lái)優(yōu)化模型。Gong 等人 [17] 引入了 RankSim，這是一種排序損失函數(shù)，同時(shí)考慮鄰近和遠(yuǎn)距離標(biāo)簽之間的關(guān)系，以學(xué)習(xí)更優(yōu)的連續(xù)特征空間。Ren 等人 [15] 提出了 Balanced MSE，通過(guò)改進(jìn)均方誤差（MSE）損失，防止在訓(xùn)練集不平衡時(shí)對(duì)稀有標(biāo)簽的低估。

上述方法無(wú)論顯式還是隱式，都假設(shè)測(cè)試數(shù)據(jù)呈均勻分布。此外，非時(shí)間序列回歸任務(wù)中的采樣方法可能無(wú)法維持時(shí)間序列數(shù)據(jù)的上下文連續(xù)性。因此，這些方法不適用于 STR 任務(wù)。相比之下，我們提出的 ULDA（結(jié)合 TNS 與 CWL）在逼近“烏托邦”標(biāo)簽分布的同時(shí)，保持了時(shí)間序列數(shù)據(jù)在標(biāo)簽空間和時(shí)間上下文空間中的連續(xù)性。

1. 所提出的方法

眾所周知，在有偏的數(shù)據(jù)分布上進(jìn)行學(xué)習(xí)會(huì)導(dǎo)致模型產(chǎn)生偏差。為了獲得公平的模型和更好的泛化能力，期望模型能在真實(shí)世界的數(shù)據(jù)分布上進(jìn)行訓(xùn)練。因此，我們的目標(biāo)是讓模型在“烏托邦”標(biāo)簽分布上學(xué)習(xí)——該分布基于數(shù)據(jù)集中原始的標(biāo)簽分布來(lái)逼近真實(shí)世界的分布，如圖2(b)所示。

3.1 問(wèn)題設(shè)定與動(dòng)機(jī)

其中，表示人們投票不一致性的方差。一些研究者將不一致的投票視為噪聲標(biāo)簽。我們可以看到，幸運(yùn)的是，逼近“烏托邦”標(biāo)簽分布等價(jià)于在標(biāo)簽空間中進(jìn)行高斯核回歸。盡管數(shù)據(jù)集中標(biāo)注者數(shù)量較少，但他們的標(biāo)注結(jié)果仍落在高斯分布范圍內(nèi)。這啟發(fā)我們提出了“烏托邦標(biāo)簽分布近似”方法。其核心組件是“標(biāo)簽分布卷積”，用于逼近“烏托邦”標(biāo)簽分布。為了使模型能更好地在“烏托邦”標(biāo)簽分布上訓(xùn)練，我們?cè)O(shè)計(jì)了一種數(shù)據(jù)級(jí)方法——“時(shí)間切片正態(tài)采樣”（TNS），以及一種算法級(jí)方法——“卷積加權(quán)損失”（CWL）。具體細(xì)節(jié)如下所述。

3.2 標(biāo)簽分布卷積

3.3 時(shí)間切片正態(tài)采樣

卷積之后，我們可以觀察到，某些回歸標(biāo)簽所需的樣本數(shù)量大于原始樣本數(shù)量，如圖3(d)所示。SmoteR [13] 和 SmogN [14] 通過(guò)過(guò)采樣原始樣本來(lái)解決這一問(wèn)題。然而，STR任務(wù)中標(biāo)簽空間和時(shí)間上下文空間的連續(xù)性，使得其樣本與年齡估計(jì)或深度估計(jì)等任務(wù)中的樣本有所不同 [15,17,18]。例如，在時(shí)間序列數(shù)據(jù)中，具有相同標(biāo)簽的樣本可能位于不同的時(shí)間點(diǎn)，它們可能表現(xiàn)出顯著不同的外觀，如場(chǎng)景切換或視角變換，如圖4(a)所示。因此，傳統(tǒng)方法（例如 Mixup [28] 和 SMOTE [26]，這些方法通過(guò)隨機(jī)組合原始樣本來(lái)生成新樣本）可能無(wú)法維持樣本在時(shí)間上下文空間中的連續(xù)性。

為解決這一問(wèn)題，我們提出“時(shí)間切片正態(tài)采樣”（TNS），利用鄰近樣本以保持上下文連續(xù)性。TNS 在一個(gè)短時(shí)間切片內(nèi)使用正態(tài)分布估計(jì)局部樣本的特征分布，然后基于該估計(jì)分布通過(guò)蒙特卡洛采樣來(lái)增強(qiáng)樣本。具體步驟如下：

3.3.1 新樣本分配

這確保了新樣本沿時(shí)間線均勻地添加到時(shí)間序列數(shù)據(jù)中。

3.3.2 切片特征的正態(tài)分布估計(jì)

3.4 卷積加權(quán)損失

圖3(d)顯示，在某些回歸標(biāo)簽處，所需樣本數(shù)量少于原始樣本數(shù)量。然而，欠采樣會(huì)破壞樣本的上下文連續(xù)性。受 Dense Loss [16] 和 LDS [18] 的啟發(fā)，我們根據(jù)每個(gè)標(biāo)簽在卷積前后樣本數(shù)量的比例對(duì)這些樣本重新加權(quán)。

其中， m m 是時(shí)間序列數(shù)據(jù)中的幀數(shù)，的真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽。CWL 通過(guò)降低樣本權(quán)重而非刪除樣本，來(lái)維持時(shí)間序列數(shù)據(jù)的上下文連續(xù)性。與期望模型在均衡標(biāo)簽分布上訓(xùn)練的逆頻率損失 [29] 和 Dense Loss [16] 不同，CWL 基于近似的烏托邦標(biāo)簽分布。

1. 實(shí)驗(yàn)

為評(píng)估所提出方法的性能，我們?cè)谒膫€(gè)用于 STR 任務(wù)的基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，包括電影情感分析、音樂(lè)情緒識(shí)別和視頻摘要。

此外，還進(jìn)行了性能與標(biāo)簽分布之間相關(guān)性的分析，以揭示性能提升的內(nèi)在機(jī)理。

4.1 數(shù)據(jù)集與評(píng)估指標(biāo)

LIRIS-ACCEDE [9] 是一個(gè)廣泛用于電影情感分析的視頻內(nèi)容語(yǔ)料庫(kù)，包含160部電影，每秒均標(biāo)注有連續(xù)的效價(jià)（valence）和喚醒度（arousal）分?jǐn)?shù)，取值范圍為 [?1, 1]。該數(shù)據(jù)集涵蓋恐怖、喜劇、動(dòng)作等多種主題，并提供英語(yǔ)、法語(yǔ)和西班牙語(yǔ)等多個(gè)語(yǔ)言版本。

PMEmo [8] 包含794段音樂(lè)副歌片段，每個(gè)0.5秒片段均帶有動(dòng)態(tài)標(biāo)注的效價(jià)和喚醒度分?jǐn)?shù)（范圍為 [?1, 1]），每個(gè)標(biāo)簽至少由10位標(biāo)注者提供。

SumMe [6] 包含25個(gè)用戶拍攝的視頻，涵蓋烹飪、體育等多樣化事件，視頻時(shí)長(zhǎng)在1.5至6.5分鐘之間。每一幀的重要性得分（范圍為 [0, 1]）由15至18位標(biāo)注者投票得出。

TVSum [10] 包含從YouTube收集的50個(gè)視頻，涵蓋10個(gè)不同類(lèi)別，如動(dòng)物美容、制作三明治、更換汽車(chē)輪胎等。視頻時(shí)長(zhǎng)在1至5分鐘之間，由20位用戶對(duì)每一幀進(jìn)行重要性評(píng)分，生成幀級(jí)別的連續(xù)重要性得分序列（范圍為 [0, 1]）。

對(duì)于 LIRIS-ACCEDE，評(píng)估指標(biāo)采用均方誤差（MSE）和皮爾遜相關(guān)系數(shù)（PCC）；對(duì)于 PMEmo，使用均方根誤差（RMSE）和 PCC；對(duì)于 SumMe 和 TVSum，我們遵循文獻(xiàn) [23]，采用 F1 分?jǐn)?shù)作為評(píng)估指標(biāo)。

4.2 基線方法

我們?cè)谌齻€(gè)用于主觀時(shí)間序列回歸（Subjective Time-series Regression, STR）任務(wù)的模型上評(píng)估了所提出的 ULDA 方法。

PGL-SUM [23] 是為視頻摘要任務(wù)設(shè)計(jì)的模型，在 SumMe 和 TVSum 數(shù)據(jù)集上表現(xiàn)出色。該方法將每個(gè)視頻劃分為 M M 個(gè)片段，并利用多頭注意力機(jī)制建模全局幀與局部幀之間的依賴關(guān)系。PGL-SUM 將原始深度表征與編碼了全局和局部依賴關(guān)系的表征相結(jié)合，再通過(guò) Dropout 和歸一化層輸入到回歸網(wǎng)絡(luò)中，以預(yù)測(cè)重要性得分。

僅編碼器 Transformer（Encoder-only Transformer, ET）[30] 是 MuSe-Stress 2022 挑戰(zhàn)賽中表現(xiàn)最佳的模型之一。該挑戰(zhàn)賽旨在構(gòu)建序列回歸模型，用于預(yù)測(cè)個(gè)體在壓力情境下的效價(jià)（valence）和生理喚醒度（arousal）水平。ET 由兩個(gè)線性層、一個(gè)位置編碼器和一個(gè) Transformer 編碼器組成。

RMN [24] 最初為電影情感分析任務(wù)提出，據(jù)報(bào)告是目前在 LIRIS-ACCEDE 數(shù)據(jù)集上性能最好的模型。此外，它在其他長(zhǎng)序列預(yù)測(cè)任務(wù)上也展現(xiàn)出良好的泛化能力。RMN 引入了一個(gè)可讀可寫(xiě)的記憶庫(kù)，用于存儲(chǔ)有用的歷史特征，并采用強(qiáng)化學(xué)習(xí)機(jī)制更新記憶庫(kù)中的內(nèi)容。我們根據(jù)論文中的描述復(fù)現(xiàn)了 RMN 模型。

4.3 實(shí)現(xiàn)細(xì)節(jié)

對(duì)于 LIRIS-ACCEDE 數(shù)據(jù)集，為每一幀提取多模態(tài)特征，包括音頻、背景音樂(lè)、視覺(jué)場(chǎng)景、人體動(dòng)作和面部表情。

• 音頻特征：使用在 AudioSet [32] 上預(yù)訓(xùn)練的 VGGish [31] 提取一個(gè) 128 維向量。
• 背景音樂(lè)（bgm）特征：同樣使用預(yù)訓(xùn)練的 VGGish 提取一個(gè) 128 維向量。
• 場(chǎng)景特征：在 Places365 [33] 上預(yù)訓(xùn)練的 VGG16 模型的最后一層卷積層上執(zhí)行全局最大池化操作，得到一個(gè) 512 維向量。
• 人體動(dòng)作特征：在 OpenPose 的主干網(wǎng)絡(luò) [34] 后附加兩組卷積/最大池化層和一個(gè)全連接層，并在 LIRIS-ACCEDE 數(shù)據(jù)集上進(jìn)行微調(diào)；從最后一層全連接層中提取一個(gè) 128 維的動(dòng)作特征。
• 面部表情特征：利用 MTCNN [35] 檢測(cè)到的最大人臉，并使用在 RAF [37] 上預(yù)訓(xùn)練的 Xception 網(wǎng)絡(luò) [36] 提取一個(gè) 3072 維向量。

為了將這些幀級(jí)特征融合為片段級(jí)（slice-level）向量，采用了一個(gè)包含 128 個(gè)單元的兩層雙向 LSTM。

對(duì)于 PMEmo 數(shù)據(jù)集，使用 VGGish [31] 提取音頻特征。對(duì)于 SumMe 和 TVSum 數(shù)據(jù)集，使用在 ImageNet [39] 上預(yù)訓(xùn)練的 GoogleNet [38] 倒數(shù)第二層（pool5）的輸出作為幀表示。

對(duì)于 LIRIS-ACCEDE 和 PMEmo 數(shù)據(jù)集，參數(shù) b 設(shè)為 100；對(duì)于 SumMe 和 TVSum 數(shù)據(jù)集， b 設(shè)為 10。高斯核函數(shù) k ( ? )
用于卷積的核大小 δ 和標(biāo)準(zhǔn)差 σ 分別為：

• LIRIS-ACCEDE：0.06, 0.06
• PMEmo：0.3, 0.3
• SumMe：0.02, 0.02
• TVSum：0.1, 0.1

在估計(jì)片段內(nèi)特征集的正態(tài)分布時(shí)，所有數(shù)據(jù)集的時(shí)間片段長(zhǎng)度閾值 T T 均設(shè)為 10。

由于 TNS 在特征空間中生成新樣本，我們根據(jù)各基線模型自身的架構(gòu)，將這些樣本放置在合適的位置：

• 對(duì)于 PGL-SUM，TNS 被置于全局與局部特征融合之后；
• 對(duì)于 ET，TNS 被置于 Transformer 編碼器之后；
• RMN 不應(yīng)用 TNS，因?yàn)樗貢r(shí)間軸通過(guò)樣本逐步更新，因此僅對(duì) RMN 應(yīng)用 CWL。

所有三個(gè)基線模型的超參數(shù)均與其原論文中的設(shè)置保持一致。

4.4 主要結(jié)果

我們?cè)谒膫€(gè)主觀時(shí)間序列回歸數(shù)據(jù)集上，基于三個(gè)基線模型對(duì)所提出的 ULDA 方法進(jìn)行了評(píng)估。對(duì)于每個(gè)數(shù)據(jù)集，我們首先將 RMN+ULDA 與其他競(jìng)爭(zhēng)方法進(jìn)行比較，然后將三個(gè)基線模型分為四個(gè)子部分，以展示 ULDA 為每個(gè)基線帶來(lái)的性能提升。每項(xiàng)測(cè)試均重復(fù)三次，并在表 1、表 2 和表 3 中報(bào)告平均結(jié)果。其中，“Baseline” 表示我們復(fù)現(xiàn)的模型結(jié)果，“CWL” 表示僅在對(duì)原始標(biāo)簽分布進(jìn)行卷積后使用 CWL 的結(jié)果，“TNS + CWL” 表示對(duì)需要過(guò)采樣的標(biāo)簽使用 TNS、對(duì)需要欠采樣的標(biāo)簽使用 CWL（均在標(biāo)簽卷積之后）的結(jié)果。

LIRIS-ACCEDE 數(shù)據(jù)集上的視頻情感分析結(jié)果如表 1 所示。我們最佳的模型 RMN+ULDA 幾乎優(yōu)于所有競(jìng)爭(zhēng)方法?？梢钥闯?，最新的 SOTA 方法 RMN 在使用近似烏托邦標(biāo)簽分布進(jìn)行訓(xùn)練后，在效價(jià)（Valence）的 PCC 以及喚醒度（Arousal）的 MSE 和 PCC 上均獲得了顯著提升，僅效價(jià)的 MSE 基本保持不變。

我們還評(píng)估了 CWL 和 TNS 在每個(gè)基線模型上的有效性。需要注意的是，我們自行實(shí)現(xiàn)了三個(gè)基線模型，并在我們的計(jì)算環(huán)境中進(jìn)行了測(cè)試，其性能與文獻(xiàn) [24] 中報(bào)告的結(jié)果存在一定差距?？梢杂^察到，僅使用 CWL 就能提升這些基線模型的性能：

• 在 MSE 指標(biāo)上，CWL 對(duì)效價(jià)和喚醒度的基線模型平均相對(duì)提升了約 11.7% 和 6.4%；
• 在 PCC 指標(biāo)上，CWL 對(duì)效價(jià)和喚醒度的基線模型平均相對(duì)提升了約 10.0% 和 6.0%。

在結(jié)合 CWL 與 TNS 后，基線模型的性能進(jìn)一步提升：

• 在 MSE 指標(biāo)上，TNS + CWL 對(duì)效價(jià)和喚醒度的基線模型平均相對(duì)提升了約 17.1% 和 7.8%；
• 在 PCC 指標(biāo)上，平均相對(duì)提升了約 20.5% 和 14.4%。

我們認(rèn)為這一額外性能增益的原因如下：在稀有標(biāo)簽處，由于樣本不足，數(shù)據(jù)空間無(wú)法被充分表征；相比之下，TNS 通過(guò)蒙特卡洛采樣生成新樣本，增加了數(shù)據(jù)多樣性，使模型能夠?qū)W習(xí)到更優(yōu)的數(shù)據(jù)表示。

在 PMEmo 數(shù)據(jù)集上（見(jiàn)表 2）也可觀察到類(lèi)似結(jié)果。RMN+ULDA 在效價(jià)和喚醒度的 PCC 上顯著優(yōu)于競(jìng)爭(zhēng)方法；在 MSE 上，其結(jié)果與競(jìng)爭(zhēng)方法相當(dāng)。對(duì)于各基線模型，僅使用 CWL 就能在效價(jià)和喚醒度的 MSE 與 PCC 上帶來(lái)顯著提升；在結(jié)合 CWL 與 TNS 后，幾乎所有指標(biāo)的性能都進(jìn)一步提高。

視頻摘要任務(wù)在 SumMe 和 TVSum 數(shù)據(jù)集上的結(jié)果如表 3 所示。我們同樣觀察到類(lèi)似趨勢(shì)：我們最佳的模型 RMN+ULDA 在 SumMe 數(shù)據(jù)集上顯著優(yōu)于所有競(jìng)爭(zhēng)方法，在 TVSum 數(shù)據(jù)集上取得的 F1 分?jǐn)?shù)與 RMN 相當(dāng)。對(duì)于基線模型，TNS + CWL 在 SumMe 和 TVSum 上分別帶來(lái)了平均約 3.9% 和 3.5% 的絕對(duì)提升。

上述所有結(jié)果表明，在主觀時(shí)間序列回歸（STR）任務(wù)中，近似烏托邦標(biāo)簽分布比原始標(biāo)簽分布更為有效。

4.5 性能與標(biāo)簽分布的相關(guān)性分析
為了深入理解性能提升的原因，我們?cè)?LIRIS-ACCEDE 數(shù)據(jù)集上對(duì)訓(xùn)練集在使用和不使用高斯卷積情況下的標(biāo)簽分布，以及測(cè)試集的標(biāo)簽分布進(jìn)行了相關(guān)性分析，如圖 5(a) 所示。這三種分布分別用藍(lán)色、紅色和黃色表示。在該分析中，我們以 PGL-SUM 模型為例。圖 5(b) 繪制了使用和不使用 ULDA 訓(xùn)練的 PGL-SUM 模型的 MSE 結(jié)果。其中，實(shí)線表示每個(gè)標(biāo)簽下所有樣本的平均 MSE，陰影帶表示對(duì)應(yīng)標(biāo)簽下所有樣本 MSE 的取值范圍。

總體來(lái)看，經(jīng)過(guò)卷積后，訓(xùn)練集的近似烏托邦標(biāo)簽分布與測(cè)試集標(biāo)簽分布之間的 PCC（皮爾遜相關(guān)系數(shù)）有所提高，即這兩個(gè)標(biāo)簽分布變得更加相似。與此同時(shí)，平均 MSE 下降（見(jiàn)圖 5(b) 中的藍(lán)色實(shí)線）。更重要的是，MSE 的取值范圍顯著變窄（見(jiàn)藍(lán)色陰影帶）。

我們觀察到，平均 MSE 隨樣本數(shù)量的變化而變化。因此，我們將訓(xùn)練集的標(biāo)簽分布進(jìn)一步劃分為三個(gè)區(qū)域：以 500 為閾值，樣本數(shù)量高的區(qū)域記為 II，樣本數(shù)量低的兩個(gè)區(qū)域記為 I 和 III。在區(qū)域 II 中，無(wú)論是否使用 ULDA，平均 MSE 都較??；在區(qū)域 III 中，平均 MSE 降低；而在區(qū)域 I 中，平均 MSE 反而升高。可以看出，平均 MSE 的變化與 PCC 的變化呈負(fù)相關(guān)。然而，在幾乎所有三個(gè)區(qū)域中，MSE 的取值范圍都明顯收窄，表明模型預(yù)測(cè)的穩(wěn)定性（即模型公平性）得到了提升。

基于上述觀察，我們可以得出兩個(gè)結(jié)論：
(1) 性能提升主要源于近似烏托邦標(biāo)簽分布更接近測(cè)試集的標(biāo)簽分布；
(2) 在近似烏托邦標(biāo)簽分布上訓(xùn)練后，模型能夠產(chǎn)生更加穩(wěn)定的預(yù)測(cè)結(jié)果。

4.6 消融實(shí)驗(yàn)
我們?cè)?LIRIS-ACCEDE 數(shù)據(jù)集上進(jìn)行了消融研究，以分析 ULDA 中各類(lèi)加權(quán)損失函數(shù)、過(guò)采樣方法以及關(guān)鍵參數(shù)的有效性。

4.6.1 加權(quán)損失函數(shù)
為驗(yàn)證卷積加權(quán)損失（Convolution Weighted Loss, CWL）的有效性，我們將其與三種用于不平衡回歸任務(wù)的其他損失函數(shù)進(jìn)行比較：
(1) 逆頻率加權(quán)（Inverse-frequency Weighting, INV）[29]：根據(jù)每個(gè)標(biāo)簽觀測(cè)到的概率密度的乘法逆進(jìn)行樣本重加權(quán)；
(2) 標(biāo)簽分布平滑（Label Distribution Smoothing, LDS）[18]：首先使用高斯核對(duì)標(biāo)簽分布進(jìn)行平滑，以估計(jì)包含標(biāo)簽相關(guān)性的標(biāo)簽密度分布，然后應(yīng)用 INV 損失；
(3) Dense Loss [16]：與 LDS 類(lèi)似地估計(jì)標(biāo)簽密度分布，但使用平滑后標(biāo)簽概率密度分布的加法逆對(duì)樣本進(jìn)行重加權(quán)。

這些損失函數(shù)的假設(shè)與 CWL 不同：它們假設(shè)測(cè)試集是均勻分布的，并期望模型在平衡的訓(xùn)練集上進(jìn)行訓(xùn)練。而 CWL 則期望模型學(xué)習(xí)的是“烏托邦標(biāo)簽分布”——該分布不一定均勻，但更接近真實(shí)世界的情況。

表 4 的結(jié)果顯示，CWL 在幾乎所有測(cè)試中表現(xiàn)最佳。這表明“數(shù)據(jù)集均勻分布”的假設(shè)在主觀時(shí)間序列回歸（STR）任務(wù)中可能不成立，同時(shí)也驗(yàn)證了我們所提出的近似烏托邦標(biāo)簽分布的有效性。

4.6.2 過(guò)采樣方法
為評(píng)估 TNS 的有效性，我們將其與兩種廣泛接受的回歸任務(wù)過(guò)采樣方法進(jìn)行比較：
(1) SMOGN [14]：結(jié)合 SmoteR [13] 與高斯噪聲生成新樣本；
(2) C-Mixup [28]：基于標(biāo)簽距離選擇更可靠的鄰近樣本用于合成新樣本。

在本次實(shí)驗(yàn)中，SMOGN 和 C-Mixup 僅在時(shí)間片段（slice）內(nèi)部選擇樣本進(jìn)行過(guò)采樣，以保持新樣本在時(shí)序上下文空間中的連續(xù)性。為適配近似烏托邦標(biāo)簽分布，我們同時(shí)使用 CWL 來(lái)降低那些需要欠采樣的標(biāo)簽上樣本的損失。

表 5 的結(jié)果表明，TNS 在 ET 模型上取得了最佳性能；在 PGL-SUM 模型上，TNS 在喚醒度（arousal）預(yù)測(cè)中表現(xiàn)最佳，在效價(jià)（valence）預(yù)測(cè)中排名第二。這說(shuō)明 TNS 在 STR 任務(wù)中比其他兩種方法更有效，因?yàn)樗軌蚋玫乇３中聵颖镜纳舷挛倪B續(xù)性。

4.6.3 關(guān)鍵參數(shù)

1. 結(jié)論與局限性

   
   我們提出了一種新穎的“烏托邦標(biāo)簽分布近似”（Utopia Label Distribution Approximation, ULDA）方法，用于解決主觀時(shí)間序列回歸（STR）任務(wù)中時(shí)間序列數(shù)據(jù)存在的標(biāo)簽分布偏差問(wèn)題。ULDA 通過(guò)使訓(xùn)練集與測(cè)試集的標(biāo)簽分布更加相似，提升了模型的公平性，從而將現(xiàn)有 STR 方法在四個(gè)基準(zhǔn)數(shù)據(jù)集上的性能推至新的最先進(jìn)（state-of-the-art）水平。

然而，我們的方法仍存在一些局限性。時(shí)間片段正態(tài)采樣（Time-slice Normal Sampling, TNS）雖用于保持時(shí)間序列的上下文連續(xù)性，但其在模型前向過(guò)程中需要增加樣本數(shù)量，這限制了它在某些其他模型中的應(yīng)用。此外，對(duì)片段特征進(jìn)行正態(tài)分布估計(jì)會(huì)增加時(shí)間復(fù)雜度，且該復(fù)雜度與特征維度成正比：更高的維度雖能帶來(lái)更精確的數(shù)據(jù)表示，卻也導(dǎo)致顯著更高的計(jì)算開(kāi)銷(xiāo)。

未來(lái)，我們將研究更高效的采樣方法以克服上述局限，并希望我們的工作能夠激發(fā)更多關(guān)于在標(biāo)簽分布存在偏差情況下如何有效訓(xùn)練模型的研究。

原文鏈接：https://www.sciencedirect.com/science/article/pii/S0031320324006757