視頻理解技術(shù)的最大挑戰(zhàn)，莫過于識(shí)別那些從未見過的新場(chǎng)景。傳統(tǒng)視頻分類模型在未知類別面前往往束手無策，即便是最先進(jìn)的判別式模型，也難逃＂基類過擬合＂的困境。而生成式模型雖能產(chǎn)生靈活描述，卻常因缺乏判別性而難以用于精準(zhǔn)分類。ReGen框架巧妙結(jié)合兩者優(yōu)勢(shì)，通過三重獎(jiǎng)勵(lì)機(jī)制訓(xùn)練生成模型，使其既能產(chǎn)生高質(zhì)量描述，又能實(shí)現(xiàn)精準(zhǔn)分類。這種基于強(qiáng)化學(xué)習(xí)的創(chuàng)新方法，不僅顯著提升了零樣本視頻識(shí)別性能，還在多項(xiàng)基準(zhǔn)測(cè)試中超越了現(xiàn)有技術(shù)。ReGen的成功為視頻理解領(lǐng)域提供了新思路：一個(gè)優(yōu)秀的生成式零樣本視頻分類器，應(yīng)當(dāng)獲得適當(dāng)?shù)莫?jiǎng)勵(lì)。

開放世界中的挑戰(zhàn)

想象這樣一個(gè)場(chǎng)景：你訓(xùn)練了一個(gè)視頻識(shí)別系統(tǒng)，它能準(zhǔn)確區(qū)分＂拉丁舞＂和＂布魯斯舞＂，但突然有天，系統(tǒng)需要識(shí)別從未見過的＂探戈舞＂。這就是開放世界視頻識(shí)別面臨的典型挑戰(zhàn)，也被稱為零樣本視頻分類問題。

傳統(tǒng)的視頻分類模型在這類任務(wù)中往往表現(xiàn)不佳。它們?cè)谟?xùn)練時(shí)只能接觸到有限的類別，一旦遇到新類別，便無從下手。比如，一個(gè)在Kinetics-400數(shù)據(jù)集上訓(xùn)練的模型，當(dāng)面對(duì)Kinetics-600中160個(gè)全新類別時(shí)，識(shí)別準(zhǔn)確率往往大幅下降。

解決這一問題的主流方法是判別式模型，如X-CLIP和X-Florence。這些模型通過對(duì)比學(xué)習(xí)，將視頻特征與類名文本特征對(duì)齊。但這些方法存在一個(gè)普遍問題：基類過擬合。它們?cè)谟?xùn)練時(shí)過度適應(yīng)了基礎(chǔ)類別，導(dǎo)致泛化到新類別的能力受限。在2023年的實(shí)驗(yàn)中發(fā)現(xiàn)，當(dāng)評(píng)估包含所有620個(gè)類別（基礎(chǔ)類加新類）的綜合能力時(shí)，這些模型的準(zhǔn)確率會(huì)大幅下降，X-CLIP的準(zhǔn)確率僅為14.76%。

生成式模型提供了一種新思路。不同于直接預(yù)測(cè)類別，它們生成視頻內(nèi)容的文本描述，這些描述理論上可以與任何類別關(guān)聯(lián)。例如，視頻中的＂一群人在舞池中相擁旋轉(zhuǎn)，腳步輕快＂可能被識(shí)別為＂探戈舞＂，即使模型從未在訓(xùn)練中見過這個(gè)類別。

然而，生成式模型也面臨挑戰(zhàn)。如果直接讓模型輸出類名，會(huì)導(dǎo)致嚴(yán)重的基類過擬合，喪失零樣本能力。而如果不使用類信息訓(xùn)練（如REST方法），生成的描述雖然靈活，但往往不夠具有判別性，難以用于精準(zhǔn)分類。

這就是ReGen框架要解決的核心問題：如何訓(xùn)練一個(gè)生成式模型，使其既能避免基類過擬合，又能生成具有高判別性的視頻描述？

ReGen團(tuán)隊(duì)的解決方案建立在一個(gè)關(guān)鍵洞察上：強(qiáng)化學(xué)習(xí)可以有效引導(dǎo)模型生成既有判別性又不失靈活性的描述。不同于直接監(jiān)督學(xué)習(xí)強(qiáng)制模型輸出特定文本，強(qiáng)化學(xué)習(xí)允許模型探索更廣泛的表達(dá)方式，同時(shí)通過精心設(shè)計(jì)的獎(jiǎng)勵(lì)機(jī)制引導(dǎo)它朝著期望的方向發(fā)展。

在實(shí)驗(yàn)中，ReGen在多個(gè)基準(zhǔn)測(cè)試上取得了顯著成果。在HMDB-51數(shù)據(jù)集上，ReGen達(dá)到了55.1%的零樣本準(zhǔn)確率，比之前最好的結(jié)果提高了5.4%。在UCF-101上，準(zhǔn)確率達(dá)到76.4%，超過了X-Florence 3.3%。特別是在包含所有620個(gè)類別的泛化零樣本測(cè)試中，ReGen的38.1%準(zhǔn)確率遠(yuǎn)超X-CLIP的14.76%，證明了它在避免基類過擬合方面的優(yōu)勢(shì)。

這些結(jié)果表明，通過適當(dāng)?shù)挠?xùn)練框架，生成式模型不僅能夠保持其靈活性和開放性，還能在精準(zhǔn)分類方面超越專門的判別式模型。ReGen為開放世界視頻識(shí)別開辟了一條新路徑。

三重獎(jiǎng)勵(lì)的力量

ReGen框架的核心在于其獨(dú)特的三重獎(jiǎng)勵(lì)機(jī)制，它巧妙地引導(dǎo)生成式模型產(chǎn)生既具判別性、又與視頻相關(guān)且語法正確的描述。這三種獎(jiǎng)勵(lì)各自解決了不同的問題，共同構(gòu)成了一個(gè)平衡的訓(xùn)練體系。

第一種獎(jiǎng)勵(lì)是分類獎(jiǎng)勵(lì)（CLS-R），它解決了生成式模型缺乏判別性的問題。具體來說，對(duì)于一個(gè)視頻生成的描述，CLS-R計(jì)算該描述與正確類別名稱的文本相似度，以及與其他類別名稱的區(qū)分度。這種獎(jiǎng)勵(lì)鼓勵(lì)模型生成能夠準(zhǔn)確映射到正確類別的描述。

與直接強(qiáng)制模型輸出類名不同，CLS-R獎(jiǎng)勵(lì)對(duì)整個(gè)生成的描述進(jìn)行全局評(píng)估，而不是對(duì)每個(gè)生成的單詞單獨(dú)評(píng)估。這意味著模型可以自由探索不同的表達(dá)方式，只要最終生成的描述能夠被正確分類即可。在實(shí)驗(yàn)中，研究者發(fā)現(xiàn)，這種方法顯著增加了模型描述的詞匯多樣性，大多數(shù)類別的詞匯多樣性提高了20%到100%。

舉個(gè)例子，對(duì)于一個(gè)＂調(diào)整眼鏡＂類別的視頻，經(jīng)過ReGen訓(xùn)練的模型生成的描述是＂一個(gè)女人把眼鏡戴在臉上＂，而直接輸出類名的模型則簡(jiǎn)單地輸出＂整理頭發(fā)＂，完全錯(cuò)誤。觀察注意力權(quán)重發(fā)現(xiàn)，ReGen模型更多地關(guān)注輸入視頻本身，而不是依賴之前生成的文本。

第二種獎(jiǎng)勵(lì)是CLIP獎(jiǎng)勵(lì)（CLIP-R），它解決了一個(gè)重要問題：僅僅使用CLS-R可能導(dǎo)致模型為同一類別的所有視頻生成幾乎相同的描述，忽略視頻的具體內(nèi)容。例如，所有＂踢足球＂類別的視頻可能都被描述為＂兩個(gè)人在踢足球＂，即使有些視頻中有更多的球員。

CLIP-R通過計(jì)算生成描述的文本嵌入與視頻特征嵌入之間的相似度來解決這個(gè)問題。這種獎(jiǎng)勵(lì)鼓勵(lì)模型生成的描述不僅要能正確分類，還要反映特定視頻的內(nèi)容特點(diǎn)。實(shí)驗(yàn)表明，加入CLIP-R后，模型生成的描述更加細(xì)致具體，能夠捕捉視頻中的獨(dú)特細(xì)節(jié)。

第三種獎(jiǎng)勵(lì)是語法獎(jiǎng)勵(lì)（GRAMMAR-R），它確保生成的描述在語法上是正確的。在實(shí)踐中，研究者嘗試了兩種變體：基于語言模型（LM）的獎(jiǎng)勵(lì)和基于判別器的獎(jiǎng)勵(lì)。

LM變體利用預(yù)訓(xùn)練的語言模型為每個(gè)生成的文本計(jì)算概率分?jǐn)?shù)。由于自然語言中不太可能出現(xiàn)重復(fù)或調(diào)換的單詞，這種方法能夠引導(dǎo)模型生成語法正確的句子。研究者嘗試了多種語言模型，包括DistillBERT、BERT-Base、BERT-Large和DeBERTa-Base，發(fā)現(xiàn)大型模型略微占優(yōu)。

判別器變體則訓(xùn)練了一個(gè)專門的網(wǎng)絡(luò)來評(píng)估文本的語法正確性。這個(gè)判別器通過擾亂正確句子（如交換、打亂、重復(fù)、插入或刪除單詞）來創(chuàng)建訓(xùn)練數(shù)據(jù)，學(xué)習(xí)區(qū)分正確和錯(cuò)誤的語法。實(shí)驗(yàn)表明，判別器變體產(chǎn)生的描述在CIDEr評(píng)分上更高（46.1 vs 40.5），但在分類準(zhǔn)確率上略低。

這三種獎(jiǎng)勵(lì)的組合是ReGen成功的關(guān)鍵。分類獎(jiǎng)勵(lì)確保描述具有判別性，CLIP獎(jiǎng)勵(lì)保證描述與具體視頻相關(guān)，語法獎(jiǎng)勵(lì)則維持描述的可讀性和流暢性。實(shí)驗(yàn)結(jié)果表明，缺少任何一種獎(jiǎng)勵(lì)都會(huì)導(dǎo)致性能下降。例如，僅使用CLS-R時(shí)，模型在Kinetics-220上的準(zhǔn)確率為38.6%，但生成的描述質(zhì)量（CIDEr分?jǐn)?shù)28.1）較低；僅使用CLS-R和GRAMMAR-R時(shí)，描述質(zhì)量提高（CIDEr 33.4），但缺乏視頻特異性；三種獎(jiǎng)勵(lì)結(jié)合時(shí)，在保持高準(zhǔn)確率（38.2%）的同時(shí)，描述質(zhì)量顯著提升（CIDEr 40.5）。

ReGen的訓(xùn)練過程采用了一種漸進(jìn)式策略：首先使用REST方法預(yù)訓(xùn)練基礎(chǔ)模型，然后應(yīng)用強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)。這種方法允許模型從一個(gè)合理的起點(diǎn)開始，然后通過探索更廣泛的表達(dá)方式來提高其判別性能。

技術(shù)實(shí)現(xiàn)之道

ReGen框架的技術(shù)實(shí)現(xiàn)并非一蹴而就，而是建立在深思熟慮的系統(tǒng)設(shè)計(jì)之上。這個(gè)系統(tǒng)由兩個(gè)主要部分組成：一個(gè)視頻編碼器和一個(gè)自回歸文本解碼器。視頻編碼器負(fù)責(zé)提取視頻中的關(guān)鍵特征，而文本解碼器則根據(jù)這些特征生成描述性文本。

在具體實(shí)現(xiàn)上，研究團(tuán)隊(duì)選擇了基于GIT和BLIP這兩種流行架構(gòu)進(jìn)行適配。視頻編碼器采用了視覺轉(zhuǎn)換器（ViT），它能夠有效處理視頻幀序列。當(dāng)處理多幀視頻時(shí)，系統(tǒng)會(huì)為每一幀的視覺特征添加時(shí)間編碼，然后在時(shí)間維度上取平均值，以保留視頻的時(shí)序信息。文本解碼器則采用類似BERT的結(jié)構(gòu)，輸入是視覺特征和文本嵌入的拼接，用特殊標(biāo)記[BOS]分隔。在測(cè)試階段，解碼器會(huì)自回歸地生成描述，直到遇到結(jié)束標(biāo)記[EOS]。

生成描述后，系統(tǒng)使用CLIP的文本編碼器計(jì)算該描述的嵌入向量，同時(shí)也計(jì)算所有類別名稱的嵌入向量。最終的類別預(yù)測(cè)基于描述嵌入與類別名稱嵌入之間的內(nèi)積最大值。

強(qiáng)化學(xué)習(xí)在ReGen中扮演著核心角色。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法通常使用交叉熵?fù)p失直接優(yōu)化模型輸出，這容易導(dǎo)致模型過度擬合訓(xùn)練數(shù)據(jù)中的類別。而ReGen采用的強(qiáng)化學(xué)習(xí)方法允許模型探索更廣泛的表達(dá)方式，同時(shí)通過精心設(shè)計(jì)的獎(jiǎng)勵(lì)機(jī)制引導(dǎo)它朝著期望的方向發(fā)展。

具體來說，ReGen使用REINFORCE算法，結(jié)合自批評(píng)基線策略進(jìn)行訓(xùn)練。在每個(gè)訓(xùn)練步驟中，系統(tǒng)會(huì)生成多個(gè)候選描述（通過束搜索），并計(jì)算每個(gè)描述的獎(jiǎng)勵(lì)值。模型參數(shù)的更新基于這些獎(jiǎng)勵(lì)值，鼓勵(lì)生成高獎(jiǎng)勵(lì)的描述。

為了避免基類過擬合，這種訓(xùn)練方式至關(guān)重要。與直接監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不會(huì)強(qiáng)制模型輸出特定的文本，而是讓模型自主探索表達(dá)空間。這種靈活性使得模型能夠發(fā)現(xiàn)新的、可能更有判別力的表達(dá)方式，而不僅僅是死記硬背訓(xùn)練集中的模式。

在訓(xùn)練過程中，研究者采用了漸進(jìn)式策略：首先使用REST方法預(yù)訓(xùn)練基礎(chǔ)模型，然后應(yīng)用強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào)。具體訓(xùn)練超參數(shù)包括使用AdamW優(yōu)化器，學(xué)習(xí)率為1e-7，權(quán)重衰減為0.001，批量大小為8。各種獎(jiǎng)勵(lì)函數(shù)的權(quán)重分別為λCLS-R=1.0，λCLIP-R=5.0，λGRAMMAR-R=0.2。所有模型都訓(xùn)練了10個(gè)周期，使用PyTorch實(shí)現(xiàn)。

值得注意的是，ReGen框架的設(shè)計(jì)具有高度靈活性。實(shí)驗(yàn)表明，無論是基于BLIP還是GIT架構(gòu)，ReGen都能顯著提升模型性能。這種架構(gòu)無關(guān)性意味著ReGen可以作為一種通用的訓(xùn)練框架，應(yīng)用于各種生成式視頻理解模型。

另一個(gè)重要設(shè)計(jì)考量是計(jì)算效率。強(qiáng)化學(xué)習(xí)通常需要大量計(jì)算資源，特別是在處理視頻數(shù)據(jù)時(shí)。ReGen通過精心設(shè)計(jì)的獎(jiǎng)勵(lì)函數(shù)和訓(xùn)練策略，在保持性能的同時(shí)控制計(jì)算成本。例如，使用自批評(píng)基線策略減少了方差，加速了收斂，而使用預(yù)訓(xùn)練模型作為起點(diǎn)則大大縮短了訓(xùn)練時(shí)間。

模型的注意力機(jī)制分析揭示了ReGen成功的一個(gè)關(guān)鍵因素：它使模型更多地關(guān)注視頻內(nèi)容，而不是依賴先前生成的文本。如圖3所示，ReGen訓(xùn)練的模型在生成描述時(shí)，注意力主要集中在視頻幀上（文本到圖像注意力較高），而直接自回歸類名訓(xùn)練的模型則主要關(guān)注之前生成的文本（文本到文本注意力較高）。這表明ReGen訓(xùn)練的模型真正學(xué)會(huì)了＂看＂視頻，而不是簡(jiǎn)單預(yù)測(cè)下一個(gè)可能的單詞。

突破與展望

ReGen在多個(gè)基準(zhǔn)測(cè)試上的表現(xiàn)令人印象深刻，展示了其作為零樣本視頻分類器的卓越能力。在傳統(tǒng)的零樣本動(dòng)作識(shí)別測(cè)試中，ReGen在HMDB-51和UCF-101這兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上均實(shí)現(xiàn)了顯著突破。

具體來看，在HMDB-51數(shù)據(jù)集上，ReGen達(dá)到了55.1%的零樣本準(zhǔn)確率，比之前的最佳結(jié)果REST（49.7%）提高了5.4個(gè)百分點(diǎn)。在UCF-101數(shù)據(jù)集上，ReGen的準(zhǔn)確率高達(dá)76.4%，超過了之前最好的方法X-Florence（73.2%）3.2個(gè)百分點(diǎn)。這些改進(jìn)幅度在已經(jīng)相當(dāng)成熟的領(lǐng)域中尤為可貴。

更值得注意的是ReGen在擴(kuò)展性測(cè)試中的表現(xiàn)。在Kinetics-220數(shù)據(jù)集的標(biāo)準(zhǔn)1-vs-160設(shè)置（即在160個(gè)新類別中進(jìn)行分類）中，ReGen的準(zhǔn)確率達(dá)到62.0%，遠(yuǎn)高于REST的51.7%，雖然略低于最新的判別式方法X-Florence（68.8%）。但當(dāng)考慮所有620個(gè)類別（包括基礎(chǔ)類別和新類別）時(shí)，情況發(fā)生了戲劇性變化。在這種被稱為泛化零樣本設(shè)置的更具挑戰(zhàn)性的場(chǎng)景中，ReGen的準(zhǔn)確率為38.1%，大幅領(lǐng)先于X-CLIP的14.76%。這一結(jié)果強(qiáng)有力地說明了ReGen在避免基類過擬合方面的優(yōu)勢(shì)。

ReGen在少樣本動(dòng)作識(shí)別任務(wù)中同樣表現(xiàn)出色。在這種設(shè)置下，模型可以訪問少量目標(biāo)類別的樣本（通常是2、4、8或16個(gè)）。在HMDB-51上，ReGen在各種樣本數(shù)量下都顯著優(yōu)于之前的方法，準(zhǔn)確率提高了6.8-8.6個(gè)百分點(diǎn)。在UCF-101上，改進(jìn)幅度為0.3-1.4個(gè)百分點(diǎn)。這表明ReGen不僅在完全未見過的類別上表現(xiàn)良好，在資源有限的環(huán)境中也能快速適應(yīng)新類別。

除了分類性能外，ReGen生成的描述本身也值得關(guān)注。在VaTeX數(shù)據(jù)集上進(jìn)行的零樣本視頻描述實(shí)驗(yàn)中，ReGen（使用判別器變體）的CIDEr評(píng)分達(dá)到46.1，與使用超過2B圖像和24M視頻訓(xùn)練的Flamingo-80B模型（46.7）相當(dāng)，而Flamingo-80B在規(guī)模上要大160倍以上。這表明ReGen的生成能力不僅對(duì)分類有用，在視頻描述任務(wù)中也具有競(jìng)爭(zhēng)力。

圖4展示了一些定性比較的例子，清晰地顯示了ReGen相對(duì)于REST的優(yōu)勢(shì)。ReGen生成的描述更具體、更接近視頻內(nèi)容，同時(shí)保持了語法的正確性。這些高質(zhì)量的描述不僅有助于更準(zhǔn)確的分類，也提高了系統(tǒng)的可解釋性，使用戶能夠理解為什么模型會(huì)做出特定的分類決策。

ReGen的成功對(duì)視頻理解領(lǐng)域有著廣泛的啟示。一方面，它展示了生成式方法在解決零樣本分類問題上的潛力，為傳統(tǒng)的判別式范式提供了有力的替代方案。另一方面，它證明了強(qiáng)化學(xué)習(xí)在調(diào)整大型預(yù)訓(xùn)練模型行為方面的有效性，特別是在需要平衡多個(gè)目標(biāo)（如判別性、特異性和語法正確性）的情況下。

展望未來，ReGen技術(shù)還有多個(gè)潛在發(fā)展方向。擴(kuò)展到更復(fù)雜的視頻理解任務(wù)是一個(gè)自然的下一步，例如視頻問答、視頻推理或視頻摘要。這些任務(wù)需要更深入地理解視頻內(nèi)容，并生成更復(fù)雜的文本響應(yīng)，可能會(huì)從ReGen的訓(xùn)練框架中受益。

另一個(gè)方向是探索更多樣化的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)。當(dāng)前的三種獎(jiǎng)勵(lì)已經(jīng)展示了強(qiáng)大的效果，但仍有改進(jìn)空間。例如，可以引入更特定于領(lǐng)域的獎(jiǎng)勵(lì)，或者設(shè)計(jì)能更好捕捉視頻時(shí)序特性的獎(jiǎng)勵(lì)。

技術(shù)集成也是一個(gè)有前途的方向。將ReGen與最新的視頻和語言模型架構(gòu)結(jié)合，或者將其與其他零樣本學(xué)習(xí)技術(shù)（如提示學(xué)習(xí)或數(shù)據(jù)增強(qiáng)）集成，可能會(huì)進(jìn)一步提升性能。

ReGen的成功故事告訴我們，在機(jī)器學(xué)習(xí)中，有時(shí)候正確的訓(xùn)練方法比復(fù)雜的模型架構(gòu)更重要。通過精心設(shè)計(jì)的獎(jiǎng)勵(lì)機(jī)制和強(qiáng)化學(xué)習(xí)框架，ReGen成功地將一個(gè)生成式視頻描述模型轉(zhuǎn)變?yōu)橐粋€(gè)高性能的零樣本分類器，為開放世界視頻理解開辟了新的可能性。

參考資料

1. Bulat， A.， et al. （2023）. ReGen: A Good Generative Zero-shot Video Classifier Should be Rewarded. ICCV 2023.

2. Martinez， B.， et al. （2022）. REST: Retrieval-Based Self-Training Framework for Zero-Shot Video Classification.

3. Sanchez， E.， &； Tzimiropoulos， G. （2021）. X-CLIP: End-to-End Video Classification with Vision Transformers.