作者介紹：本文第一作者黃小虎同學(xué)，目前是香港大學(xué)的三年級(jí)在讀博士生，導(dǎo)師是韓鍇教授。黃小虎的研究方向是以視頻為中心的領(lǐng)域，包括音視頻生成、視頻理解以及視頻識(shí)別。

視頻 - 音頻聯(lián)合生成的研究近期在開(kāi)源與閉源社區(qū)都備受關(guān)注，其中，如何生成音視頻對(duì)齊的內(nèi)容是研究的重點(diǎn)。

近日，來(lái)自香港大學(xué)和字節(jié)跳動(dòng)的研究團(tuán)隊(duì)提出了一種簡(jiǎn)單有效的框架 ——JoVA，它支持視頻和音頻的 Token 在一個(gè) Transformer 的注意力模塊中直接進(jìn)行跨模態(tài)交互。為了解決人物說(shuō)話(huà)時(shí)的 “口型 - 語(yǔ)音同步” 問(wèn)題，JoVA 引入了一個(gè)基于面部關(guān)鍵點(diǎn)檢測(cè)的嘴部區(qū)域特定損失 (Mouth-area specific loss)。

實(shí)驗(yàn)表明，JoVA 只采用了約 190 萬(wàn)條訓(xùn)練數(shù)據(jù)，便在口型同步準(zhǔn)確率、語(yǔ)音質(zhì)量和整體生成保真度上，達(dá)到了先進(jìn)水平。

• 項(xiàng)目主頁(yè)： https://visual-ai.github.io/jova/
• 論文地址：https://arxiv.org/abs/2512.13677

一、研究背景與動(dòng)機(jī)

目前的開(kāi)源解決方案通常分為兩大類(lèi)別：一類(lèi)是 “級(jí)聯(lián)式”，即先生成視頻再配音，或者先生成語(yǔ)音再驅(qū)動(dòng)視頻生成，這種方式在一定程度上會(huì)導(dǎo)致音頻和畫(huà)面的割裂；另一類(lèi)是 “端到端的聯(lián)合生成”，試圖同時(shí)輸出視頻和音頻。

如下圖 a, 現(xiàn)有的端到端方法（如 OVi 和 Universe 等），為了實(shí)現(xiàn)雙模態(tài)對(duì)齊，需要在自注意力層 (self-attention) 之外，額外設(shè)計(jì)融合模塊或跨注意力層 (Cross-attention)。這不僅破壞了 Transformer 架構(gòu)的簡(jiǎn)潔性，還可能阻礙進(jìn)一步的數(shù)據(jù)和模態(tài)擴(kuò)展。

相比之下，JoVA 采用了更加簡(jiǎn)潔的設(shè)計(jì)（如圖 b），直接使用聯(lián)合自注意力層 (joint self-attention) 進(jìn)行兩種模態(tài)特征的融合與對(duì)齊。它同時(shí)承擔(dān)了單模態(tài)內(nèi)的建模以及跨模態(tài)的融合任務(wù)，無(wú)需引入任何新的模塊。

二、方法設(shè)計(jì)

1. 架構(gòu)描述

JoVA 采用 Waver 作為基礎(chǔ)模型。為了實(shí)現(xiàn)音頻生成，JoVA 首先通過(guò)復(fù)制預(yù)訓(xùn)練視頻主干網(wǎng)絡(luò) (Backbone) 的參數(shù)來(lái)初始化音頻擴(kuò)散模型。在特征提取方面，采用了 MMAudio VAE 將原始音頻轉(zhuǎn)換為聲譜圖潛在表示 (Latent Representation)。

音頻分支的訓(xùn)練沿用了與視頻分支相同的流匹配 (Flow Matching) 目標(biāo)函數(shù)。在預(yù)訓(xùn)練階段，視頻和音頻模態(tài)是獨(dú)立訓(xùn)練的；而在后續(xù)階段，兩者被統(tǒng)一整合進(jìn)同一個(gè)架構(gòu)中進(jìn)行并行處理。此外，對(duì)于視頻生成，模型支持參考圖像 (Reference Image) 作為條件輸入。該圖像經(jīng)由視頻 VAE 編碼后，在通道維度上與噪聲視頻潛特征進(jìn)行拼接。

2. 音頻 - 視頻 - 文本聯(lián)合自注意力層

為了實(shí)現(xiàn)模態(tài)間的融合，JoVA 在 Transformer 塊內(nèi)部采用聯(lián)合自注意力機(jī)制（Joint Self-Attention）。具體而言，視頻 Token、音頻 Token 以及對(duì)應(yīng)的文本 Token 被拼接在一起，輸入到共享的自注意力層中進(jìn)行處理。這種設(shè)計(jì)允許不同模態(tài)的 Token 在每一層都進(jìn)行直接的信息交換，既保留了各自的預(yù)訓(xùn)練知識(shí)，又實(shí)現(xiàn)了特征融合。為了確保視頻與音頻在時(shí)間維度上的精確同步，模型采用了源自 MMAudio 的時(shí)間對(duì)齊旋轉(zhuǎn)位置編碼（Temporal-aligned RoPE），在時(shí)間維度上同步了兩種模態(tài)的位置編碼。

3. 潛空間嘴部區(qū)域感知監(jiān)督（Mouth-Aware Supervision）

為了解決人像生成中的唇形同步問(wèn)題，JoVA 引入了一種針對(duì)嘴部區(qū)域的增強(qiáng)監(jiān)督策略。該過(guò)程包含三個(gè)步驟：

1. 區(qū)域定位：首先在原始視頻幀上進(jìn)行面部關(guān)鍵點(diǎn)檢測(cè)，計(jì)算出覆蓋嘴部區(qū)域的像素級(jí)邊界框。

2. 潛空間映射：將像素空間的邊界框映射到 VAE 的潛空間。這包括空間上的縮放（除以空間下采樣因子 s）和時(shí)間上的滑動(dòng)窗口聚合（根據(jù)時(shí)間下采樣因子 t 合并窗口內(nèi)的邊界框），以精確定位潛特征中的嘴部區(qū)域。

3. 加權(quán)損失：在訓(xùn)練目標(biāo)函數(shù)中引入了專(zhuān)門(mén)的嘴部損失項(xiàng)。該損失僅對(duì)視頻潛特征中的嘴部掩碼區(qū)域計(jì)算流匹配損失，并通過(guò)權(quán)重系數(shù)進(jìn)行調(diào)節(jié)。最終的總損失函數(shù)由視頻損失、音頻損失和嘴部區(qū)域損失共同構(gòu)成，從而在不增加推理階段架構(gòu)復(fù)雜度的前提下，強(qiáng)制模型學(xué)習(xí)細(xì)粒度的唇形 - 語(yǔ)音對(duì)齊。

如下圖，我們可以發(fā)現(xiàn)，這種映射方式可以很好地在潛空間定位到嘴部區(qū)域：

三、訓(xùn)練數(shù)據(jù)集構(gòu)建

作者構(gòu)建了包含三個(gè)部分的訓(xùn)練數(shù)據(jù)集：Text2Audio（環(huán)境音）、Text2Video-Audio（自然場(chǎng)景視聽(tīng)對(duì)）以及 Text2Avatar-Speech（數(shù)字人 / 說(shuō)話(huà)人視頻），總共約 1.9M 的訓(xùn)練樣本。數(shù)據(jù)標(biāo)注采用了一套自動(dòng)化流水線(xiàn)：使用 Tarsier2 生成視頻描述，Audio-flamingo3 生成音頻描述，并利用 Whisper 進(jìn)行自動(dòng)語(yǔ)音識(shí)別（ASR）以獲取語(yǔ)音文本。

在實(shí)施細(xì)節(jié)上，采用兩階段訓(xùn)練策略：先進(jìn)行語(yǔ)音單模態(tài)獨(dú)立訓(xùn)練（80K 步），再進(jìn)行聯(lián)合視聽(tīng)訓(xùn)練（50K 步），并在推理時(shí)使用了分類(lèi)器無(wú)關(guān)引導(dǎo)（Classifier-Free Guidance）以提升生成質(zhì)量。

四、實(shí)驗(yàn)結(jié)果

1. SOTA 方法對(duì)比

在 UniAvatar-Bench（作者精選的 100 個(gè)樣本）和 Verse-Bench（600 個(gè)多樣化樣本）兩個(gè)基準(zhǔn)上進(jìn)行了評(píng)估。對(duì)比對(duì)象包括兩類(lèi)：一是使用真實(shí)音頻驅(qū)動(dòng)的視頻生成模型（如 Wan-S2V, Fantasy-Talking），二是聯(lián)合視聽(tīng)生成模型（如 Universe-1, OVI）。

UniAvatar-Bench 表現(xiàn)：JoVA 在整體性能上表現(xiàn)最佳。

• 唇形同步（LSE-C）：得分為 6.64，不僅優(yōu)于聯(lián)合生成模型 OVI (6.41) 和 Universe-1 (1.62)，甚至超過(guò)了使用真實(shí)音頻驅(qū)動(dòng)的 Wan-S2V (6.43)，證明了嘴部監(jiān)督策略的有效性。
• 語(yǔ)音與音頻質(zhì)量：在文本轉(zhuǎn)語(yǔ)音準(zhǔn)確性上，JoVA 取得了最低的詞錯(cuò)誤率（WER 0.18）；在音頻生成指標(biāo)（FD, KL, CE, CU, PQ）上均取得最佳分?jǐn)?shù)。
• 視頻質(zhì)量：在動(dòng)態(tài)程度（MS 0.98）和美學(xué)評(píng)分（AS 0.47）上均領(lǐng)先。雖然身份一致性（ID 0.78）低于音頻驅(qū)動(dòng)模型，但在聯(lián)合生成任務(wù)中處于合理范圍。

Verse-Bench 表現(xiàn)：JoVA 展現(xiàn)了在多樣化場(chǎng)景下的魯棒性。

• 語(yǔ)音準(zhǔn)確性：WER 低至 0.11，驗(yàn)證了其穩(wěn)健的語(yǔ)音合成能力。
• 視聽(tīng)對(duì)齊：LSE-C 得分為 6.51，略低于 OVI (6.61) 但遠(yuǎn)高于 Universe (1.62)。
• 綜合質(zhì)量：在保持最高視頻動(dòng)態(tài)（MS 0.80）和美學(xué)質(zhì)量（AS 0.48）的同時(shí)，音頻生成的一致性（CS, CE）也達(dá)到了最優(yōu)水平。

模型擴(kuò)展性與效率分析

研究進(jìn)一步對(duì)比了基于 Waver-1.6B（總參數(shù)量 3.2B）和 Waver-12B（總參數(shù)量 24B）主干網(wǎng)絡(luò)的 JoVA 模型性能：

• 小模型的高效性：僅使用 3.2B 參數(shù)和 1.9M 訓(xùn)練數(shù)據(jù)的 JoVA 模型，其 LSE-C 得分達(dá)到 6.20，顯著優(yōu)于參數(shù)量更大（7.1B）且訓(xùn)練數(shù)據(jù)更多（6.4M）的 Universe-1 模型（LSE-C 1.62），并與 10.9B 參數(shù)的 OVI 模型具備競(jìng)爭(zhēng)力。
• 大模型的性能上限：隨著參數(shù)量增加至 24B，JoVA 在各項(xiàng)指標(biāo)上均達(dá)到最佳水平（LSE-C 提升至 6.64，WER 降至 0.18）。

2. 融合實(shí)驗(yàn)對(duì)比

為了驗(yàn)證各模塊的有效性，作者進(jìn)行了多項(xiàng)消融實(shí)驗(yàn)：

嘴部感知損失（Mouth-Aware Loss）的影響：

• 當(dāng)權(quán)重為 0.0 時(shí)，模型無(wú)法學(xué)習(xí)細(xì)粒度的唇形對(duì)齊（LSE-C 僅為 1.39）。
• 增加權(quán)重至 5.0 時(shí)，LSE-C 顯著提升至 6.64，且未損害其他音頻或視頻質(zhì)量指標(biāo)。這表明針對(duì)嘴部區(qū)域的顯式監(jiān)督對(duì)于實(shí)現(xiàn)精確同步至關(guān)重要。

時(shí)間對(duì)齊 RoPE 的影響：

• 采用時(shí)間對(duì)齊的 RoPE（視頻和音頻共享時(shí)間維度的位置編碼）相比未對(duì)齊版本，LSE-C 從 6.58 提升至 6.64。
• 盡管在音頻分布相似度（FD）上存在輕微折損（0.58 vs 0.69），但該設(shè)計(jì)顯著增強(qiáng)了幀級(jí)的時(shí)間對(duì)應(yīng)關(guān)系，更利于人像視頻生成。

聯(lián)合自注意力 vs. 交叉注意力：

• 對(duì)比結(jié)果顯示，聯(lián)合自注意力（Joint Self-Attention） 機(jī)制在唇形同步（LSE-C 6.64）和語(yǔ)音準(zhǔn)確性（WER 0.18）上均優(yōu)于交叉注意力變體。
• 特別是帶線(xiàn)性適配層的交叉注意力方案表現(xiàn)最差（LSE-C 1.63）。這證實(shí)了在統(tǒng)一的注意力空間內(nèi)直接處理多模態(tài) Token，比通過(guò)獨(dú)立的交叉注意力模塊更能促進(jìn)特征的有效對(duì)齊。