本文由來自盛大東京 AI 研究院、東京大學(xué)、和東京科學(xué)大學(xué)的研究者合作完成。作者團隊在數(shù)字人方向有長期積累。部分工作為共同第一作者 Xuangeng Chu (https://xg-chu.site) 和 Ruicong Liu (https://ruicongliu.github.io) 在盛大東京研究院擔(dān)任研究實習(xí)生時完成。

在游戲 NPC、虛擬主播、在線客服等數(shù)字人對話場景中，傾聽時的 “撲克臉”問題一直是行業(yè)長期痛點 —— 虛擬人說話時口型可以做到精準(zhǔn)同步，但傾聽時卻表情僵硬、毫無反應(yīng)，嚴(yán)重影響對話的自然感和沉浸感。盛大 AI 研究院（東京）與東京大學(xué)聯(lián)合提出UniLS（Unified Listening and Speaking），首個僅憑雙軌音頻即可端到端同時驅(qū)動說話和傾聽面部動作的統(tǒng)一框架。該方法在說話精度上達到 SOTA，傾聽自然度分布指標(biāo)提升高達 44.1%，同時支持 500+ FPS 的實時生成，已被 CVPR 2026 錄用。

• 論文地址：https://arxiv.org/abs/2512.09327
• 項目主頁： https://xg-chu.site/project_unils/
• 代碼地址： https://github.com/xg-chu/UniLS
• 數(shù)據(jù)地址： https://huggingface.co/datasets/xg-chu/UniLSTalkDataset

背景

構(gòu)建逼真的對話式數(shù)字人需要同時處理說話和傾聽兩種狀態(tài)。說話時需要精準(zhǔn)的口型同步和面部表情協(xié)調(diào)，傾聽時則需要展現(xiàn)自然的點頭、眨眼和微表情等互動反應(yīng)。然而，現(xiàn)有方法大多只關(guān)注單向生成：speak-only 方法（如 ARTalk、DiffPoseTalk 等）僅生成說話動作，listen-only 方法僅生成傾聽反應(yīng)，二者無法在統(tǒng)一框架內(nèi)協(xié)同工作。

唯一嘗試聯(lián)合建模的 DualTalk 依賴對方說話者的預(yù)計算面部序列作為額外輸入，導(dǎo)致系統(tǒng)非端到端、無法實時部署。UniLS 針對這一空白，提出將傾聽行為分解為 “內(nèi)在運動先驗” 與 “外部音頻調(diào)制” 兩個獨立組成部分，通過兩階段訓(xùn)練范式分別學(xué)習(xí)，僅以雙軌音頻作為輸入，端到端地生成雙方的面部動作。

圖 1: 現(xiàn)有方法與本文提出的方案之間的對比。大多數(shù)之前的研究仍局限于單向生成，即僅針對 “說話” 或僅針對 “傾聽”。先前的 “說 - 聽” 交互方法需要先生成演講者 A 的面部序列，然后才能產(chǎn)生演講者 B 的動作。這種對演講者 A 生成過程的依賴，使其無法實現(xiàn)端到端訓(xùn)練，并阻礙了實時性能。相比之下，本文方法提供了一個端到端框架，能夠?qū)崿F(xiàn)統(tǒng)一且實時的 “說 - 聽” 動作生成。

UniLS 的方法和設(shè)計

1. 核心發(fā)現(xiàn)：音頻 - 動作關(guān)聯(lián)的不平衡

為什么直接端到端訓(xùn)練會導(dǎo)致傾聽僵硬？研究者通過對音頻特征與面部動作參數(shù)在 t-SNE 空間的分布分析揭示了根本原因。如下圖 1 所示，說話時音頻與面部動作高度關(guān)聯(lián)，二者在嵌入空間中緊密聚集、距離一致性強；而傾聽時面部動作與對方音頻的關(guān)聯(lián)非常微弱 —— 因為傾聽中的許多行為（如眨眼頻率、微表情、肌肉協(xié)調(diào)）本質(zhì)上獨立于對方語音信號。

這種不平衡導(dǎo)致聯(lián)合訓(xùn)練時網(wǎng)絡(luò)能輕松為說話分支學(xué)到強映射，卻為傾聽分支接收到的監(jiān)督信號不足，使其退化為安全的、低方差的靜態(tài)表情。這一發(fā)現(xiàn)直接啟發(fā)了 UniLS 的核心設(shè)計思路：不應(yīng)將傾聽建模為音頻到動作的直接映射，而應(yīng)分兩步走 —— 先學(xué)習(xí)運動本身的內(nèi)在規(guī)律，再引入音頻進行調(diào)制。

圖 2: 面部表情參數(shù)與對應(yīng)音頻特征之間的相關(guān)性。對于說話狀態(tài)，音頻是指說話者自身的語音；對于傾聽狀態(tài)，音頻則來自對方的語音。

2. 兩階段訓(xùn)練框架

Stage 1：無音頻生成器訓(xùn)練 —— 學(xué)習(xí)內(nèi)在運動先驗。第一階段在大規(guī)模非配對多場景視頻數(shù)據(jù)上訓(xùn)練一個無音頻的自回歸生成器。訓(xùn)練數(shù)據(jù)來自 CelebV、TalkingHead-1KH、TEDTalk、VFHQ 等多個數(shù)據(jù)集，涵蓋新聞播報、訪談、演講、日常對話等多種場景，共計 546.5 小時。面部動作使用 FLAME 3D 參數(shù)化模型表示（包含表情、頭部姿態(tài)和眼球注視），通過多尺度 VQ 編解碼器離散化。生成器以過去的運動 chunk 和風(fēng)格嵌入為輸入預(yù)測下一個運動 chunk。由于完全不使用音頻，模型只能依賴運動本身的時序規(guī)律來預(yù)測未來，從而自然地學(xué)習(xí)到眨眼頻率、頭部微動、表情轉(zhuǎn)換等內(nèi)在運動先驗。

Stage 2：音頻驅(qū)動微調(diào) —— 引入雙軌音頻調(diào)制。第二階段使用 Seamless Interaction 配對對話數(shù)據(jù)（251.5 小時說話 + 406.0 小時傾聽）對生成器進行微調(diào)。架構(gòu)在 Stage 1 基礎(chǔ)上新增兩個交叉注意力層：一個關(guān)注說話者 A 自身的音頻（驅(qū)動口型同步和面部表情），另一個關(guān)注說話者 B 的音頻（調(diào)制傾聽反應(yīng)）。Stage 1 的自注意力和 FFN 骨干權(quán)重通過 LoRA 高效微調(diào)，新增的交叉注意力層從頭訓(xùn)練。這一設(shè)計既保留了 Stage 1 習(xí)得的豐富內(nèi)在運動先驗，又賦予模型根據(jù)雙軌音頻信號分別調(diào)制說話和傾聽的能力。

圖 3: 兩階段訓(xùn)練策略概覽。第一階段： 在不使用音頻的情況下，基于非配對的多場景視頻數(shù)據(jù)訓(xùn)練一個無音頻生成器。該模型根據(jù)過去的動作序列和風(fēng)格嵌入，預(yù)測未來的動作塊。第二階段： 在配對的對話片段上對生成器進行微調(diào)。通過交叉注意力機制，將說話者 A 和說話者 B 的音頻作為條件輸入，從而生成由音頻驅(qū)動的 “說 - 聽” 動作。

實驗結(jié)果

1. 定量對比（Seamless Interaction 數(shù)據(jù)集）

表 1: 在 Seamless Interaction 測試集上評估說話和聆聽時的面部動作。分別用金色和銀色表示第一名和第二名。

表 1 的量化指標(biāo)顯示 UniLS 在全部指標(biāo)上取得最優(yōu)：說話方面，LVE 降至 5.83、MHD 降至 1.89，表明模型不僅精確追蹤了音素 - 動作對應(yīng)，還捕捉到了上臉參與和頭 - 頜協(xié)調(diào)運動等動態(tài)特征。傾聽方面，F(xiàn)DD 從 DualTalk 的 43.58 大幅降至 17.12，F(xiàn)-FID 從 13.143 降至 4.304，P-FID 從 0.079 降至 0.038，分布指標(biāo)提升高達 44.1%，有效解決了傾聽僵硬問題。

2. 用戶研究

與 DualTalk 相比，超過 91% 的用戶偏好 UniLS 的傾聽反應(yīng)自然度，90% 偏好其表情自然度，86% 偏好其口型同步質(zhì)量。

表 2: UniLS 的用戶研究結(jié)果。數(shù)字（%）表示用戶更喜歡本文方法而非各基線方法的比例。“同步” 衡量唇部同步性，而 “Exp”、“Re-act” 和 “Pose” 分別評估面部表情的自然度、聆聽反應(yīng)和頭部姿勢。

3. 實時性能

在出色的生成質(zhì)量之外，UniLS 在單張 RTX 5090 GPU 上以 560.6 FPS 運行（參數(shù)量 421.3M），顯著優(yōu)于 ARTalk * 的 357.7 FPS（489.5M），而 DualTalk 由于非端到端設(shè)計無法支持實時。UniLS 在質(zhì)量、速度與規(guī)模之間實現(xiàn)了最優(yōu)平衡。

總結(jié)

UniLS 是首個能夠生成統(tǒng)一 “說 - 聽” 面部動作的端到端音頻驅(qū)動框架。通過對音頻與動作相關(guān)性的深入分析，作者發(fā)現(xiàn)了傳統(tǒng)端到端訓(xùn)練中導(dǎo)致 “傾聽僵硬感”（listening stiffness）的根本原因。基于這一見解，該研究引入了一種兩階段訓(xùn)練范式，將內(nèi)部動作先驗的學(xué)習(xí)與音頻驅(qū)動的調(diào)制過程分離開來。在大型對話數(shù)據(jù)集上進行的大量實驗表明，UniLS 實現(xiàn)了優(yōu)秀的口型同步準(zhǔn)確度，豐富多樣且自然的傾聽表情和出色的實時性能�？偠灾琔niLS 為對話式數(shù)字人奠定了基礎(chǔ)，并為極具互動感、逼真的 AI 人機交互開啟了新的可能性。