機(jī)器之心發(fā)布

當(dāng)你和 3D 數(shù)字人對(duì)話時(shí)，有沒(méi)有遇到過(guò)這種詭異時(shí)刻：它的嘴在動(dòng)，但表情依舊僵硬；手在揮舞，但和說(shuō)話內(nèi)容完全脫節(jié)；更糟的是，那種外表像真人但動(dòng)作不自然的違和感，讓人瞬間陷入 “恐怖谷”。

問(wèn)題的根源在于，人類(lèi)溝通從來(lái)不只是語(yǔ)言或動(dòng)作的單一呈現(xiàn)。一個(gè)聳肩可以表達(dá)無(wú)奈，一個(gè)點(diǎn)頭傳遞認(rèn)同，而微微揚(yáng)起的眉毛則暗示懷疑。這些由手勢(shì)、姿態(tài)與面部表情構(gòu)成的非語(yǔ)言信號(hào)，是真實(shí)交流中不可或缺的關(guān)鍵維度。

當(dāng)前大多數(shù) 3D 數(shù)字人的動(dòng)作生成仍停留在通用動(dòng)作拼接層面，難以承載復(fù)雜語(yǔ)義與情緒表達(dá)。而這種自然、連貫且富有情緒的表現(xiàn)力對(duì) 3D 數(shù)字角色至關(guān)重要：數(shù)字人需要它來(lái)建立信任，機(jī)器人需要它來(lái)與人類(lèi)協(xié)作，游戲則需要它讓角色更加生動(dòng)。

AI 初創(chuàng)公司 SentiPulse 聯(lián)合中國(guó)人民大學(xué)高瓴人工智能學(xué)院博士生團(tuán)隊(duì)的最新研究，提出了一套 3D 數(shù)字人動(dòng)作生成新范式SentiAvatar，它是用于構(gòu)建具備表現(xiàn)力的交互式 3D 數(shù)字人框架。團(tuán)隊(duì)基于此打造了虛擬角色SUSU，使其能夠?qū)崟r(shí)進(jìn)行語(yǔ)言表達(dá)、動(dòng)作表現(xiàn)與情緒傳達(dá)

視頻鏈接：https://mp.weixin.qq.com/s/13XKw1FLyDr9V3IxaPZltg

今天，SentiAvatar 框架、3D 數(shù)字人 SUSU 角色模型及高質(zhì)量動(dòng)作數(shù)據(jù)集 SuSuInterActs全球同步開(kāi)源

• 論文標(biāo)題：SentiAvatar: Towards Expressive and Interactive Digital Humans
• 論文地址：https://arxiv.org/abs/2604.02908
• 項(xiàng)目主頁(yè)：https://sentiavatar.github.io/

一眼假的 3D 數(shù)字人

困在三個(gè) "無(wú)人區(qū)"

讓 3D 數(shù)字人在真實(shí)對(duì)話中自然地手舞足蹈，聽(tīng)起來(lái)只是一個(gè)工程問(wèn)題，但它實(shí)際上橫跨了三個(gè)長(zhǎng)期未被同時(shí)解決的研究缺口：

第一，高質(zhì)量數(shù)據(jù)荒。現(xiàn)有數(shù)據(jù)集要么以英語(yǔ)語(yǔ)料為主，要么缺乏與動(dòng)作同步的面部表情，中文對(duì)話場(chǎng)景下的高質(zhì)量全身動(dòng)作數(shù)據(jù)幾乎空白。

第二，復(fù)合語(yǔ)義動(dòng)作漂移。當(dāng)描述從簡(jiǎn)單的“揮手”變成“無(wú)奈地聳肩”、“認(rèn)同地點(diǎn)頭” 這種復(fù)合語(yǔ)義時(shí)，模型的理解能力急劇退化。

第三，對(duì)話節(jié)奏錯(cuò)亂。模型生成的動(dòng)作要么像機(jī)器人一樣勻速機(jī)械，要么和語(yǔ)音的重音、停頓完全錯(cuò)位。

能不能讓數(shù)字人既理解“要說(shuō)什么”，又能做出能跟上說(shuō)話的節(jié)奏的流暢動(dòng)作？

問(wèn)題本質(zhì)

語(yǔ)義與韻律是兩個(gè)時(shí)間尺度的問(wèn)題

現(xiàn)有方法在對(duì)話驅(qū)動(dòng)的動(dòng)作生成上陷入兩難：全局語(yǔ)義對(duì)齊要求模型理解句子級(jí)的行為語(yǔ)義，如：無(wú)奈地聳肩，并生成宏觀動(dòng)作結(jié)構(gòu)；幀級(jí)韻律對(duì)齊則要求動(dòng)作的速度起伏精確響應(yīng)語(yǔ)音的重音、停頓與節(jié)律變化。兩者分別工作在句子級(jí)和幀級(jí)兩個(gè)時(shí)間尺度，單一模型難以兼顧。

以往的共語(yǔ)音手勢(shì)生成方法（EMAGE、TalkShow 等）將動(dòng)作視為音頻的低階反射，缺乏句子級(jí)語(yǔ)義規(guī)劃；而文本驅(qū)動(dòng)的動(dòng)作生成方法（T2M-GPT、MoMask 等）則完全丟棄了音頻信號(hào)，無(wú)法捕捉語(yǔ)音韻律對(duì)動(dòng)作時(shí)序的精細(xì)調(diào)制。

SentiAvatar 的出發(fā)點(diǎn)正是將這兩個(gè)目標(biāo)解耦，將句子級(jí)語(yǔ)義規(guī)劃與幀級(jí)韻律驅(qū)動(dòng)分階段處理，而非強(qiáng)行塞進(jìn)一個(gè)端到端模型。

SentiAvatar

3D 數(shù)字人動(dòng)作生成新范式

為了解決以上問(wèn)題，SentiPulse 團(tuán)隊(duì)基于統(tǒng)一技術(shù)框架SentiAvatar打造了虛擬角色 SUSU，并構(gòu)建SuSuInterActs 數(shù)據(jù)集（包含 2.1 萬(wàn)段片段，總計(jì) 37 小時(shí)），該對(duì)話語(yǔ)料通過(guò)光學(xué)動(dòng)捕技術(shù)采集，圍繞單一角色，包含同步的語(yǔ)音、全身動(dòng)作與面部表情。其次，在超過(guò) 20 萬(wàn)條動(dòng)作序列上預(yù)訓(xùn)練了一個(gè)動(dòng)作基礎(chǔ)模型 Motion Foundation Model，使其具備豐富的動(dòng)作先驗(yàn)，能力遠(yuǎn)超對(duì)話場(chǎng)景本身。在此基礎(chǔ)上，團(tuán)隊(duì)創(chuàng)新提出了一種全新的模型架構(gòu) plan-then-infill，將句子級(jí)語(yǔ)義規(guī)劃與逐幀的韻律驅(qū)動(dòng)插值解耦，從而使生成的動(dòng)作既符合語(yǔ)義，又在節(jié)奏上與語(yǔ)音高度一致。

SuSuInterActs 數(shù)據(jù)集

數(shù)據(jù)瓶頸是 SentiAvatar 解決的一個(gè)硬核問(wèn)題。現(xiàn)有共語(yǔ)音數(shù)據(jù)集的兩個(gè)主要局限：1） 以英語(yǔ)為主 2）缺乏同步的面部表情數(shù)據(jù)，在中文對(duì)話場(chǎng)景下尤為突出。

SentiPulse 圍繞單一虛擬角色 SUSU（22 歲，溫柔活潑，情感豐富），從頭構(gòu)建了SuSuInterActs 數(shù)據(jù)集。該數(shù)據(jù)集包含2.1 萬(wàn)段片段、37 小時(shí)的多模態(tài)對(duì)話語(yǔ)料，涵蓋同步語(yǔ)音、行為標(biāo)注文本、全身動(dòng)作與面部表情。

數(shù)據(jù)采集流程分四步：

1. 角色與場(chǎng)景設(shè)計(jì)。
2. LLM 生成帶行為標(biāo)注的對(duì)話腳本，比如：動(dòng)作 “攤手無(wú)奈”、表情 “擔(dān)憂” 等標(biāo)簽。
3. 專(zhuān)業(yè)動(dòng)捕演員使用 Nokov 光學(xué)動(dòng)捕系統(tǒng) + MANUS 手套 + iPhone ARKit 系統(tǒng)完整錄制。
4. 后處理與時(shí)間對(duì)齊（統(tǒng)一幀率 20FPS，幀級(jí)同步）。

最終數(shù)據(jù)集規(guī)模：21,133 條片段，36.9 小時(shí)，覆蓋日常聊天、情感支持、趣味互動(dòng)等多類(lèi)場(chǎng)景。每條樣本包含四路同步模態(tài)：中文對(duì)話文本（含行為語(yǔ)義標(biāo)注）、語(yǔ)音音頻（WAV）、全身骨骼動(dòng)作（63 關(guān)節(jié)，6D 旋轉(zhuǎn)表示）、面部混合形狀系數(shù)（blendshape coefficient）（51 維 ARKit 參數(shù)）。其中 14,278 條含非默認(rèn)動(dòng)作標(biāo)注，9,412 條含非默認(rèn)表情標(biāo)注。

聚焦單一角色是一個(gè)有意為之的設(shè)計(jì)選擇，相比 BEAT2 等多角色數(shù)據(jù)集，它帶來(lái)了更一致的行為模式，有利于角色特定的動(dòng)作與表情風(fēng)格學(xué)習(xí)。

動(dòng)作基礎(chǔ)模型：200K 序列的異質(zhì)預(yù)訓(xùn)練

對(duì)話數(shù)據(jù)集的動(dòng)作分布天然受限于對(duì)話場(chǎng)景。團(tuán)隊(duì)在預(yù)訓(xùn)練階段引入了自研的 Motion Foundation Model 動(dòng)作基礎(chǔ)模型，在 200K + 條異質(zhì)動(dòng)作序列（約 676 小時(shí)）上訓(xùn)練通用運(yùn)動(dòng)先驗(yàn)。數(shù)據(jù)來(lái)源如下：

蒸餾流程值得關(guān)注：通過(guò)挖掘原子動(dòng)詞、LLM 擴(kuò)展同義短語(yǔ)、組合模板生成復(fù)合動(dòng)作描述（最多 4 個(gè)動(dòng)作），以及引入奧運(yùn)運(yùn)動(dòng)、仿生動(dòng)作等專(zhuān)項(xiàng)類(lèi)別，系統(tǒng)性地?cái)U(kuò)展了動(dòng)作先驗(yàn)的覆蓋邊界。

基礎(chǔ)模型以 Qwen-0.5B 為骨干，擴(kuò)展詞表至包含 2,048 個(gè)動(dòng)作 Token（R-VQVAE，4 層殘差量化，每層碼本 512）和音頻 Token（HuBERT K-means 量化）。預(yù)訓(xùn)練任務(wù)為文本-動(dòng)作生成，所有文本描述統(tǒng)一翻譯為中文，保持語(yǔ)言空間一致性。

核心架構(gòu) plan-then-infill

用對(duì)話生成動(dòng)作的核心在于理解高層語(yǔ)義意圖，模型需要先知道 “做什么動(dòng)作”，再?zèng)Q定 “如何逐幀執(zhí)行”，這一過(guò)程建模是一個(gè)規(guī)劃問(wèn)題。SentiAvatar 采用雙通道并行架構(gòu) plan-then-infill，身體動(dòng)作與面部表情分離處理，身體動(dòng)作通道由兩個(gè)串聯(lián)階段構(gòu)成。

1. 身體動(dòng)作通道

第一階段，LLM 語(yǔ)義規(guī)劃器接收行為標(biāo)簽文本和稀疏音頻 Token，輸出稀疏關(guān)鍵幀動(dòng)作 Token 序列。為支持多輪流式連續(xù)生成，模型以前一句話的最后兩個(gè)關(guān)鍵幀音頻 - 動(dòng)作 Token 對(duì)作為上下文前綴，從下一個(gè)關(guān)鍵幀位置續(xù)寫(xiě)，實(shí)現(xiàn)無(wú)縫跨句過(guò)渡。

第二階段，Body Infill Transformer在相鄰關(guān)鍵幀之間填入中間 3 幀，以逐幀 HuBERT 連續(xù)特征（768 維，20FPS）作為條件信號(hào)。模型采用 5 幀滑動(dòng)窗口，首尾幀已知，預(yù)測(cè)中間 3 幀（12 個(gè)動(dòng)作 Token）。推理時(shí)使用迭代置信度解碼策略（默認(rèn) 6 步），逐步接受高置信度預(yù)測(cè)，避免一次性預(yù)測(cè)的質(zhì)量退化。

2. 面部表情通道

直接繞過(guò) LLM 規(guī)劃階段，面部表情的動(dòng)態(tài)與語(yǔ)音韻律高度耦合，無(wú)需句子級(jí)語(yǔ)義規(guī)劃。Face Infill Transformer結(jié)構(gòu)與 Body Infill Transformer 類(lèi)似，但操作 2Token / 幀的面部離散表示，直接從音頻特征生成面部 Token，再由 Face R-VQVAE 解碼為 51 維 ARKit 混合形狀系數(shù)序列。

兩通道共享 HuBERT 特征提取，端到端延遲約 0.53 秒生成 6 秒動(dòng)作，支持無(wú)限多輪流式輸出

實(shí)時(shí)性能：0.3 秒內(nèi)生成 6 秒輸出

FGD/BC 雙刷 SOTA

整體實(shí)驗(yàn)結(jié)果：跨數(shù)據(jù)集均達(dá)最優(yōu)水平

實(shí)驗(yàn)結(jié)果表明，SentiAvatar 在 SuSuInterActs 和 BEATv2 兩個(gè)數(shù)據(jù)集上均達(dá)到了當(dāng)前最優(yōu)水平。

• 在自建 SuSuInterActs 測(cè)試集上，SentiAvatar 的文本 - 動(dòng)作檢索召回率 R@1 達(dá) 43.64%，接近次優(yōu)基線 T2M-GPT（23.12%）的兩倍，F(xiàn)ID 降至 8.912（對(duì)比：T2M-GPT 67.78，EMAGE 441.6）。
• 在跨數(shù)據(jù)集評(píng)測(cè) BEATv2 上，SentiAvatar 以 FGD 4.941、BC 8.078 同時(shí)刷新兩項(xiàng)指標(biāo)的 SOTA ，超越此前最優(yōu)的 Language-of-Motion（FGD 5.301）和 SynTalker（BC 7.971），驗(yàn)證了方法的跨語(yǔ)言、跨數(shù)據(jù)集泛化能力。
• SentiAvatar 在所有生成方法中取得最低 ESD（0.456 秒，真實(shí)動(dòng)作基準(zhǔn)為 0.308 秒）。

注：評(píng)測(cè)指標(biāo) ESD（Event Sync Distance），是一種用于衡量生成動(dòng)作與驅(qū)動(dòng)信號(hào)（如語(yǔ)音節(jié)奏）之間時(shí)間同步性的客觀評(píng)測(cè)指標(biāo)，它直接反映了數(shù)字人或機(jī)器人的動(dòng)作是否 “對(duì)得上拍子”。

定性分析結(jié)果：SentiAvatar 動(dòng)作生成效果最佳

團(tuán)隊(duì)將 SentiAvatar 與幾種 3D 動(dòng)作生成主流 AI 模型進(jìn)行對(duì)比。下圖中每一行展示特定動(dòng)作與語(yǔ)音的關(guān)鍵幀序列，相同顏色的文字和箭頭代表同一時(shí)間，紅色箭頭表示動(dòng)作錯(cuò)誤。

多模型對(duì)比結(jié)果：SentiAvatar 呈現(xiàn)出最自然的生成效果，動(dòng)作語(yǔ)義正確，并且在時(shí)間上與音頻波形高度對(duì)齊。MoMask 能夠從文本標(biāo)簽中部分捕捉動(dòng)作語(yǔ)義，但由于無(wú)法獲取語(yǔ)音信息，生成的動(dòng)作節(jié)奏較為靜態(tài)，且與音頻不存在對(duì)應(yīng)關(guān)系。MEAGE 可以生成與音頻同步的動(dòng)作，但動(dòng)作較為通用，忽略了標(biāo)簽中指定的語(yǔ)義意圖。AT2M-GPT 盡管能同時(shí)接受音頻和文本輸入，但常常會(huì)誤解動(dòng)作語(yǔ)義。HunYuan-Motion 因未基于高質(zhì)量動(dòng)捕數(shù)據(jù)進(jìn)行訓(xùn)練，生成結(jié)果中存在明顯的身體畸形和不自然姿態(tài)，整體表現(xiàn)最差。

消融實(shí)驗(yàn)結(jié)果：驗(yàn)證核心架構(gòu)各部分不可替代

在架構(gòu)消融實(shí)驗(yàn)中，移除 LLM 規(guī)劃器會(huì)導(dǎo)致性能大幅下降：R@1 從 43.64% 驟降至 28.06%，F(xiàn)ID 從 8.912 劣化至 27.567，說(shuō)明句子語(yǔ)義規(guī)劃至關(guān)重要；移除 Infill Transformer 同樣會(huì)導(dǎo)致所有指標(biāo)下降，R@1 降至 27.52%，ESD 惡化至 0.503 秒，因?yàn)閮H依賴(lài)稀疏關(guān)鍵幀會(huì)產(chǎn)生不連續(xù)、節(jié)奏不自然的動(dòng)作。

音頻條件消融進(jìn)一步揭示，Infill Transformer 中的連續(xù) HuBERT 特征是幀級(jí)同步的主要驅(qū)動(dòng)力，而 LLM 中的離散音頻 Token 則更多貢獻(xiàn)于整體動(dòng)作質(zhì)量和節(jié)律規(guī)劃，驗(yàn)證了 “粗粒度音頻規(guī)劃+細(xì)粒度音頻對(duì)齊” 的協(xié)同效果。

在實(shí)驗(yàn)?zāi)芰ν猓こ搪涞啬芰ν瑯雨P(guān)鍵。SentiAvatar 實(shí)現(xiàn)了 0.3 秒內(nèi)生成 6 秒動(dòng)作序列，支持無(wú)限輪次的流式交互。這意味著數(shù)字人可以在實(shí)時(shí)對(duì)話中持續(xù)生成連貫的動(dòng)作與表情，無(wú)需等待整句結(jié)束再批量處理。

開(kāi)源與未來(lái)

從 "數(shù)字人" 到下一代 "數(shù)字生命"

今天，SentiAvatar 框架、SuSuInterActs 數(shù)據(jù)集及預(yù)訓(xùn)練模型重磅開(kāi)源，上線 GitHub。SentiPulse 團(tuán)隊(duì)邀請(qǐng)全球?qū)?3D 動(dòng)作生成感興趣的研究機(jī)構(gòu)、開(kāi)發(fā)者，共同突破 3D 數(shù)字人技術(shù)與應(yīng)用的新邊界。

SentiPulse 看到的未來(lái)不止于此。當(dāng)前 3D 數(shù)字人的競(jìng)爭(zhēng)焦點(diǎn)仍在數(shù)字人的視覺(jué)形象和基礎(chǔ)語(yǔ)音動(dòng)作能力，下一步技術(shù)躍遷，是構(gòu)建像人一樣的認(rèn)知和表達(dá)能力：更完整的表達(dá)模型、更統(tǒng)一的人格系統(tǒng)、更長(zhǎng)期的交互記憶。3D 數(shù)字人未來(lái)的競(jìng)爭(zhēng)重心，將不再是誰(shuí)渲染得更真實(shí)，而是誰(shuí)能構(gòu)建更完整的認(rèn)知-表達(dá)閉環(huán)。

當(dāng)數(shù)字人不再只是 "提線木偶"，而是能感知語(yǔ)境、理解情緒、主動(dòng)表達(dá)的交互主體，人機(jī)關(guān)系的底層邏輯將被重寫(xiě)，下一代 “數(shù)字生命” 也即將走進(jìn)現(xiàn)實(shí)。