機(jī)器之心發(fā)布

還記得幾個(gè)月前那個(gè)能隨著音樂(lè)節(jié)拍自然舞動(dòng)的 KlingAvatar 數(shù)字人嗎？現(xiàn)在，它迎來(lái)了史詩(shī)級(jí)進(jìn)化！

近日，快手可靈團(tuán)隊(duì)正式發(fā)布了 KlingAvatar2.0 技術(shù)報(bào)告，這一次，數(shù)字人不僅能 "表演"，更能 "生動(dòng)表達(dá)"——它們將擁有更豐富的情感層次、更精準(zhǔn)的多角色互動(dòng)，對(duì)復(fù)雜文本指令的深度理解能力，以及支持長(zhǎng)達(dá) 5 分鐘的視頻生成。目前該模型已經(jīng)在可靈平臺(tái)全量上線，人人都可體驗(yàn)！

• 論文地址：https://arxiv.org/pdf/2512.13313
• 體驗(yàn)鏈接：https://app.klingai.com/cn/ai-human/image/new/

首先看一下效果，肢體靈動(dòng)、表情逼真，生動(dòng)性拉滿！

文中視頻鏈接：https://mp.weixin.qq.com/s/SexCvqSiQTJKBSixBlmajA

讓我們拆解技術(shù)報(bào)告，看一下可靈團(tuán)隊(duì)是如何實(shí)現(xiàn)如此生動(dòng)效果的。

核心技術(shù)突破：讓數(shù)字人 "活" 起來(lái)的三大創(chuàng)新

1. 時(shí)空級(jí)聯(lián)框架：長(zhǎng)視頻不再 "虎頭蛇尾"

想象一下，你正在制作一個(gè) 5 分鐘的產(chǎn)品介紹視頻，但傳統(tǒng)的 AI 生成工具總是在第 2 分鐘后就開(kāi)始 "崩壞"—— 畫(huà)面變得模糊，人物動(dòng)作開(kāi)始不連貫，甚至連口型都對(duì)不上了。KlingAvatar2.0 創(chuàng)新性地提出了時(shí)空級(jí)聯(lián)框架：

• 智能藍(lán)圖生成：先創(chuàng)建低分辨率 "藍(lán)圖視頻" 捕捉全局語(yǔ)義和動(dòng)作
• 漸進(jìn)式增強(qiáng)：通過(guò)首幀 - 末幀策略，將藍(lán)圖精細(xì)化為高分辨率、時(shí)間連貫的子片段
• 并行高效：支持分鐘級(jí)長(zhǎng)視頻生成，保持身份一致性和故事連續(xù)性

KlingAvatar 2.0 方案框架。該方案快速勾勒出一個(gè)低分辨率的 "分鏡腳本"（藍(lán)圖視頻），確定整個(gè)故事的走向和關(guān)鍵動(dòng)作節(jié)點(diǎn)；然后，它會(huì)像精雕細(xì)琢的藝術(shù)家一樣，逐步將這些關(guān)鍵幀升級(jí)為高清畫(huà)面，確保每個(gè)細(xì)節(jié)都栩栩如生；最后，通過(guò)并行處理技術(shù)將這些精心打磨的片段無(wú)縫拼接成完整的長(zhǎng)視頻。

2. 共推理導(dǎo)演：多模態(tài)指令的 "智慧大腦"

KlingAvatar2.0 的共推理導(dǎo)演系統(tǒng)就像是給數(shù)字人配備了一個(gè)專業(yè)的導(dǎo)演團(tuán)隊(duì)。這個(gè)系統(tǒng)由三位 "AI 專家" 組成，它們會(huì)像真正的電影制作團(tuán)隊(duì)一樣密切協(xié)作：

• 音頻專家：精準(zhǔn)識(shí)別語(yǔ)音內(nèi)容、情感軌跡和說(shuō)話意圖
• 視覺(jué)專家：深度理解人物特征、場(chǎng)景布局和視覺(jué)語(yǔ)境
• 文本專家：智能解析用戶指令，融合對(duì)話歷史生成連貫劇情

這三大專家通過(guò)多輪對(duì)話協(xié)作，能夠解決模態(tài)沖突（比如憤怒語(yǔ)氣配中性腳本），將模糊的指令轉(zhuǎn)化為詳細(xì)的鏡頭級(jí)故事線。

3. 多角色精準(zhǔn)控制：每個(gè)數(shù)字人都有自己的 "聲音"

在傳統(tǒng)的多角色視頻中，一個(gè)常見(jiàn)的問(wèn)題是 "張冠李戴"—— 明明是給 A 角色的音頻，結(jié)果 B 角色的嘴也在動(dòng)。這種混亂讓觀眾瞬間出戲，破壞了整個(gè)視頻的沉浸感。KlingAvatar2.0 通過(guò)身份特定多角色控制技術(shù)，讓每個(gè)數(shù)字人都能 "各司其職"：

• 利用深度 DiT 特征實(shí)現(xiàn)角色掩碼預(yù)測(cè)
• 每個(gè)角色都能被獨(dú)立的音頻流精準(zhǔn)驅(qū)動(dòng)
• 基于 Yolo、DWPose、SAM2 等模型構(gòu)造了數(shù)十萬(wàn)條高質(zhì)量多人數(shù)據(jù)用于訓(xùn)練

(a) KlingAvatar2.0 基于 DiT 深層 block 特征預(yù)測(cè)指定角色在視頻中每一幀畫(huà)面的位置，控制音頻精確驅(qū)動(dòng)該位置的角色。(b) 可靈團(tuán)隊(duì)基于 Yolo、DWPose、SAM2 等模型構(gòu)造了數(shù)十萬(wàn)條高質(zhì)量多人數(shù)據(jù)用于訓(xùn)練。

實(shí)驗(yàn)結(jié)果：生動(dòng)性大幅提升，數(shù)字人有了 "演技"

如果說(shuō) KlingAvatar1.0 讓數(shù)字人學(xué)會(huì)了 "表演" 的基本功，那么 2.0 版本則讓它們真正擁有了 "演技"。生動(dòng)性方面：

• 情感表達(dá)更細(xì)膩：面部表情隨語(yǔ)音起伏自然變化，能夠準(zhǔn)確傳達(dá)興奮、悲傷、憤怒等復(fù)雜情緒，眼神、嘴角、眉梢都充滿 "戲"。
• 動(dòng)作協(xié)調(diào)更自然：全身動(dòng)作與音頻節(jié)奏完美同步，手勢(shì)、姿態(tài)變化流暢自然，避免了不自然的扭曲和抖動(dòng)。
• 細(xì)節(jié)處理更精致：頭發(fā)動(dòng)態(tài)物理真實(shí)，不再 "僵硬"，牙齒、嘴唇細(xì)節(jié)清晰可見(jiàn)，光照和曝光效果更加自然。

KlingAvatar2.0 與 Heygen、OmniHuman-1.5、KlingAvatar1.0 相比有更優(yōu)異的性能。

在涵蓋 300 個(gè)高質(zhì)量測(cè)試案例的嚴(yán)格評(píng)測(cè)中，KlingAvatar2.0 展現(xiàn)出了令人矚目的性能：

• 整體效果：相比 HeyGen 提升 26%，相比 KlingAvatar1.0 提升 73%，相比 OmniHuman-1.5 提升 94%
• 文本響應(yīng)：指令理解能力大幅提升，能準(zhǔn)確執(zhí)行復(fù)雜的鏡頭和動(dòng)作指令
• 運(yùn)動(dòng)表現(xiàn)力：生動(dòng)性和豐富度遠(yuǎn)超競(jìng)品

KlingAvatar 2.0 與基線方法的定性比較。左圖：KlingAvatar 2.0 能夠生成更自然的頭發(fā)動(dòng)態(tài)效果和更生動(dòng)的面部表情。中圖：KlingAvatar 2.0 更符合指定的自下而上的攝像機(jī)運(yùn)動(dòng)。右圖：KlingAvatar 2.0 的結(jié)果與提示 “…… 轉(zhuǎn)身面向前方，雙手交叉放在胸前” 更加吻合

總結(jié)：讓每個(gè)數(shù)字人都有動(dòng)人靈魂

回顧整個(gè)數(shù)字人技術(shù)的發(fā)展歷程，我們可以清晰地看到一個(gè)進(jìn)化軌跡：從最初的 "嘴唇蠕動(dòng)"，到后來(lái)的 "表情同步"，再到現(xiàn)在的 "生動(dòng)表演"，每一次突破都讓虛擬角色離 "真實(shí)" 更近一步。

KlingAvatar2.0 不僅僅是一次技術(shù)升級(jí)，它也代表了 AI 在理解人類表達(dá)藝術(shù)方面的一次飛躍。這項(xiàng)技術(shù)讓機(jī)器更好地理解了什么是 "表演"—— 它不僅僅是機(jī)械地執(zhí)行指令，而是要在理解音頻情感、視覺(jué)語(yǔ)境和文本意圖的基礎(chǔ)上，創(chuàng)造出能夠觸動(dòng)人心的視聽(tīng)體驗(yàn)。

放眼到行業(yè)，數(shù)字人技術(shù)的持續(xù)迭代，也推動(dòng)著行業(yè)創(chuàng)作門檻的降低、制作標(biāo)準(zhǔn)的提升，在電商直播、娛樂(lè)內(nèi)容制作、在線教育、企業(yè)服務(wù)等諸多領(lǐng)域，數(shù)字人的規(guī)模化應(yīng)用已成趨勢(shì)。

生成效果的大幅提升，長(zhǎng)內(nèi)容場(chǎng)景的全覆蓋，都讓我們更加確信：技術(shù)不再是冰冷的工具，而是真正成為了表達(dá)創(chuàng)意、傳遞情感的溫暖載體。在這個(gè)技術(shù)與藝術(shù)完美融合的新時(shí)代，準(zhǔn)備好讓你的創(chuàng)意 "活" 起來(lái)了嗎？