機器之心發(fā)布

還記得幾個月前那個能隨著音樂節(jié)拍自然舞動的 KlingAvatar 數(shù)字人嗎？現(xiàn)在，它迎來了史詩級進化！

近日，快手可靈團隊正式發(fā)布了 KlingAvatar2.0 技術報告，這一次，數(shù)字人不僅能 "表演"，更能 "生動表達"——它們將擁有更豐富的情感層次、更精準的多角色互動，對復雜文本指令的深度理解能力，以及支持長達 5 分鐘的視頻生成。目前該模型已經在可靈平臺全量上線，人人都可體驗！

• 論文地址：https://arxiv.org/pdf/2512.13313
• 體驗鏈接：https://app.klingai.com/cn/ai-human/image/new/

首先看一下效果，肢體靈動、表情逼真，生動性拉滿！

文中視頻鏈接：https://mp.weixin.qq.com/s/SexCvqSiQTJKBSixBlmajA

讓我們拆解技術報告，看一下可靈團隊是如何實現(xiàn)如此生動效果的。

核心技術突破：讓數(shù)字人 "活" 起來的三大創(chuàng)新

1. 時空級聯(lián)框架：長視頻不再 "虎頭蛇尾"

想象一下，你正在制作一個 5 分鐘的產品介紹視頻，但傳統(tǒng)的 AI 生成工具總是在第 2 分鐘后就開始 "崩壞"—— 畫面變得模糊，人物動作開始不連貫，甚至連口型都對不上了。KlingAvatar2.0 創(chuàng)新性地提出了時空級聯(lián)框架：

• 智能藍圖生成：先創(chuàng)建低分辨率 "藍圖視頻" 捕捉全局語義和動作
• 漸進式增強：通過首幀 - 末幀策略，將藍圖精細化為高分辨率、時間連貫的子片段
• 并行高效：支持分鐘級長視頻生成，保持身份一致性和故事連續(xù)性

KlingAvatar 2.0 方案框架。該方案快速勾勒出一個低分辨率的 "分鏡腳本"（藍圖視頻），確定整個故事的走向和關鍵動作節(jié)點；然后，它會像精雕細琢的藝術家一樣，逐步將這些關鍵幀升級為高清畫面，確保每個細節(jié)都栩栩如生；最后，通過并行處理技術將這些精心打磨的片段無縫拼接成完整的長視頻。

2. 共推理導演：多模態(tài)指令的 "智慧大腦"

KlingAvatar2.0 的共推理導演系統(tǒng)就像是給數(shù)字人配備了一個專業(yè)的導演團隊。這個系統(tǒng)由三位 "AI 專家" 組成，它們會像真正的電影制作團隊一樣密切協(xié)作：

• 音頻專家：精準識別語音內容、情感軌跡和說話意圖
• 視覺專家：深度理解人物特征、場景布局和視覺語境
• 文本專家：智能解析用戶指令，融合對話歷史生成連貫劇情

這三大專家通過多輪對話協(xié)作，能夠解決模態(tài)沖突（比如憤怒語氣配中性腳本），將模糊的指令轉化為詳細的鏡頭級故事線。

3. 多角色精準控制：每個數(shù)字人都有自己的 "聲音"

在傳統(tǒng)的多角色視頻中，一個常見的問題是 "張冠李戴"—— 明明是給 A 角色的音頻，結果 B 角色的嘴也在動。這種混亂讓觀眾瞬間出戲，破壞了整個視頻的沉浸感。KlingAvatar2.0 通過身份特定多角色控制技術，讓每個數(shù)字人都能 "各司其職"：

• 利用深度 DiT 特征實現(xiàn)角色掩碼預測
• 每個角色都能被獨立的音頻流精準驅動
• 基于 Yolo、DWPose、SAM2 等模型構造了數(shù)十萬條高質量多人數(shù)據用于訓練

(a) KlingAvatar2.0 基于 DiT 深層 block 特征預測指定角色在視頻中每一幀畫面的位置，控制音頻精確驅動該位置的角色。(b) 可靈團隊基于 Yolo、DWPose、SAM2 等模型構造了數(shù)十萬條高質量多人數(shù)據用于訓練。

實驗結果：生動性大幅提升，數(shù)字人有了 "演技"

如果說 KlingAvatar1.0 讓數(shù)字人學會了 "表演" 的基本功，那么 2.0 版本則讓它們真正擁有了 "演技"。生動性方面：

• 情感表達更細膩：面部表情隨語音起伏自然變化，能夠準確傳達興奮、悲傷、憤怒等復雜情緒，眼神、嘴角、眉梢都充滿 "戲"。
• 動作協(xié)調更自然：全身動作與音頻節(jié)奏完美同步，手勢、姿態(tài)變化流暢自然，避免了不自然的扭曲和抖動。
• 細節(jié)處理更精致：頭發(fā)動態(tài)物理真實，不再 "僵硬"，牙齒、嘴唇細節(jié)清晰可見，光照和曝光效果更加自然。

KlingAvatar2.0 與 Heygen、OmniHuman-1.5、KlingAvatar1.0 相比有更優(yōu)異的性能。

在涵蓋 300 個高質量測試案例的嚴格評測中，KlingAvatar2.0 展現(xiàn)出了令人矚目的性能：

• 整體效果：相比 HeyGen 提升 26%，相比 KlingAvatar1.0 提升 73%，相比 OmniHuman-1.5 提升 94%
• 文本響應：指令理解能力大幅提升，能準確執(zhí)行復雜的鏡頭和動作指令
• 運動表現(xiàn)力：生動性和豐富度遠超競品

KlingAvatar 2.0 與基線方法的定性比較。左圖：KlingAvatar 2.0 能夠生成更自然的頭發(fā)動態(tài)效果和更生動的面部表情。中圖：KlingAvatar 2.0 更符合指定的自下而上的攝像機運動。右圖：KlingAvatar 2.0 的結果與提示 “…… 轉身面向前方，雙手交叉放在胸前” 更加吻合

總結：讓每個數(shù)字人都有動人靈魂

回顧整個數(shù)字人技術的發(fā)展歷程，我們可以清晰地看到一個進化軌跡：從最初的 "嘴唇蠕動"，到后來的 "表情同步"，再到現(xiàn)在的 "生動表演"，每一次突破都讓虛擬角色離 "真實" 更近一步。

KlingAvatar2.0 不僅僅是一次技術升級，它也代表了 AI 在理解人類表達藝術方面的一次飛躍。這項技術讓機器更好地理解了什么是 "表演"—— 它不僅僅是機械地執(zhí)行指令，而是要在理解音頻情感、視覺語境和文本意圖的基礎上，創(chuàng)造出能夠觸動人心的視聽體驗。

放眼到行業(yè)，數(shù)字人技術的持續(xù)迭代，也推動著行業(yè)創(chuàng)作門檻的降低、制作標準的提升，在電商直播、娛樂內容制作、在線教育、企業(yè)服務等諸多領域，數(shù)字人的規(guī)模化應用已成趨勢。

生成效果的大幅提升，長內容場景的全覆蓋，都讓我們更加確信：技術不再是冰冷的工具，而是真正成為了表達創(chuàng)意、傳遞情感的溫暖載體。在這個技術與藝術完美融合的新時代，準備好讓你的創(chuàng)意 "活" 起來了嗎？