編輯｜澤南

剛剛落幕的 2026 科技界「春晚」GTC 大會(huì)上，一個(gè)全行業(yè)的共識(shí)已經(jīng)形成：AI 正在進(jìn)入智能體（Agent）時(shí)代。

然而，當(dāng)各大廠商都在瘋狂入局智能體時(shí)，一個(gè)尷尬的現(xiàn)實(shí)卻擺在面前：這些聰明的數(shù)字大腦，缺少一個(gè)「靈動(dòng)」的「軀殼」。如果說「龍蝦」OpenClaw 已經(jīng)為 AI 智能體工作的范式打開了方向，那么解決 AI 怎么和人打交道的交互領(lǐng)域，技術(shù)還面臨著挑戰(zhàn)。

因涉及多個(gè)模態(tài)的轉(zhuǎn)換，為聰明的 AI 打造一副高表現(xiàn)力的「軀殼」，比想象中還要困難得多。

直到最近，京東數(shù)字人的一系列新研究打破了這一僵局。

京東 JoyAvatar 和 JoyAvatar-Flash 兩個(gè)數(shù)字人大模型，解決行業(yè)長期存在的文本指令控制力弱、多模態(tài)控制信號(hào)沖突、長時(shí)長生成能力不足等痛點(diǎn)問題，實(shí)現(xiàn)了長時(shí)長、自由態(tài)、實(shí)時(shí)互動(dòng)的數(shù)字人生成效果，相關(guān)成果發(fā)表在了 arXiv 上，新一代數(shù)字人的性能全面超越了當(dāng)前 SOTA 模型，將效果推向了新的高度。

• 論文鏈接：https://arxiv.org/pdf/2602.00702，https://arxiv.org/abs/2512.11423
• 技術(shù)主頁：https://joyavatar.github.io/

它具有超強(qiáng)的文本控制能力：

提示詞：A little girl is first singing with a beaming smile, then she picks up a camera from the table, points it toward the viewer, and the flash goes of.

提示詞：A woman stands indoors, speaking to the camera. She begins by picking up a vase from a cabinet, then gazes at it contemplatively, and finally places it on a chair within the scene. (Keep the character fully in frame throughout.)

可以實(shí)現(xiàn)分鐘級(jí)時(shí)長的數(shù)字人合成：

京東 JoyAvatar 系列數(shù)字人模型有打破僵局的意義，展現(xiàn)出了代差級(jí)別的優(yōu)勢(shì)，徹底告別了數(shù)字人「站樁式播報(bào)」：它不僅能精準(zhǔn)理解「復(fù)雜指令」，絲滑做出全身復(fù)雜動(dòng)作，還能完美配合動(dòng)態(tài)鏡頭軌跡以及背景的無縫變化。更絕的是，哪怕是在這種大幅度、劇烈運(yùn)動(dòng)的過程中，它依然能保持唇形與輸入音頻的完美同步。

輸入指令「拿起巧克力吃掉」京東數(shù)字人能夠根據(jù)文本提示詞，流暢地完成整套抓取和咀嚼動(dòng)作：

提示詞：The girl picks up the chocolate box, shows it to the viewer, then takes out a piece of chocolate and eats it.

輸入指令「放下手中的箱子」京東數(shù)字人不僅能平滑處理復(fù)雜的動(dòng)作指令與背景流轉(zhuǎn)，還能在超過 20 秒的視頻生成中保持人物身份的穩(wěn)定：

提示詞：A man in the frame speaks to the camera while placing a toolbox on the ground, then climbs a ladder, keeping himself within the shot. He wears a white safety helmet, holds a black and yellow toolbox, with a room under renovation behind him. A ladder and a level are placed nearby.

京東數(shù)字人的三大技術(shù)創(chuàng)新

在生成式 AI 領(lǐng)域，數(shù)據(jù)是讓模型學(xué)習(xí)和理解的原材料。但收集大量既有劇烈肢體運(yùn)動(dòng)、又有清晰語音播報(bào)的高質(zhì)量視頻數(shù)據(jù)，其成本是極其高昂的。面對(duì)靜態(tài)播報(bào)數(shù)據(jù)的天然偏見，京東數(shù)字人團(tuán)隊(duì)轉(zhuǎn)向了一條更為新穎的路徑：雙教師 DMD（分布匹配蒸餾）后訓(xùn)練

圖 1 雙教師 DMD 后訓(xùn)練框架圖

圖 2 數(shù)字人模型預(yù)訓(xùn)練框架圖

研究人員給數(shù)字人模型請(qǐng)來兩位「老師」，其中一位是「音頻教師」，由數(shù)字人基礎(chǔ)模型擔(dān)任，專攻口型和節(jié)奏；另一位則是「文本教師」，引入了視頻基礎(chǔ)大模型。由于視頻生成模型具備不錯(cuò)的文本到視頻生成能力，能夠完美理解復(fù)雜的動(dòng)作指令，通過這種分離式監(jiān)督、融合式學(xué)習(xí)的蒸餾機(jī)制，數(shù)字人模型在不增加任何新訓(xùn)練數(shù)據(jù)的前提下，直接繼承了其文本可控性。

讓數(shù)字人既要聽從劇本做出復(fù)雜動(dòng)作，又要嚴(yán)絲合縫地對(duì)口型，在過去是一個(gè)難以兼顧的任務(wù)。因?yàn)樵谀Ｐ偷臐撛诳臻g里，文本信號(hào)和音頻信號(hào)常常會(huì)相互打架 —— 文本要主導(dǎo)全身動(dòng)作，音頻要主導(dǎo)面部肌肉，兩者一旦沖突，畫面就會(huì)崩潰失真。

為了解決這個(gè)多模態(tài)控制沖突，團(tuán)隊(duì)創(chuàng)新性地提出了「動(dòng)態(tài) CFG 調(diào)制策略」

研究人員發(fā)現(xiàn)，擴(kuò)散模型在生成視頻時(shí)，全局的動(dòng)作框架是在早期的高噪聲階段確定的，而口型這種細(xì)粒度的細(xì)節(jié)，是在后期的低噪聲階段雕琢出來的。所以數(shù)字人模型讓兩種信號(hào)「錯(cuò)峰出行」：在生成早期，模型優(yōu)先聽文本的指令，先把跑跳、轉(zhuǎn)身等動(dòng)作框架搭好。到了生成中后期，模型再把控制權(quán)優(yōu)先交給音頻，保證唇形同步。

這種巧妙的設(shè)計(jì)，讓文本和音頻兩種控制模態(tài)各司其職，互不干擾。

接下來還有一個(gè)更加面向?qū)嶋H的挑戰(zhàn)。數(shù)字人需要長時(shí)間直播，而對(duì)于 AI 的長視頻生成而言，最大的挑戰(zhàn)在于「身份漂移」—— 人物說著說著，臉或者衣服就變樣了。

JoyAvatar 給出的解法是歷史幀編碼模塊（FramePack）+ 偽最后一幀策略。在推理過程中，模型不斷將用戶的參考圖像作為「?jìng)巫詈笠粠棺⑷肽Ｐ�，就像給模型定了一個(gè)永遠(yuǎn)不會(huì)偏離的錨點(diǎn)。這使得數(shù)字人模型能夠支持 30 秒以上的長視頻生成，全程保持身份穩(wěn)定、動(dòng)作流暢，徹底打破了傳統(tǒng)數(shù)字人模型幀閃爍、時(shí)長受限的短板。

為驗(yàn)證技術(shù)領(lǐng)先性，京東數(shù)字人團(tuán)隊(duì)將 JoyAvatar 模型（Ours）與業(yè)界主流 SOTA 閉源模型進(jìn)行了主觀 GSB 評(píng)分對(duì)比。結(jié)果顯示，JoyAvatar 在文本遵從、唇形準(zhǔn)確度、ID 保持、視頻畫質(zhì)等核心維度均表現(xiàn)顯著優(yōu)勢(shì)，整體 GSB 評(píng)分分別達(dá)到 1.36（超 omnihuman-1.5）與 1.73（超 KlingAvatar2.0），技術(shù)實(shí)力得到權(quán)威驗(yàn)證。(GSB計(jì)算方式: GSB=(Good+Same)/(Bad+Same))

圖 3 JoyAvatar 模型實(shí)驗(yàn)結(jié)果

與此同時(shí)，京東數(shù)字人團(tuán)隊(duì)還在數(shù)字人模型的推理速度優(yōu)化上做出了大量創(chuàng)新性設(shè)計(jì)，推出了 JoyAvatar-Flash 版本（https://arxiv.org/abs/2512.11423）。首先基于通過 CausVid 和 Self Forcing 等技術(shù)將雙向模型蒸餾成自回歸單向模型，并通過 4 步采樣、kv-cache 和多 GPU 并行推理實(shí)現(xiàn) 30FPS 的生成速度。

研究團(tuán)隊(duì)還提出了漸進(jìn)步數(shù)引導(dǎo)、運(yùn)動(dòng)條件注入、基于 cache 重置的無限 RoPE 等創(chuàng)新點(diǎn)，實(shí)現(xiàn)實(shí)時(shí)流式生成無限時(shí)長的高保真數(shù)字人視頻，并在視覺質(zhì)量、時(shí)序一致性與唇形同步等方面表現(xiàn)卓越。

場(chǎng)景與商業(yè)化

讓中小商家用得起「數(shù)字人直播」

底層技術(shù)一旦捅破了天花板，廣闊的應(yīng)用想象力就徹底打開了。數(shù)字人直播作為核心商業(yè)場(chǎng)景率先迎來體驗(yàn)升級(jí)：無論是 7x24 小時(shí)連軸轉(zhuǎn)的電商直播帶貨，還是需要極強(qiáng)表現(xiàn)力的電商短視頻，整體內(nèi)容形態(tài)與交互體驗(yàn)都將實(shí)現(xiàn)質(zhì)的升級(jí)。

隨著本次長時(shí)長、自由態(tài)、實(shí)時(shí)互動(dòng)技術(shù)的突破，京東數(shù)字人的第一塊試金石就是京東自己的核心業(yè)務(wù) —— 數(shù)字人直播。

從引爆全網(wǎng)的「采銷東哥」數(shù)字人，到海爾、格力等一眾總裁數(shù)字人在直播間挑起大梁，再到對(duì)微表情和肢體動(dòng)作要求極高的 Vivi 明星數(shù)字人，京東數(shù)字人早已在直播場(chǎng)景中完成了多輪實(shí)戰(zhàn)驗(yàn)證，不斷打磨高表現(xiàn)力的直播交互能力。去年更是推出了「JoyAI 零幀起手」小程序，實(shí)現(xiàn)了萬物皆可說，讓每一個(gè)普通用戶也能「玩起來」，真正把硬核的 AI 技術(shù)變成了全民皆可玩的生產(chǎn)力工具。

結(jié)合新技術(shù)，京東數(shù)字人 JoyStreamer （產(chǎn)品名稱）在行業(yè)內(nèi)率先推出「自由態(tài)數(shù)字人」，針對(duì)家電家居、時(shí)尚服飾等五大行業(yè)推出精準(zhǔn)適配的數(shù)字人，支持自然走動(dòng)、靈活擺姿，鏡頭跟隨、出畫入畫流暢，臉部遮擋也能保持高保真質(zhì)感，實(shí)現(xiàn)了更加自然靈動(dòng)的交互形態(tài)。

「自由態(tài)數(shù)字人」直播間

對(duì)于普通用戶來說，新一代數(shù)字人主播可以在直播間走動(dòng)，展示商品局部細(xì)節(jié)，甚至能進(jìn)行多主播的復(fù)雜互動(dòng)，這讓直播更加有趣了；而對(duì)于電商來說，這種視覺表現(xiàn)力上的質(zhì)變，直接拉長了用戶的停留時(shí)長。

京東打造了低門檻的數(shù)字人平臺(tái)。對(duì)于數(shù)量最多的中小商家而言，一聽到「影視級(jí)」、「高表現(xiàn)力」這樣的詞匯，第一反應(yīng)往往是用不起，這恰恰是 JoyStreamer 最大的商業(yè)殺手锏：京東的數(shù)字人直播能力目前免費(fèi)開放，商家可以在自己的后臺(tái)進(jìn)行一鍵配置，自定義模型，或是一比一還原真人主播的聲音。

基于此，JoyStreamer 推出的「數(shù)字人直播間復(fù)刻」能力，幫助商家最大化沉淀直播資產(chǎn)商家僅需上傳一段真人直播視頻素材，就可以快速生成一個(gè)形象、聲線、神態(tài)、直播間布景上都與真人主播高度一致的「數(shù)字分身」，將單次成功直播轉(zhuǎn)化為可長期復(fù)用的數(shù)字人直播資產(chǎn)。

新秀麗正是通過「直播間復(fù)刻」能力實(shí)現(xiàn)長期穩(wěn)定開播，帶來公域流量提升超 60%，直播間人均停留時(shí)長近 2 分鐘，充分驗(yàn)證了該功能的商業(yè)價(jià)值。

在京東的平臺(tái)上，數(shù)字人與真人的直播是同場(chǎng) pk 的，流量競(jìng)爭(zhēng)正在推動(dòng)數(shù)字人技術(shù)持續(xù)提升。每一次技術(shù)的升級(jí)迭代，包括數(shù)字人、語音、多模態(tài)能力，都能獲得幾萬商家的深度應(yīng)用和反饋。

目前，京東數(shù)字人 JoyStreamer 已服務(wù)超 7 萬家商家，規(guī)模行業(yè)領(lǐng)先，幾乎覆蓋京東全品類，數(shù)字人直播成為越來越多商家的標(biāo)配選擇。高表現(xiàn)力的數(shù)字人主播正從「嘗鮮工具」轉(zhuǎn)變?yōu)槔瓌?dòng) GMV 的核心增長引擎。

京東 AI 的「護(hù)城河」

環(huán)顧當(dāng)下的全球 AI 競(jìng)爭(zhēng)格局，不難發(fā)現(xiàn)：整個(gè)行業(yè)正陷入一場(chǎng)燒錢的「算力軍備競(jìng)賽」。

面對(duì)快速顯現(xiàn)的需求與前沿 AI 能力的探索，京東此刻卻顯得更加冷靜。京東相關(guān)負(fù)責(zé)人表示，大模型的發(fā)展必須從參數(shù)至上的舊范式，徹底轉(zhuǎn)向效率、成本與性能平衡的新范式。

這種克制與平衡的技術(shù)哲學(xué)，不僅體現(xiàn)在數(shù)字人身上，也貫穿于京東大模型的整體布局。以京東近期開源的通用基礎(chǔ)大模型 JoyAI-LLM Flash 為例，這款模型的總參數(shù)量為 480 億，在實(shí)際運(yùn)行中通過動(dòng)態(tài)稀疏路由技術(shù)只激活 3B 的參數(shù)，智能體任務(wù)的 token 消耗量只有競(jìng)品模型的 1/5，并獲得了很好的效果。

在龐大的 AI 應(yīng)用端，大模型的知識(shí)廣度，必須配合極低的推理成本和極快的響應(yīng)速度，才能完美契合產(chǎn)業(yè)界對(duì)于經(jīng)濟(jì)與效果的訴求。

作為一家新型實(shí)體企業(yè)，京東擁有零售、物流、健康、工業(yè)等豐富的真實(shí)業(yè)務(wù)場(chǎng)景，同時(shí)具備可觀的數(shù)字技術(shù)和能力。目前，京東的 AI 技術(shù)已經(jīng)深度融入自身的超級(jí)供應(yīng)鏈，在超過 2000 個(gè)具體的業(yè)務(wù)場(chǎng)景中落地生根。

JoyStreamer 之所以能迅速迭代出高表現(xiàn)力的數(shù)字人直播能力，正是因?yàn)槊刻煊袛?shù)以萬計(jì)的商家在直播間里提需求、做反饋。這種基于真實(shí)商業(yè)場(chǎng)景的數(shù)據(jù)飛輪，是很多技術(shù)公司難以比擬的。

最后，我們都好奇數(shù)字人的下一步是什么。京東的技術(shù)負(fù)責(zé)人表示，讓數(shù)字人直播間內(nèi)的主播學(xué)會(huì)換裝、實(shí)現(xiàn)更豐富的跨主播互動(dòng)，并最終實(shí)現(xiàn)零幻覺是他們努力的方向。目前在行業(yè)里，還沒有任何一個(gè)團(tuán)隊(duì)解決了這些問題。

在京東的直播間里，這些富有表現(xiàn)力的數(shù)字軀殼還在快速成長，屬于京東 AI 的這場(chǎng)產(chǎn)業(yè)突圍戰(zhàn)，才剛剛拉開序幕。

文中視頻鏈接：https://mp.weixin.qq.com/s/GW3HL1HqbXl0LVj8BR-vtA