機(jī)器之心發(fā)布

在 SIGGRAPH Asia 2025 期間，盛大集團(tuán)（Shanda Group）旗下，盛大 AI 東京研究院（Shanda AI Research Tokyo）以展臺(tái)活動(dòng)、BoF 學(xué)術(shù)討論與頂尖教授閉門交流等形式完成首次公開(kāi)亮相，標(biāo)志著盛大在數(shù)字人的 “交互智能(Interactive Intelligence)” 與世界模型的 “時(shí)空智能(Spatiotemporal Intelligence)” 等兩大方向的研究，正式登上國(guó)際頂級(jí)學(xué)術(shù)與產(chǎn)業(yè)舞臺(tái)。

這一全新范式是盛大集團(tuán)創(chuàng)始人陳天橋長(zhǎng)期愿景的直接體現(xiàn)。他多年來(lái)對(duì)腦科學(xué)與 AI 融合研究的戰(zhàn)略投入，以及在 TCCI 首屆 AI 驅(qū)動(dòng)科學(xué)研討會(huì)（AIAS 2025）上系統(tǒng)闡述的 “發(fā)現(xiàn)式智能”（discovery intelligence）理念，共同強(qiáng)調(diào)了智能體認(rèn)知基底的重要性。而「交互智能」的實(shí)現(xiàn)，也得益于盛大集團(tuán)旗下 EverMind 團(tuán)隊(duì)產(chǎn)品 EverMemOS 的能力互補(bǔ)，彰顯了集團(tuán)內(nèi)部強(qiáng)大的技術(shù)協(xié)同生態(tài)。然而，在將這一宏大構(gòu)想付諸現(xiàn)實(shí)的道路上，整個(gè)行業(yè)正面臨著深刻的共同挑戰(zhàn)。

圖 1 盛大集團(tuán)創(chuàng)始人陳天橋闡述 “腦科學(xué)與 AI 融合” 的戰(zhàn)略愿景，強(qiáng)調(diào)智能體認(rèn)知基底的重要性。

問(wèn)題的核心：

為何當(dāng)下的數(shù)字人交互缺乏 “靈魂”？

盡管當(dāng)前的數(shù)字人技術(shù)已經(jīng)能夠創(chuàng)造出與真人無(wú)異的視覺(jué)形象，但用戶在與之互動(dòng)時(shí)，普遍會(huì)感到一種難以言喻的 “空洞感” 或 “斷裂感”。這種交互上的 “靈魂缺失” 并非微不足道的瑕疵，而是導(dǎo)致數(shù)十億美元投資于視覺(jué)特效的數(shù)字資產(chǎn)，至今仍未能帶來(lái)真正有意義用戶粘性的根本原因。這種 “靈魂感” 的缺失，并非單一技術(shù)問(wèn)題，而是源于三個(gè)層面的系統(tǒng)性挑戰(zhàn)：

長(zhǎng)期記憶與人格一致性： 標(biāo)準(zhǔn)的通用大語(yǔ)言模型（LLM）在長(zhǎng)時(shí)間對(duì)話中，往往難以維持穩(wěn)定的人格設(shè)定，出現(xiàn)所謂的 “人格漂移”（persona drift）現(xiàn)象，導(dǎo)致敘事邏輯前后矛盾。真正的 “記憶” 不僅是對(duì)過(guò)往事件的回溯，更是維持個(gè)性、習(xí)慣和世界觀連貫性的基石。缺乏這一能力，數(shù)字人便無(wú)法形成可信賴的、持續(xù)的身份認(rèn)同。

圖 2 盛大 AI 首席科學(xué)家鄭波博士深入剖析數(shù)字人 “靈魂缺失” 的核心難題，并確立了以 “交互智能” 和 “時(shí)空智能” 為核心的研究目標(biāo)。

多模態(tài)情感表達(dá)的缺失： “靈魂感” 很大程度上源于人類豐富的非語(yǔ)言交流。然而，目前的數(shù)字人普遍存在 “僵尸臉（zombie-face）” 現(xiàn)象 —— 在傾聽(tīng)或思考時(shí)面部僵硬，缺乏自然的微表情和反應(yīng)。真正的沉浸感來(lái)自于語(yǔ)音語(yǔ)調(diào)、面部表情、眼神乃至肢體動(dòng)作的協(xié)同作用，它們共同構(gòu)成了情感表達(dá)的完整層次，而這正是當(dāng)前技術(shù)的薄弱環(huán)節(jié)。

缺乏自主進(jìn)化的能力： 大多數(shù)數(shù)字人本質(zhì)上仍是一個(gè)被動(dòng)的 “播放系統(tǒng)”，根據(jù)預(yù)設(shè)腳本或?qū)崟r(shí)指令做出反應(yīng)，而不能從交互中學(xué)習(xí)和成長(zhǎng)。它們無(wú)法自主適應(yīng)用戶偏好、修正錯(cuò)誤認(rèn)知或發(fā)展出新的行為模式。這種自我進(jìn)化的能力，是智能體從 “模仿” 走向真正 “智能” 的關(guān)鍵分水嶺。

這三大挑戰(zhàn)共同作用，導(dǎo)致了當(dāng)前數(shù)字人交互體驗(yàn)的淺層化和碎片化，使用戶難以建立真正的情感連接。如何系統(tǒng)性地攻克這些難題，不僅是技術(shù)上的挑戰(zhàn)，更需要頂層的戰(zhàn)略遠(yuǎn)見(jiàn)。

圖 3 香港大學(xué)教授、SIGGRAPH Asia 大會(huì)主席 Taku Komura (左) 與早稻田大學(xué)教授 Shigeo Morishima (右) 在盛大 AI 閉門研討會(huì)上發(fā)表致辭。

業(yè)界共鳴：

SIGGRAPH Asia 閉門研討會(huì)的深刻洞見(jiàn)

陳天橋的遠(yuǎn)見(jiàn)得到了行業(yè)的驗(yàn)證。解決上述挑戰(zhàn)的緊迫性，并非盛大 AI 的內(nèi)部洞見(jiàn)，而是一個(gè)由行業(yè)頂尖頭腦共同鑄就的明確共識(shí)。2025 年 12 月 17 日，在香港 SIGGRAPH Asia 大會(huì)期間，恰逢其 Mio 技術(shù)報(bào)告于前一日（12 月 16 日）公開(kāi)發(fā)布之際，盛大 AI 東京研究院（Shanda AI Research Tokyo）主辦了一場(chǎng)高端閉門晚宴及專題研討會(huì)。這場(chǎng)活動(dòng)匯聚了來(lái)自學(xué)術(shù)界和產(chǎn)業(yè)界的頂尖專家，旨在通過(guò)思想的深度碰撞，共同擘畫數(shù)字人技術(shù)的未來(lái)藍(lán)圖，并即時(shí)探討 Mio 報(bào)告所帶來(lái)的突破性啟示。

與會(huì)的專家學(xué)者陣容強(qiáng)大，包括：

• Prof. Taku Komura (香港大學(xué)，Siggraph Asia 大會(huì) General Chair)
• Prof. Shigeo Morishima (早稻田大學(xué)，日本數(shù)字人協(xié)會(huì)主席，真人自動(dòng)化復(fù)刻到電影的第一人)
• Prof. Erwin Wu (東京科學(xué)大學(xué))
• Prof. Xiangyu Yue (香港中文大學(xué))
• Prof. Anyi Rao (香港科技大學(xué))
• Prof. Yuan Liu (香港科技大學(xué))
• Prof. Xiaoguang Han (香港中文大學(xué))

圖 4 來(lái)自港大、港中大、港科大及東京科學(xué)大學(xué)的頂尖學(xué)者在 Panel 環(huán)節(jié)深度探討 “交互智能” 的未來(lái)。

在這場(chǎng)高水平的對(duì)話中，專家們達(dá)成了一個(gè)清晰的共識(shí)：當(dāng)前數(shù)字人發(fā)展的瓶頸已從視覺(jué)表現(xiàn)力轉(zhuǎn)向了認(rèn)知和交互邏輯。他們一致認(rèn)為，未來(lái)數(shù)字人的核心競(jìng)爭(zhēng)力將體現(xiàn)在其「交互智能」上，即必須具備長(zhǎng)期記憶、多模態(tài)情感表達(dá)自主演進(jìn)這三大關(guān)鍵能力。這三大支柱，由業(yè)界最敏銳的頭腦共同確立，正是 Mio 的核心模塊 —— 認(rèn)知核心、多模態(tài)動(dòng)畫師及自主演進(jìn)框架 —— 被系統(tǒng)性地設(shè)計(jì)出來(lái)旨在解決的精確挑戰(zhàn)。

正是基于這樣的行業(yè)共識(shí)與自身長(zhǎng)期的技術(shù)探索，盛大 AI 東京研究院系統(tǒng)性地推出了自己的解決方案。

Mio 的誕生：

盛大 AI 對(duì)「交互智能」的系統(tǒng)性解答

為了迎接這一行業(yè)共同的挑戰(zhàn)，盛大 AI 東京研究院正式推出了Mio（Multimodal Interactive Omni-Avatar）—— 一個(gè)旨在實(shí)現(xiàn)「交互智能」（Interactive Intelligence）的端到端系統(tǒng)性框架。Mio 的誕生標(biāo)志著一個(gè)分水嶺時(shí)刻，其設(shè)計(jì)理念是將數(shù)字人從一個(gè)被動(dòng)執(zhí)行指令的 “木偶”，轉(zhuǎn)變?yōu)橐粋€(gè)能夠自主思考、感知并與世界互動(dòng)的智能伙伴。

圖 5 Mio 系統(tǒng)的端到端交互閉環(huán)演示 —— 從感知用戶情緒（User Input）到 Thinker 進(jìn)行認(rèn)知推理，再通過(guò)多模態(tài)模塊（Face/Body/Speech）生成撫慰性的反饋動(dòng)作。

該框架由五個(gè)高度協(xié)同的核心模塊構(gòu)成：

認(rèn)知核心 (Thinker): 為克服標(biāo)準(zhǔn) LLM 固有的 “失憶癥” 和人格漂移問(wèn)題，Mio 的 “大腦”——Thinker 模塊 —— 采用了一種革命性的 “介于敘事時(shí)間的知識(shí)圖譜”（Diegetic Knowledge Graph）。該架構(gòu)為每條信息標(biāo)記了 “故事時(shí)間”，確保數(shù)字人絕不會(huì) “劇透”。在 CharacterBox 基準(zhǔn)測(cè)試中，其人格保真度超越了 GPT-4o，并在防止劇透測(cè)試中取得了近乎完美（超過(guò) 90%）的成績(jī)。同時(shí)，其 “無(wú)數(shù)據(jù)自訓(xùn)練” 機(jī)制賦予了數(shù)字人通過(guò)自我博弈不斷進(jìn)化的能力。

語(yǔ)音引擎 (Talker): 該模塊利用高效的離散化語(yǔ)音表征技術(shù)，能夠生成與當(dāng)前情境、情緒和人格設(shè)定高度匹配的自然語(yǔ)音。它不僅保證了對(duì)話的流暢性，更是數(shù)字人情感表達(dá)的關(guān)鍵一環(huán)。

面部動(dòng)畫師 (Facial Animator): 為徹底消除破壞沉浸感的 “僵尸臉” 現(xiàn)象，該模塊采用了一個(gè)統(tǒng)一的 “聽(tīng) - 說(shuō)” 框架。無(wú)論是在說(shuō)話還是傾聽(tīng)，它都能生成生動(dòng)、自然的微表情、眼神和頭部姿態(tài)。在用戶研究中，超過(guò) 90% 的參與者認(rèn)為其傾聽(tīng)反應(yīng)優(yōu)于業(yè)界領(lǐng)先的競(jìng)品。

身體動(dòng)畫師 (Body Animator): 為擺脫笨拙的預(yù)設(shè)動(dòng)作，身體動(dòng)畫師采用新穎的流式擴(kuò)散模型（Streaming Diffusion），實(shí)時(shí)地將認(rèn)知意圖轉(zhuǎn)化為流暢、連貫的全身動(dòng)作。這項(xiàng)技術(shù)實(shí)現(xiàn)了前所未有的突破：在保持實(shí)時(shí)性的同時(shí)，其運(yùn)動(dòng)質(zhì)量（FID 為 0.057）達(dá)到了與頂尖離線模型相媲美的水平。

渲染引擎 (Renderer): 作為最終的視覺(jué)呈現(xiàn)層，渲染引擎確保在任何動(dòng)態(tài)和視角變化下，都能生成高保真且身份高度一致的視覺(jué)形象，將 “靈魂” 的內(nèi)在活動(dòng)忠實(shí)地外化為可信的視覺(jué)表現(xiàn)。

Mio 框架通過(guò)將這五個(gè)模塊無(wú)縫融合，實(shí)現(xiàn)了從認(rèn)知推理到實(shí)時(shí)多模態(tài)體現(xiàn)（embodiment）的完整閉環(huán)，這不只是一次技術(shù)的迭代，而是一種全新的架構(gòu)哲學(xué)，標(biāo)志著數(shù)字人技術(shù)從 “形似” 向 “神似” 的決定性跨越。

未來(lái)展望與行動(dòng)號(hào)召

Mio 的誕生，標(biāo)志著數(shù)字人發(fā)展的一次范式轉(zhuǎn)移 —— 行業(yè)的關(guān)注焦點(diǎn)正從靜態(tài)的、孤立的外觀逼真度，轉(zhuǎn)向動(dòng)態(tài)的、有意義的交互智能。這并非一個(gè)概念上的飛躍，而是可以被量化的巨大進(jìn)步。在嚴(yán)謹(jǐn)?shù)臏y(cè)試中，Mio 的整體交互智能分?jǐn)?shù)（IIS）達(dá)到了 76.0，較之前的最優(yōu)技術(shù)水平提升了整整 8.4 分，為行業(yè)樹(shù)立了新的性能標(biāo)桿。

圖 6 Mio (紅色) 在認(rèn)知共鳴、面部同步、肢體流暢度等各項(xiàng)指標(biāo)上全面超越現(xiàn)有最優(yōu)技術(shù) (藍(lán)色)，IIS 總分達(dá)到 76.0。

可以預(yù)見(jiàn)，「交互智能」將為虛擬陪伴、互動(dòng)敘事、沉浸式游戲等領(lǐng)域帶來(lái)革命性的變革。未來(lái)的數(shù)字人將不再是冰冷的程序，而是能夠與我們建立深層情感連接、共同成長(zhǎng)的智能伙伴。被動(dòng)、無(wú)聲的虛擬形象時(shí)代已經(jīng)結(jié)束。我們誠(chéng)邀全球的研究者、開(kāi)發(fā)者與創(chuàng)造者社區(qū)，與我們一道構(gòu)建下一代擁有智能與靈魂的數(shù)字生命?，F(xiàn)在，工具已在你們手中。

圖 7 盛大 AI 東京研究院團(tuán)隊(duì)與全球頂尖學(xué)者在香港齊聚一堂，共同致力于構(gòu)建下一代有靈魂的數(shù)字生命。

為了推動(dòng)這一領(lǐng)域的共同進(jìn)步，盛大 AI 東京研究院已將 Mio 項(xiàng)目的完整技術(shù)報(bào)告、預(yù)訓(xùn)練模型和評(píng)估基準(zhǔn)公開(kāi)發(fā)布。

• 項(xiàng)目地址: https://shandaai.github.io/project_mio_page/