本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第4期

專家點(diǎn)評(píng)

在現(xiàn)代科技浪潮的有力推動(dòng)下，計(jì)算機(jī)圖形學(xué)（CG）作為計(jì)算機(jī)科學(xué)的前沿領(lǐng)域，近年來(lái)發(fā)展迅猛，已成為人工智能（AI）技術(shù)體系中的關(guān)鍵基石。計(jì)算機(jī)圖形學(xué)聚焦對(duì)世界的仿真模擬，而人工智能側(cè)重于對(duì)世界的感知理解，二者深度融合催生出的生成式人工智能（GAI），不僅為真實(shí)世界模擬、世界模型構(gòu)建及具身智能發(fā)展奠定基礎(chǔ)，也為影視創(chuàng)作生產(chǎn)帶來(lái)了革命性突破。在影視創(chuàng)作生產(chǎn)領(lǐng)域，AIGC憑借 “視覺(jué)思維”、模擬仿真和可視化能力，重塑了從劇本到成片的全流程，基于AIGC的虛擬數(shù)字人技術(shù)的發(fā)展應(yīng)用便是其中之一。人體運(yùn)動(dòng)的仿真模擬是虛擬數(shù)字人仿真的關(guān)鍵要素，包括3D人體重建、骨骼運(yùn)動(dòng)遷移、動(dòng)作風(fēng)格遷移等?！痘?AIGC 的數(shù)字人驅(qū)動(dòng)技術(shù)在電影制作中的應(yīng)用研究》一文系統(tǒng)剖析了該技術(shù)在電影制作中的應(yīng)用，從技術(shù)演進(jìn)路徑、現(xiàn)存關(guān)鍵瓶頸、系統(tǒng)研發(fā)實(shí)踐到未來(lái)發(fā)展趨勢(shì)，進(jìn)行了全面系統(tǒng)且具前瞻性的探討，提出了面向電影制作的數(shù)字人驅(qū)動(dòng)生成系統(tǒng)，為電影行業(yè)創(chuàng)新與技術(shù)研究提供了重要參考。展望未來(lái)，計(jì)算機(jī)圖形學(xué)與影視內(nèi)容創(chuàng)作領(lǐng)域亟待深化協(xié)同創(chuàng)新，以創(chuàng)作生產(chǎn)實(shí)踐需求為導(dǎo)向，加速技術(shù)迭代升級(jí)，為影視行業(yè)注入更多創(chuàng)新活力，開(kāi)創(chuàng)影視數(shù)字內(nèi)容創(chuàng)作的新篇章。

——陳寶權(quán)

北京大學(xué)博雅特聘教授、智能學(xué)院副院長(zhǎng)

IEEE Fellow

長(zhǎng)江學(xué)者特聘教授

作 者 簡(jiǎn) 介

李夢(mèng)甜

上海大學(xué)上海電影學(xué)院、上海電影特效工程技術(shù)研究中心講師，主要研究方向：面向影視、游戲與藝術(shù)領(lǐng)域的數(shù)字內(nèi)容理解與生成 。

上海大學(xué)上海電影學(xué)院碩士研究生在讀，主要研究方向：多模態(tài)模型、數(shù)字人運(yùn)動(dòng)生成。

翟承碩

摘要

隨著人工智能生成內(nèi)容（AIGC）技術(shù)的快速發(fā)展，生成式數(shù)字人驅(qū)動(dòng)技術(shù)正受到越來(lái)越多的關(guān)注，并有望在未來(lái)電影制作中發(fā)揮關(guān)鍵作用。本文系統(tǒng)梳理了生成式數(shù)字人驅(qū)動(dòng)技術(shù)的研究現(xiàn)狀，針對(duì)目前該技術(shù)在電影制作領(lǐng)域存在的訓(xùn)練數(shù)據(jù)匱乏、生成時(shí)長(zhǎng)受限等問(wèn)題，創(chuàng)新性地提出了面向電影制作的數(shù)字人驅(qū)動(dòng)生成系統(tǒng)。該系統(tǒng)基于擴(kuò)散模型，不僅能根據(jù)文本生成高質(zhì)量的數(shù)字人運(yùn)動(dòng)，同時(shí)還提供了預(yù)定義的動(dòng)作模板，為電影制作流程中的數(shù)字人驅(qū)動(dòng)環(huán)節(jié)提供可靠的技術(shù)支持。最后，本文分析和展望了AIGC技術(shù)在電影制作領(lǐng)域的發(fā)展趨勢(shì)，指出其將在高效化劇本創(chuàng)作、個(gè)性化角色塑造、智能化場(chǎng)景交互等環(huán)節(jié)發(fā)揮作用，從而提高電影制作的整體效率。

關(guān)鍵詞

人工智能生成內(nèi)容（AIGC）；電影制作；數(shù)字人驅(qū)動(dòng)生成；擴(kuò)散模型；多模態(tài)數(shù)據(jù)融合

1引言

數(shù)字人的驅(qū)動(dòng)主要關(guān)注于如何通過(guò)技術(shù)手段生成或控制虛擬數(shù)字人的行為、動(dòng)作和表情等，以實(shí)現(xiàn)自然、逼真和強(qiáng)交互性的數(shù)字人表現(xiàn)。其為數(shù)字世界搭建了從靜態(tài)向動(dòng)態(tài)跨越的階梯[1]，是電影制作中非常重要的技術(shù)手段。當(dāng)前，中國(guó)電影工業(yè)正經(jīng)歷以人工智能生成內(nèi)容（AIGC）為核心的科技變革[2]。在此背景下，基于AI的生成式數(shù)字人驅(qū)動(dòng)技術(shù)逐漸成為電影制作領(lǐng)域的關(guān)鍵創(chuàng)新點(diǎn)。該技術(shù)不僅能顯著提升電影制作效率，降低傳統(tǒng)制作過(guò)程中的人力與時(shí)間成本，還能為創(chuàng)作者提供更加靈活、高效的創(chuàng)作工具，推動(dòng)電影產(chǎn)業(yè)在虛擬與現(xiàn)實(shí)融合方向的持續(xù)創(chuàng)新。鑒于此，本文將深入探討基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)發(fā)展?fàn)顩r，創(chuàng)新地提出基于擴(kuò)散模型的數(shù)字人驅(qū)動(dòng)生成系統(tǒng)，并分析其在電影制作中的實(shí)際應(yīng)用價(jià)值。本文還將展望AIGC技術(shù)在電影制作領(lǐng)域的未來(lái)發(fā)展趨勢(shì)，為行業(yè)的持續(xù)進(jìn)步提供參考。

2基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)發(fā)展?fàn)顩r

在電影制作的早期階段，數(shù)字人的驅(qū)動(dòng)主要依靠手動(dòng)設(shè)計(jì)關(guān)鍵幀動(dòng)畫(huà)或借助動(dòng)作捕捉技術(shù)來(lái)實(shí)現(xiàn)角色的逼真運(yùn)動(dòng)。盡管這些方法在某些場(chǎng)景中表現(xiàn)出色，但其高度依賴人工調(diào)控且制作耗時(shí)。調(diào)整關(guān)鍵幀需設(shè)計(jì)師逐幀調(diào)整角色的姿態(tài)和運(yùn)動(dòng)軌跡，耗時(shí)耗力且對(duì)技術(shù)要求極高。動(dòng)作捕捉則依賴于專業(yè)的設(shè)備和高成本的拍攝環(huán)境。這些因素極大限制了在電影制作中驅(qū)動(dòng)數(shù)字人運(yùn)動(dòng)技術(shù)的普及應(yīng)用和創(chuàng)作自由度。

隨著生成式對(duì)抗網(wǎng)絡(luò)（GAN）、變分自編碼器（VAE）和去噪擴(kuò)散概率模型（DDPM）等深度生成模型的引入，數(shù)字人驅(qū)動(dòng)技術(shù)迎來(lái)了新的突破。僅需輸入簡(jiǎn)單的控制條件（如文本），模型就能自動(dòng)生成逼真的人體骨骼運(yùn)動(dòng)序列，進(jìn)而綁定人物模型并驅(qū)動(dòng)其運(yùn)動(dòng)。這種生成方式不僅突破了傳統(tǒng)技術(shù)對(duì)專業(yè)設(shè)備和人工經(jīng)驗(yàn)的依賴，而且大幅度提升制作效率，為電影制作提供了全新的技術(shù)支持（圖1）。這一技術(shù)革新加速了數(shù)字內(nèi)容生產(chǎn)流程，推動(dòng)電影工業(yè)向智能化、高效化方向快速發(fā)展。

圖1　數(shù)字人驅(qū)動(dòng)方式及流程

2.1 基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)研究現(xiàn)狀

當(dāng)前，基于生成模型的數(shù)字人驅(qū)動(dòng)技術(shù)能通過(guò)文本、音頻或場(chǎng)景等多模態(tài)輸入，直接生成逼真的人體動(dòng)作序列。技術(shù)依托于人體運(yùn)動(dòng)數(shù)據(jù)訓(xùn)練的深度生成模型，可實(shí)現(xiàn)數(shù)字人驅(qū)動(dòng)的快速生成。例如，導(dǎo)演或編劇僅需輸入自然語(yǔ)言描述，如“角色向前跳了兩下”，該技術(shù)便可自動(dòng)生成與描述一致的動(dòng)作，從而顯著加速角色動(dòng)畫(huà)的設(shè)計(jì)流程，不僅提升了電影制作的效率，還推動(dòng)了傳統(tǒng)制作模式的變革。近年來(lái)，基于生成式AI的數(shù)字人驅(qū)動(dòng)技術(shù)發(fā)展迅猛，相關(guān)研究成果在計(jì)算機(jī)視覺(jué)領(lǐng)域的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議〔如IEEE國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議（CVPR）和國(guó)際計(jì)算機(jī)圖形與交互技術(shù)會(huì)議（SIGGRAPH）〕中得到了廣泛關(guān)注。本節(jié)系統(tǒng)綜述了當(dāng)前基于生成式AI的數(shù)字人驅(qū)動(dòng)技術(shù)的研究進(jìn)展，從控制信號(hào)維度出發(fā)，圍繞文本驅(qū)動(dòng)、音頻驅(qū)動(dòng)、場(chǎng)景驅(qū)動(dòng)等多模態(tài)控制方式展開(kāi)分析。表1列舉了當(dāng)前主流的數(shù)字人驅(qū)動(dòng)技術(shù)的代表性工作。相關(guān)研究方法在動(dòng)作生成質(zhì)量、時(shí)序連貫性和動(dòng)作多樣性等方面不斷取得進(jìn)展，技術(shù)框架逐漸成熟。但由于訓(xùn)練數(shù)據(jù)質(zhì)量的限制，現(xiàn)有方法生成的動(dòng)作仍難以達(dá)到電影制作要求，尤其在動(dòng)作真實(shí)性和長(zhǎng)序列穩(wěn)定性等關(guān)鍵指標(biāo)上仍需提升。

表1　基于AIGC 的數(shù)字人驅(qū)動(dòng)技術(shù)代表工作

2.1.1 以文本為控制條件的數(shù)字人驅(qū)動(dòng)

2019年，Ahuja等[18]開(kāi)創(chuàng)性地提出一種名為Joint Language to Pose（JL2P）的新型文本驅(qū)動(dòng)人體動(dòng)作生成模型。該模型通過(guò)動(dòng)態(tài)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了文本與姿態(tài)的聯(lián)合嵌入，成功構(gòu)建了從文本到人體運(yùn)動(dòng)生成的初步框架。這一研究不僅為后續(xù)的文本驅(qū)動(dòng)數(shù)字人運(yùn)動(dòng)奠定了基礎(chǔ)，還標(biāo)志著自然語(yǔ)言與人體動(dòng)作生成領(lǐng)域的深度融合。

近年來(lái)，文本驅(qū)動(dòng)數(shù)字人運(yùn)動(dòng)生成的方法不斷涌現(xiàn)，取得了顯著進(jìn)展。例如，MoMask模型通過(guò)分層量化和掩碼建模技術(shù)，能根據(jù)文本描述生成高質(zhì)量3D人體動(dòng)作。MotionFix方法則通過(guò)條件擴(kuò)散模型實(shí)現(xiàn)了文本驅(qū)動(dòng)的動(dòng)作編輯，支持對(duì)動(dòng)作細(xì)節(jié)的精準(zhǔn)調(diào)整。

2.1.2 以音頻為控制條件的數(shù)字人驅(qū)動(dòng)

除文本描述外，研究者還探索了通過(guò)音頻信號(hào)生成人體動(dòng)作的方法。與文本不同，音頻信號(hào)通常不會(huì)明確描述相應(yīng)的人體動(dòng)作，這為生成任務(wù)提供了更高的自由度。同時(shí)，還要求生成的人體動(dòng)作應(yīng)在自然語(yǔ)義和音頻節(jié)奏方面保持協(xié)調(diào)。2019年，Lee等[19]首次引入從音樂(lè)到舞蹈的跨模態(tài)生成任務(wù)，提出一種基于合成與分析的學(xué)習(xí)框架，將舞蹈分解為一系列基本的舞蹈單元。該模型通過(guò)這些單元學(xué)習(xí)如何移動(dòng)，這一研究展示了音頻信號(hào)在驅(qū)動(dòng)人體動(dòng)作生成中的潛力。

Zhang等[20]提出一種基于Conformer的自回歸生成框架，通過(guò)音樂(lè)和舞蹈特征的跨模態(tài)建模，生成與音樂(lè)節(jié)奏同步的連貫舞蹈動(dòng)作序列。此外，Li等[21]提出的Bailando框架引入編舞記憶和基于演員-評(píng)論員（Actor?Critic）的強(qiáng)化學(xué)習(xí)機(jī)制，生成的舞蹈動(dòng)作不僅遵循編舞規(guī)范，還通過(guò)節(jié)拍對(duì)齊獎(jiǎng)勵(lì)函數(shù)實(shí)現(xiàn)了與音樂(lè)節(jié)奏的同步。Sun等[22]利用VQ?VAE學(xué)習(xí)低維流形的表示方法，并開(kāi)發(fā)了過(guò)去-未來(lái)運(yùn)動(dòng)動(dòng)態(tài)庫(kù)，為未來(lái)動(dòng)作提供明確的先驗(yàn)信息，保證了生成動(dòng)作的連續(xù)性。Aristidou等[23]從姿態(tài)、動(dòng)機(jī)和編舞三個(gè)層面入手，生成保持特定流派的有全局結(jié)構(gòu)性的長(zhǎng)時(shí)舞蹈。Tseng等[14]提出的Editable Dance GEneration（EDGE）方法，能創(chuàng)建真實(shí)且符合物理規(guī)律的舞蹈，并允許用戶自由指定生成時(shí)間。Liu等[15]提出的EMAGE框架則進(jìn)一步拓展了音頻驅(qū)動(dòng)動(dòng)作生成的應(yīng)用范圍，能從音頻生成全身動(dòng)作，包括面部表情、身體局部動(dòng)作、手部動(dòng)作及整體的全身運(yùn)動(dòng)。這些方法提升了音頻驅(qū)動(dòng)人體動(dòng)作生成的質(zhì)量和多樣性，為未來(lái)電影制作中數(shù)字人運(yùn)動(dòng)的驅(qū)動(dòng)提供了技術(shù)支撐。

2.1.3 以場(chǎng)景為控制條件的數(shù)字人驅(qū)動(dòng)

數(shù)字人的運(yùn)動(dòng)應(yīng)具有目標(biāo)導(dǎo)向性，以場(chǎng)景為控制條件的數(shù)字人驅(qū)動(dòng)任務(wù)，旨在生成與場(chǎng)景一致且合理的人體運(yùn)動(dòng)。在實(shí)際情況中，被控制的個(gè)體在受到物理環(huán)境限制時(shí)，如何移動(dòng)身體與環(huán)境進(jìn)行合理交互，是數(shù)字人驅(qū)動(dòng)任務(wù)中需要解決的關(guān)鍵問(wèn)題。

Wang等[16]提出一種兩階段框架，用于根據(jù)場(chǎng)景語(yǔ)義和文本描述生成符合物理規(guī)律的人體運(yùn)動(dòng)。該框架以場(chǎng)景可供性（Scene Affordance）圖作為中間表示，第一階段基于3D場(chǎng)景和文本描述生成明確的場(chǎng)景可供性圖，第二階段則在第一階段基礎(chǔ)上結(jié)合該圖和文本描述生成與之匹配的人體動(dòng)作。該方法能同時(shí)滿足以場(chǎng)景和文本為控制條件的動(dòng)作生成需求，實(shí)現(xiàn)了兩者在動(dòng)作生成中的結(jié)合。Jiang等[17]提出一種基于自回歸擴(kuò)散模型的動(dòng)作生成框架，通過(guò)編碼場(chǎng)景的幾何信息實(shí)現(xiàn)長(zhǎng)時(shí)間、符合物理約束的人-場(chǎng)景交互（HSI）的動(dòng)作生成。該方法提出的TRUMANS數(shù)據(jù)集和場(chǎng)景感知技術(shù)，能根據(jù)任意場(chǎng)景生成多樣化且真實(shí)感強(qiáng)的長(zhǎng)時(shí)動(dòng)作，有效避免了穿模和失真問(wèn)題的出現(xiàn)。Li等[24]提出名為ZeroHSI的零樣本方法，用于生成4D的人-場(chǎng)景交互。該方法無(wú)需借助配對(duì)的運(yùn)動(dòng)-場(chǎng)景訓(xùn)練數(shù)據(jù)，能直接利用視頻生成模型和神經(jīng)渲染技術(shù)，實(shí)現(xiàn)在多種環(huán)境中生成與上下文高度相關(guān)的人-場(chǎng)景交互運(yùn)動(dòng)。

2.1.4 其他控制條件驅(qū)動(dòng)的方法

隨著技術(shù)的不斷進(jìn)步，研究者們逐漸認(rèn)識(shí)到，單一的驅(qū)動(dòng)條件或僅生成單一人體動(dòng)作的任務(wù)，已難以滿足復(fù)雜多變的電影制作需求。因此，近年來(lái)，研究者們聚焦于生成多樣化的人體運(yùn)動(dòng)，為電影制作提供更加簡(jiǎn)單高效的工具。

Xu等[25]提出一種用于合成人體“動(dòng)作-反應(yīng)”序列的新方法，能夠根據(jù)給定的人體動(dòng)作生成合理且自然的人體反應(yīng)動(dòng)作。通過(guò)標(biāo)注多個(gè)數(shù)據(jù)集，該方法明確了交互中的“主動(dòng)者”和“反應(yīng)者”角色，并借助基于擴(kuò)散模型和Transformer解碼器的生成框架，實(shí)現(xiàn)了在不同視角和未見(jiàn)過(guò)的動(dòng)作序列下，高效生成逼真且自然的雙人交互場(chǎng)景，滿足在電影制作過(guò)程中對(duì)對(duì)話、沖突、協(xié)作等復(fù)雜情境的需求。Zhang等[26]的LMM模型支持文本、音樂(lè)、語(yǔ)音等多模態(tài)輸入，實(shí)現(xiàn)“文字指揮手臂動(dòng)作+音樂(lè)控制舞步節(jié)奏”的協(xié)同生成，為導(dǎo)演提供了從劇本臺(tái)詞到舞蹈編排的端到端創(chuàng)作工具。Ji等[27]提出一種基于文本引導(dǎo)的群體動(dòng)作合成方法，能夠根據(jù)自然語(yǔ)言描述生成多樣化且自然的群體運(yùn)動(dòng)序列。該方法通過(guò)結(jié)合文本特征和群體運(yùn)動(dòng)模型，實(shí)現(xiàn)了對(duì)大規(guī)模群體行為的精準(zhǔn)控制和個(gè)性化定制，不僅支持對(duì)群體動(dòng)作的整體生成，還能針對(duì)個(gè)體行為進(jìn)行動(dòng)作微調(diào)。這一技術(shù)的引入將極大減輕手動(dòng)設(shè)計(jì)復(fù)雜人群行為的負(fù)擔(dān)，使大規(guī)模動(dòng)態(tài)人群場(chǎng)景的高效生成成為可能。特別是在戰(zhàn)爭(zhēng)場(chǎng)面、城市生活風(fēng)貌或自然災(zāi)難等包含大量角色交互的復(fù)雜場(chǎng)景中，該方法的應(yīng)用將顯著提升畫(huà)面的真實(shí)感與制作效率，為虛擬環(huán)境的創(chuàng)作生產(chǎn)開(kāi)辟了更加靈活多變、充滿創(chuàng)新潛力的新天地。

2.2 基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)在電影制作中的應(yīng)用

近年來(lái)，AIGC技術(shù)在電影制作中的應(yīng)用逐漸深入，顯著提升了制作效率和創(chuàng)意效果。例如，《哪吒之魔童鬧?！穂28]借助AIGC技術(shù)優(yōu)化特效制作流程，降低了電影制作成本并提升了視覺(jué)效果。電影《我們的終結(jié)者2重制版》（

Our T2 Remake

在2025年央視春晚舞臺(tái)上，由張藝謀執(zhí)導(dǎo)的《秧BOT》[29]節(jié)目展示了生成式數(shù)字人驅(qū)動(dòng)技術(shù)的前沿應(yīng)用。在該節(jié)目中，宇樹(shù)科技的16臺(tái)H1機(jī)器人通過(guò)視頻驅(qū)動(dòng)的數(shù)字人運(yùn)動(dòng)生成技術(shù)，完成了與16位新疆藝術(shù)學(xué)院舞蹈演員的動(dòng)作協(xié)同表演。這一創(chuàng)新應(yīng)用不僅改變了傳統(tǒng)藝術(shù)表現(xiàn)形式，也為電影制作開(kāi)辟了全新的創(chuàng)作路徑。由此可見(jiàn)，生成式數(shù)字人驅(qū)動(dòng)技術(shù)未來(lái)將在電影特效、虛擬角色創(chuàng)作等領(lǐng)域發(fā)揮更為重要的作用。

2.3 基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)目前存在的挑戰(zhàn)與瓶頸

基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)在電影制作領(lǐng)域應(yīng)用前景雖然廣闊，但當(dāng)前仍面臨諸多復(fù)雜的技術(shù)挑戰(zhàn)。其中，數(shù)據(jù)資源的匱乏及生成動(dòng)作的真實(shí)性和多樣性不足是尤為突出的問(wèn)題。

數(shù)據(jù)資源的稀缺性是制約數(shù)字人驅(qū)動(dòng)技術(shù)廣泛應(yīng)用的關(guān)鍵瓶頸之一。高質(zhì)量的動(dòng)作捕捉數(shù)據(jù)和角色設(shè)定信息往往難以獲取，導(dǎo)致算法在訓(xùn)練和優(yōu)化過(guò)程中缺乏足夠的支持。此外，數(shù)據(jù)不足直接影響了算法對(duì)角色真實(shí)情感和細(xì)膩動(dòng)作的捕捉能力，影響了電影制作效果，削弱了電影表現(xiàn)力。

動(dòng)作生成的真實(shí)性與多樣性不足也是當(dāng)前數(shù)字人驅(qū)動(dòng)技術(shù)面臨的核心挑戰(zhàn)之一。盡管現(xiàn)有算法能夠生成基本的動(dòng)作序列，但在面對(duì)復(fù)雜多變的場(chǎng)景或細(xì)致入微的角色設(shè)定時(shí)，生成的動(dòng)作往往顯得機(jī)械、單調(diào)、缺乏靈活性。這種局限不僅影響了影片的真實(shí)感和觀眾的沉浸體驗(yàn)，也對(duì)電影制作的整體質(zhì)量和效率提出了更高要求。

為突破這些瓶頸，未來(lái)數(shù)字人驅(qū)動(dòng)技術(shù)的發(fā)展可從以下幾方面入手：一是構(gòu)建大規(guī)模、多樣化的多模態(tài)數(shù)據(jù)集，特別是涵蓋復(fù)雜動(dòng)作和微表情的數(shù)據(jù)；二是通過(guò)更先進(jìn)的生成模型和物理約束機(jī)制，提升生成動(dòng)作的真實(shí)性與多樣性。這些方向的探索將有助于推動(dòng)數(shù)字人驅(qū)動(dòng)技術(shù)在電影制作中的深入應(yīng)用，為其開(kāi)拓更加廣闊的發(fā)展空間。

3面向電影制作的數(shù)字人驅(qū)動(dòng)生成系統(tǒng)研發(fā)

本次研發(fā)以系統(tǒng)的實(shí)用性為核心出發(fā)點(diǎn)，考慮用戶操作的便捷性，圍繞“生成快速、操作簡(jiǎn)便、檢索高效”等目標(biāo)進(jìn)行系統(tǒng)設(shè)計(jì)。通過(guò)引入最新的生成算法，系統(tǒng)不僅提升了生成式數(shù)字人驅(qū)動(dòng)技術(shù)的精度與效率，同時(shí)簡(jiǎn)化了傳統(tǒng)電影制作中數(shù)字人驅(qū)動(dòng)操作流程，為電影制作中數(shù)字人驅(qū)動(dòng)工作提供便利。

3.1 系統(tǒng)設(shè)計(jì)：生成快速、操作便捷的數(shù)字人驅(qū)動(dòng)系統(tǒng)

該系統(tǒng)采用對(duì)用戶友好的簡(jiǎn)單設(shè)計(jì)理念，通過(guò)直觀的操作界面實(shí)現(xiàn)高效生成。系統(tǒng)包括運(yùn)動(dòng)生成和運(yùn)動(dòng)檢索兩部分。在生成過(guò)程中，通過(guò)用戶輸入的文本描述，系統(tǒng)即可基于以文本為控制條件的數(shù)字人驅(qū)動(dòng)生成算法，生成與文本描述精準(zhǔn)匹配的人體動(dòng)作序列。同時(shí)，系統(tǒng)還配備了一個(gè)龐大的動(dòng)作庫(kù)，支持用戶輕松檢索所需動(dòng)作，從而簡(jiǎn)化數(shù)字人驅(qū)動(dòng)流程（圖2）。

圖2　數(shù)字人驅(qū)動(dòng)系統(tǒng)流程圖

3.1.1 數(shù)字人運(yùn)動(dòng)生成

在所有條件模態(tài)中，基于文本的人體動(dòng)作生成一直在推動(dòng)和主導(dǎo)研究前沿，這主要得益于語(yǔ)言描述為人們與計(jì)算機(jī)提供了方便自然的交互方式。文本輸入不僅允許用戶通過(guò)簡(jiǎn)單的文本描述生成目標(biāo)動(dòng)作，更降低了使用門(mén)檻，使非專業(yè)用戶也能快速上手操作?；诖耍鞠到y(tǒng)選擇文本作為控制條件，通過(guò)整合先進(jìn)的自然語(yǔ)言處理（NLP）技術(shù)和動(dòng)作生成算法，構(gòu)建了文本-動(dòng)作生成框架，確保了從文本到動(dòng)作轉(zhuǎn)換的準(zhǔn)確性和自然度。

（1）基于擴(kuò)散模型的生成算法

在動(dòng)作生成階段，系統(tǒng)首先通過(guò)CLIP文本編碼器對(duì)用戶輸入的文本描述進(jìn)行文本編碼，將編碼的文本特征向量輸入到潛在空間中擴(kuò)散模型的反向過(guò)程。模型基于式（2）的噪聲預(yù)測(cè)機(jī)制，通過(guò)多步迭代的反向擴(kuò)散逐步去除初始隨機(jī)噪聲中的冗余信息，最終輸出結(jié)構(gòu)完整且與文本語(yǔ)義高度契合的人體運(yùn)動(dòng)序列。

（2）實(shí)驗(yàn)與結(jié)果

為驗(yàn)證生成效果，本文采用以下兩種指標(biāo)進(jìn)行評(píng)估：（a）弗雷歇感知距離（Fréchet Inception Distance, FID），測(cè)量生成動(dòng)作與真實(shí)動(dòng)作的高級(jí)特征分布差異，來(lái)評(píng)估動(dòng)作的整體質(zhì)量，F(xiàn)ID值越低，表明生成動(dòng)作越接近真實(shí)動(dòng)作；（b） R?Precision用于衡量輸入文本與生成動(dòng)作間的語(yǔ)義一致性，值越高，表明生成的動(dòng)作越符合輸入的文本描述。通過(guò)這兩種指標(biāo)，可全面評(píng)估生成動(dòng)作的質(zhì)量及與文本的匹配程度。測(cè)試用的數(shù)據(jù)集為HumanML3D?Extend，是目前包含最多文本描述、運(yùn)動(dòng)序列最長(zhǎng)的文本-動(dòng)作數(shù)據(jù)集。本文與目前效果最好的方法MotionDiffuse和MoMask進(jìn)行比較，實(shí)驗(yàn)結(jié)果（表2）表明，本文方法生成動(dòng)作的FID值達(dá)到了最低的2.28，動(dòng)作質(zhì)量最佳。在R?Precision指標(biāo)上，本文方法僅比MotionDiffuse的結(jié)果低0.02。值得注意的是，MotionDiffuse在測(cè)試過(guò)程中消耗了大量時(shí)間，測(cè)試1000條數(shù)據(jù)耗時(shí)71小時(shí)，而本文方法測(cè)試5000條數(shù)據(jù)僅耗時(shí)24小時(shí)，效率最高。綜合兩項(xiàng)指標(biāo)，本文方法在效率和質(zhì)量上均具有顯著優(yōu)勢(shì)。

表2　本文方法與MotionDiffuse、MoMask的定量對(duì)比結(jié)果

3.1.2 數(shù)字人運(yùn)動(dòng)檢索

系統(tǒng)還提供了一個(gè)大型動(dòng)作庫(kù)，允許用戶根據(jù)需求快速檢索、調(diào)用和組合預(yù)定義的動(dòng)作模板。該功能在簡(jiǎn)化動(dòng)作制作的同時(shí)，還為用戶提供了豐富的動(dòng)作參考素材。這種設(shè)計(jì)降低了數(shù)字人驅(qū)動(dòng)制作的技術(shù)門(mén)檻，為電影創(chuàng)作者提供了更便捷的工具。

3.2 系統(tǒng)應(yīng)用：在電影制作過(guò)程中的應(yīng)用

在電影制作領(lǐng)域，本文提出的系統(tǒng)展現(xiàn)出極高的應(yīng)用價(jià)值，主要體現(xiàn)在以下兩個(gè)方面：

3.2.1 便捷控制動(dòng)作生成

該系統(tǒng)構(gòu)建了一個(gè)對(duì)用戶極為友好的動(dòng)作生成界面。如圖3所示，通過(guò)直觀的文本驅(qū)動(dòng)交互方式，只需用戶在對(duì)話框中輸入動(dòng)作描述，系統(tǒng)即可自動(dòng)生成相應(yīng)動(dòng)作。這一設(shè)計(jì)降低了電影制作中動(dòng)作生成門(mén)檻，使導(dǎo)演等非技術(shù)成員也能直接參與動(dòng)作設(shè)計(jì)，減少對(duì)專業(yè)動(dòng)畫(huà)師的依賴。

圖3　文本生成動(dòng)作序列操作

3.2.2 快速數(shù)據(jù)檢索功能

本系統(tǒng)內(nèi)置了豐富的動(dòng)作資源庫(kù)，為電影制作提供了大量預(yù)定義動(dòng)作模板。用戶可通過(guò)關(guān)鍵詞或語(yǔ)義描述（例如“奔跑”“跳躍”等）快速檢索和調(diào)用動(dòng)作。如圖4所示，系統(tǒng)支持將動(dòng)作導(dǎo)出為常見(jiàn)的3D動(dòng)畫(huà)格式（如FBX），并與主流電影制作軟件（如Unity、Blender等）無(wú)縫集成。導(dǎo)出的動(dòng)作可直接綁定角色骨骼，或作為關(guān)鍵幀動(dòng)畫(huà)的編輯基礎(chǔ)。通過(guò)系統(tǒng)的智能檢索與一鍵下載功能，用戶可快速獲取高質(zhì)量動(dòng)作數(shù)據(jù)，避免了基礎(chǔ)動(dòng)作重復(fù)構(gòu)建的問(wèn)題。該功能大幅縮短了從動(dòng)作設(shè)計(jì)到實(shí)際應(yīng)用的周期，顯著簡(jiǎn)化了電影制作中數(shù)字人驅(qū)動(dòng)的流程。

圖4　動(dòng)作檢索操作

4 基于AIGC的數(shù)字人驅(qū)動(dòng)技術(shù)在電影制作中的發(fā)展趨勢(shì)

生成式數(shù)字人驅(qū)動(dòng)技術(shù)與多模態(tài)數(shù)據(jù)的結(jié)合，將極大提升電影內(nèi)容的創(chuàng)作效率，構(gòu)建出更加強(qiáng)大的多模態(tài)融合模型。這種模型能夠同時(shí)處理文本、圖像、聲音和環(huán)境描述，實(shí)現(xiàn)從動(dòng)作到鏡頭設(shè)計(jì)、從音效到臺(tái)詞的整體輸出，從而推動(dòng)電影內(nèi)容創(chuàng)作全流程的自動(dòng)化。例如，哈爾濱工業(yè)大學(xué)與清華大學(xué)聯(lián)合推出的FilmAgent工具[31]，通過(guò)多智能體協(xié)作框架，模擬電影制作中的不同角色，可自動(dòng)生成劇本、角色動(dòng)作、鏡頭設(shè)置及語(yǔ)音對(duì)話。此外，Melies[32]平臺(tái)整合了GPT?4、Runway等AI工具，提供從劇本創(chuàng)作到視頻生成的統(tǒng)一解決方案，進(jìn)一步簡(jiǎn)化了電影制作流程，拓展電影制作的邊界與可能性?；诖耍疚膶囊韵?個(gè)主要方向探討AIGC下的數(shù)字人驅(qū)動(dòng)技術(shù)在電影制作中的未來(lái)發(fā)展趨勢(shì)。

4.1 高效化劇本創(chuàng)作

當(dāng)前，電影技術(shù)領(lǐng)域已能在一定程度上依據(jù)簡(jiǎn)短文字描述生成角色動(dòng)作，但針對(duì)長(zhǎng)篇敘事文本的精確動(dòng)作識(shí)別與生成仍面臨諸多挑戰(zhàn)。隨著自然語(yǔ)言理解技術(shù)的深化研究，未來(lái)有望更深入地解析劇本中的豐富語(yǔ)義，從而實(shí)現(xiàn)“劇本直驅(qū)動(dòng)畫(huà)”的愿景。這一突破不僅能讓編劇僅憑臺(tái)詞與動(dòng)作描述輕松生成人體動(dòng)作，更將從劇本到畫(huà)面的轉(zhuǎn)化流程大幅提速，顯著提升創(chuàng)作效率。此外，未來(lái)該技術(shù)有望支持實(shí)時(shí)預(yù)覽與即時(shí)修改功能，使創(chuàng)作者能在構(gòu)思場(chǎng)景時(shí)即時(shí)生成角色動(dòng)作并進(jìn)行靈活調(diào)整。這一實(shí)時(shí)性特質(zhì)極大提升了工作效率，尤其在面對(duì)較長(zhǎng)時(shí)間的動(dòng)作生成時(shí)，創(chuàng)作者能更直觀地展現(xiàn)創(chuàng)意構(gòu)想，并細(xì)致優(yōu)化每一幀動(dòng)作，確保最終作品的質(zhì)量。例如， FasterLivePortrait[33]技術(shù)基于TensorRT優(yōu)化，能在英偉達(dá)（NVIDIA）GeForce RTXTM 3090顯卡上實(shí)現(xiàn)超30 FPS的速度，顯著提升了實(shí)時(shí)動(dòng)畫(huà)生成的效率，該技術(shù)的發(fā)展為動(dòng)畫(huà)創(chuàng)作提供了更高效、更靈活的解決方案。

4.2 個(gè)性化角色塑造

隨著生成式AI技術(shù)的迭代升級(jí)，個(gè)性化角色生成正逐步成為電影工業(yè)化進(jìn)程中的關(guān)鍵突破方向。當(dāng)前的生成式數(shù)字人驅(qū)動(dòng)技術(shù)通過(guò)調(diào)整文本描述或增加特定參數(shù)輸入，能生成與角色性格、情感狀態(tài)及場(chǎng)景氛圍高度契合的個(gè)性化動(dòng)作。該技術(shù)的核心在于對(duì)角色細(xì)微情感和行為的精準(zhǔn)捕捉，從而實(shí)現(xiàn)定制化的角色塑造。未來(lái)，隨著技術(shù)的不斷發(fā)展與進(jìn)步，編劇或?qū)а輧H需對(duì)文本描述進(jìn)行微調(diào)，即可捕捉到如憂郁的眼神、憤怒的手勢(shì)或歡快的步伐等細(xì)膩的表演細(xì)節(jié)。這種精準(zhǔn)化的角色控制手段，為角色塑造和敘事表達(dá)提供了更加豐富和細(xì)膩的工具，使電影中的角色更加鮮活、立體。由快手科技、中國(guó)科學(xué)技術(shù)大學(xué)和復(fù)旦大學(xué)聯(lián)合開(kāi)發(fā)的LivePortrait[34]技術(shù)通過(guò)隱式關(guān)鍵點(diǎn)方法和重定向模塊，能精確控制角色的微表情和肢體動(dòng)作，進(jìn)一步增強(qiáng)了角色表現(xiàn)的個(gè)性化和自然感。此技術(shù)的應(yīng)用不僅提升了角色的表現(xiàn)力，也為創(chuàng)作者提供了更廣闊的藝術(shù)創(chuàng)作空間，推動(dòng)了電影和動(dòng)畫(huà)作品在情感表達(dá)和敘事深度上的進(jìn)一步發(fā)展。

4.3 智能化場(chǎng)景交互

在傳統(tǒng)電影制作中，群體場(chǎng)景的拍攝和動(dòng)作捕捉通常依賴大量演員的實(shí)際表演，這一過(guò)程不僅耗時(shí)且成本高昂。未來(lái)，基于生成式AI的數(shù)字人驅(qū)動(dòng)技術(shù)將有望實(shí)現(xiàn)群體角色動(dòng)作的智能化生成，為電影創(chuàng)作生產(chǎn)開(kāi)辟全新可能。例如，在大規(guī)模戰(zhàn)爭(zhēng)場(chǎng)景中，該技術(shù)無(wú)需逐個(gè)捕捉每位演員的動(dòng)作，可直接根據(jù)戰(zhàn)斗策略、環(huán)境條件和角色設(shè)定，自動(dòng)生成大批士兵的戰(zhàn)斗動(dòng)作及協(xié)同行為。

5 結(jié)語(yǔ)

盡管近年來(lái)在AIGC技術(shù)的驅(qū)動(dòng)下，生成式數(shù)字人驅(qū)動(dòng)技術(shù)取得了顯著進(jìn)展，但其在電影制作領(lǐng)域的應(yīng)用仍面臨諸多挑戰(zhàn)，在一定程度上阻礙了該技術(shù)在電影制作全流程中的推廣。例如，當(dāng)前的人體動(dòng)作數(shù)據(jù)在數(shù)量上難以滿足生成式數(shù)字人驅(qū)動(dòng)技術(shù)的需求，且生成的人體動(dòng)作在復(fù)雜場(chǎng)景下的適應(yīng)性還有待提升。為應(yīng)對(duì)這些挑戰(zhàn)，本文提出的基于擴(kuò)散模型的數(shù)字人驅(qū)動(dòng)生成系統(tǒng)通過(guò)算法優(yōu)化與模型架構(gòu)改進(jìn)，實(shí)現(xiàn)了2.28的FID值和0.35的文本匹配度，在有效提升動(dòng)作生成質(zhì)量和效率的同時(shí)，也為用戶提供更為豐富的動(dòng)作數(shù)據(jù)資源。展望未來(lái)，隨著AIGC技術(shù)的持續(xù)突破與創(chuàng)新，數(shù)字人驅(qū)動(dòng)技術(shù)將在電影制作領(lǐng)域釋放更大潛能，不僅能顯著提升創(chuàng)作生產(chǎn)效率、優(yōu)化制作成本，更能為電影藝術(shù)創(chuàng)作開(kāi)辟全新的表達(dá)維度和創(chuàng)意空間，推動(dòng)電影藝術(shù)形式的革新與突破。

參考文獻(xiàn)

（向下滑動(dòng)閱讀）

[1] 晏軼超,程宇豪,陳琢,等.基于神經(jīng)網(wǎng)絡(luò)的生成式三維數(shù)字人研究綜述:表示、渲染與學(xué)習(xí)[J].中國(guó)科學(xué):信息科學(xué),2023,53(10):1858?1891.

[2] 王之若,楊云添.AIGC賦能電影虛擬角色的影像生產(chǎn)力——基于計(jì)算機(jī)圖形技術(shù)的考察[J].中國(guó)電影市場(chǎng),2025(01):47?54.

[3] ATHANASIOU N, PETROVICH M, BLACK M J, et al. Teach: Temporal action composition for 3d humans[C]//2022 International Conference on 3D Vision (3DV). IEEE, 2022: 414?423.

[4] ZHANG M, CAI Z, PAN L, et al. MotionDiffuse: Text?driven human motion generation with diffusion model[EB/OL]. [2025?02?22].https://arxiv.org/abs/2208.15001.

[5] CHEN X, JIANG B, LIU W, et al. Executing your commands via motion diffusion in latent space[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 18000?18010.

[6] DABRAL R, MUGHAL M H, GOLYANIK V, et al. MoFusion: A framework for denoising?diffusion?based motion synthesis[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2023: 9760?9770.

[7] ZHANG J, ZHANG Y, CUN X, et al. Generating human motion from textual descriptions with discrete representations[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2023: 14730?14740.

[8] JIANG B, CHEN X, LIU W, et al. MotionGPT: Human motion as a foreign language[J]. Advances in Neural Information Processing Systems, 2023, 36: 20067?20079.

[9] SHAFIR Y, TEVET G, KAPON R, et al. Human motion diffusion as a generative prior[EB/OL]. (2023?03?02) [2025?02?22]. https://arxiv.org/abs/2303.01418.

[10] ATHANASIOU N, CSEKE A, DIOMATARIS M, et al. MotionFix: Text?driven 3d human motion editing[C]//SIGGRAPH Asia 2024 Conference Papers, 2024: 1?11.

[11] BARQUERO G, ESCALERA S, PALMERO C. Seamless human motion composition with blended positional encodings[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 457?469.

[12] GUO C, MU Y, JAVED M G, et al. MoMask: Generative masked modeling of 3d human motions[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 1900?1910.

[13] PINYOANUNTAPONG E, WANG P, LEE M, et al. MMM: Generative masked motion model[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 1546?1555.

[14] TSENG J, CASTELLON R, LIU K. EDGE: Editable dance generation from music[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 448?458.

[15] LIU H, ZHU Z, BECHERINI G, et al. EMAGE: Towards Unified Holistic Co?Speech Gesture Generation via Expressive Masked Audio Gesture Modeling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 1144?1154.

[16] WANG Z, CHEN Y, JIA B, et al. Move as You Say Interact as You Can: Language?guided Human Motion Generation with Scene Affordance[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 433?444.

[17] JIANG N, ZHANG Z, LI H, et al. Scaling up dynamic human?scene interaction modeling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 1737?1747.

[18] AHUJA C,MORENCY L P.Language2pose:Natural language grounded pose forecasting[C]//2019 International Conference on 3D Vision (3DV).IEEE, 2019: 719?728.

[19] Lee H Y, Yang X, Liu M Y, et al. Dancing to music[C]// Advances in Neural Information Processing Systems 32 (NeurIPS 2019) . Vancouver, Canada: NeurIPS, 2020.

[20] Zhang M, Liu C, Chen Y, et al. Music?to?dance generation with multiple conformer[C]//Proceedings of the 2022 International Conference on Multimedia Retrieval, 2022: 34?38.

[21] LI S, YU W, GU T, et al. Bailando: 3d dance generation by actor?critic gpt with choreographic memory[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 11050?11059.

[22] SUN J, WANG C, HU H, et al. You never stop dancing: Non?freezing dance generation via bank?constrained manifold projection[J]. Advancesin Neural Information Processing Systems, 2022, 35: 9995?10007.

[23] ARISTIDOU A, YIANNAKIDIS A, ABERMAN K, et al. Rhythm is a dancer: Music?driven motion synthesis with global structure[J]. IEEE Transactions on Visualization and Computer Graphics, 2022, 29(8): 3519?3534.

[24] LI H, YU H X, LI J, et al. ZeroHSI: Zero?Shot 4D Human?Scene Interaction by Video Generation[EB/OL]. [2025?02?22].https://arxiv.org/abs/2412.18600.

[25] XU L, ZHOU Y, YAN Y, et al. ReGenNet: Towards Human Action?Reaction Synthesis[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 1759?1769.

[26] ZHANG M, JIN D, GU C, et al. Large motion model for unified multi?modal motion generation[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 397?421.

[27] JI X, PAN Z, GAO X, et al. Text?Guided Synthesis of Crowd Animation[C]//ACM SIGGRAPH 2024 Conference Papers, 2024: 1?11.

[28] 賈文婷,崔越. 從《哪吒2》看“中國(guó)風(fēng)”的全球表達(dá)[EB/OL].（2025?02?18） [2025?02?22]. http://world.people.com.cn/n1/2025/0218/c1002-40420749.html.

[29] 邢鄭,孫娜. 機(jī)器人秧歌“搭子”、“如意變化” 揭秘春晚彩蛋[EB/OL].（2025?01?30） [2025?02?22]. http://kpzg.people.com.cn/n1/2025/0130/c404214-40410871.html.

[30] RAMESH A, DHARIWAL P, NICHOL A, et al. Hierarchical text?conditional image generation with clip latents[EB/OL]. [2025?02?22].https://arxiv.org/abs/2204.06125.

[31] XU Z, WANG L, WANG J, et al. FilmAgent: A Multi?Agent Framework for En d?to?End Film Automation in Virtual 3D Spaces[EB/OL]. [2025?02?22].https://arxiv.org/abs/2501.12909.

[32] Melies[EB/OL].[2025?04?02]. https://www.aitoolnet.com/zh/melies.

[33] FasterLivePortrait-實(shí)時(shí)讓肖像動(dòng)起來(lái)！支持onnx/tensorrt[EB/OL].[2025?04?02]. https://www.aibase.com/zh/tool/31754.

[34] GUO J, ZHANG D, LIU X, et al. LivePortrait: Efficient portrait animation with stitching and retargeting control[EB/OL]. [2025?02?22]. https://arxiv.org/abs/2407.03168.

【基金項(xiàng)目】國(guó)家自然科學(xué)基金青年科學(xué)基金項(xiàng)目“有限標(biāo)注下的室內(nèi)三維場(chǎng)景感知與編輯關(guān)鍵方法研究”（ 62402306）；上海市“科技創(chuàng)新行動(dòng)計(jì)劃”自然科學(xué)基金項(xiàng)目“復(fù)雜室內(nèi)三維場(chǎng)景細(xì)粒度感知關(guān)鍵方法研究”（24ZR1422400）。