AI在商業(yè)游戲中的實(shí)際應(yīng)用。

整理/秋秋&青暉

在今天的2026GDC現(xiàn)場（Game Developers Conference，游戲開發(fā)者大會），騰訊游戲的AI負(fù)責(zé)人廖詩飏Elvis，帶來了一場關(guān)于“在3D格斗游戲中利用實(shí)時(shí)AI技術(shù)生成過渡動(dòng)畫”的技術(shù)演講。

本次演講的落地案例，是目前騰訊魔方備受關(guān)注的漫改IP格斗新作——《異人之下》（The Hidden Ones）。該作采用虛幻引擎開發(fā)，配合“三渲二”技術(shù)，呈現(xiàn)了高質(zhì)量的動(dòng)作視覺表現(xiàn)，目前游戲全網(wǎng)預(yù)約量已突破2800萬。

在快節(jié)奏的格斗游戲中，角色動(dòng)作的流暢度與打擊感是核心體驗(yàn)。但海量的動(dòng)作狀態(tài)切換往往會導(dǎo)致“滑步”或動(dòng)作僵硬。

在本次分享中，演講者詳細(xì)拆解了團(tuán)隊(duì)如何通過無標(biāo)記動(dòng)捕、輕量級神經(jīng)網(wǎng)絡(luò)（僅6MB）以及異步引擎部署，在頭部商業(yè)游戲中跑通了這套AI動(dòng)作生成管線。

以下為經(jīng)過整理的演講實(shí)錄，內(nèi)容有所刪減調(diào)整：

01

為什么格斗游戲需要AI動(dòng)作生成？

大家好，我是騰訊游戲的AI負(fù)責(zé)人廖詩飏Elvis。今天我將向大家分享，在即將推出的新作《異人之下》中，我們是如何利用實(shí)時(shí)AI技術(shù)來生成過渡動(dòng)畫（transition motions），從而創(chuàng)造出流暢且自然的角色動(dòng)作的。

簡單介紹下我的背景：我在英國伯明翰大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位，專攻大規(guī)模仿真系統(tǒng)；隨后在IBM Research進(jìn)行百億億次超級計(jì)算機(jī)的前沿研究；之后在新加坡南洋理工大學(xué)（NTU）擔(dān)任助理教授，教授計(jì)算機(jī)圖形學(xué)、VR及游戲開發(fā)等課程。

2020年我加入騰訊，目前擔(dān)任魔方工作室的AI負(fù)責(zé)人，同時(shí)兼任游戲領(lǐng)域頂刊《IEEE Transactions on Games》的副主編。

《異人之下》是一款3D格斗游戲。每個(gè)角色都有獨(dú)特的技能、攻擊流派和速度，玩法極具個(gè)人特色與策略性。

通過上面的視頻可以看出，精美的畫面和動(dòng)畫是這款游戲的核心。為了讓快節(jié)奏的戰(zhàn)斗銜接更加平滑自然，團(tuán)隊(duì)提出了一種全新的解決方案：利用生成式AI技術(shù)來增強(qiáng)角色動(dòng)作的表現(xiàn)力。

為什么要這么做呢？在格斗游戲中，角色需要頻繁在不同的動(dòng)作狀態(tài)間切換。比如從受擊切到待機(jī)、從攻擊切到?jīng)_刺、再切到奔跑。

這其中的過渡組合數(shù)量極其龐大，我們不可能全靠動(dòng)捕（Mocap），動(dòng)畫師也無法手動(dòng)把它們?nèi)縆幀（Keyframe）出來。因此，我們需要一種更高效的方式，實(shí)時(shí)把這些中間過渡狀態(tài)生成出來。

傳統(tǒng)的辦法，比如線性插值，經(jīng)常會讓角色出現(xiàn)“滑步”（Foot sliding）。用IK（反向運(yùn)動(dòng)學(xué)）去強(qiáng)行修正落腳點(diǎn)，動(dòng)作看起來又會很僵硬、缺乏細(xì)節(jié)。

而運(yùn)動(dòng)匹配（Motion Matching）等數(shù)據(jù)驅(qū)動(dòng)方案也有明顯局限：它需要一個(gè)極其龐大的動(dòng)畫庫，特別吃內(nèi)存；還得為每個(gè)角色定制過渡動(dòng)畫；而且泛化能力很差，遇到夸張的待機(jī)姿勢就需要大量微調(diào)。

這就是為什么我們要去探索生成式AI的解決方案。

AI方案，如魯棒的動(dòng)作補(bǔ)幀、CVAE、雙階段Transformer及基于Diffusion的方法等，能很好地泛化到各種姿勢，生成流暢、自然且符合物理法則的動(dòng)作。

但基于AI的方案落地到商業(yè)游戲中，同樣面臨三大挑戰(zhàn)：

• 推理時(shí)間長，不適合實(shí)際游玩；

• 內(nèi)存和包體占用大；

• 現(xiàn)有研究多集中于日常行為，缺乏功夫格斗場景的數(shù)據(jù)和案例。

為了解決這些問題，我們的項(xiàng)目確立了三個(gè)維度的目標(biāo)：

• 技術(shù)美術(shù)（TA）視角：盡量減少手動(dòng)調(diào)優(yōu)，同時(shí)保留動(dòng)畫師的視覺意圖。

• 游戲設(shè)計(jì)師視角：打擊時(shí)機(jī)和節(jié)奏必須準(zhǔn)確，避免滑步和穿模。

• 客戶端工程師視角：保持極小的包體占用和極短的處理時(shí)間。

只有這三點(diǎn)同時(shí)滿足，才算是一個(gè)完整的解決方案。

02

數(shù)據(jù)獲取與模型設(shè)計(jì)

我們的整體方案涵蓋了三個(gè)層面：

1. 數(shù)據(jù)層面：使用無標(biāo)記（Markerless）多視角視頻動(dòng)捕、經(jīng)過優(yōu)化的捕捉工作流及數(shù)據(jù)增強(qiáng)技術(shù)，來處理姿勢的采集和重定向（Retargeting）。

2. 模型層面：采用輕量級設(shè)計(jì)，設(shè)計(jì)輸入輸出特征及損失函數(shù)（Loss design），提高動(dòng)畫質(zhì)量。

3. 部署層面：解決骨骼適配、動(dòng)態(tài)位移、動(dòng)畫相位匹配（Phase matching）及武器穿模等問題。

據(jù)我所知，這是世界上首次將AI生成的過渡動(dòng)畫，實(shí)際應(yīng)用在3D格斗游戲的案例。

當(dāng)游戲中觸發(fā)動(dòng)作過渡時(shí)，AI模型會預(yù)測過渡幀，然后我們會在引擎內(nèi)開一個(gè)單獨(dú)的線程進(jìn)行推理，經(jīng)過后處理提升質(zhì)量后，結(jié)果會直接送到游戲引擎中進(jìn)行渲染。

在數(shù)據(jù)獲取方面，傳統(tǒng)的動(dòng)捕需要大型影棚和昂貴的設(shè)備，還要在演員身上貼滿馬克點(diǎn)?，F(xiàn)在，我們在一個(gè)小房間里，僅僅使用七臺像GoPro一樣的普通攝像頭就能達(dá)到同樣的目的。

通過姿態(tài)估計(jì)（Pose Estimation）提供關(guān)鍵點(diǎn)，三角測量提供3D坐標(biāo)，再用慣性傳感器修正脊柱的旋轉(zhuǎn)誤差。

這種低成本設(shè)置，能實(shí)現(xiàn)快速原型開發(fā)，非常適合原地動(dòng)作捕捉，效果相當(dāng)不錯(cuò)，并且演員不需要穿戴任何馬克點(diǎn)。

在數(shù)據(jù)增強(qiáng)方面，我們首先做空間增強(qiáng)，比如沿著前方軸線做鏡像對稱。這是零成本的，并且能極大增加數(shù)據(jù)的多樣性。

由于動(dòng)捕數(shù)據(jù)和游戲的幀率往往不匹配，我們會通過縮放對齊，把動(dòng)捕數(shù)據(jù)匹配到目標(biāo)幀率。

此外，我們還能通過切割和融合那些運(yùn)動(dòng)趨勢相似、但初始姿態(tài)不同的動(dòng)作，從單個(gè)真實(shí)樣本中合成更多的高質(zhì)量數(shù)據(jù)。這樣不需要采集更多原始數(shù)據(jù)，就能豐富我們的數(shù)據(jù)集。

在模型設(shè)計(jì)方面，我們使用了多特征編碼器和LSTM（長短期記憶網(wǎng)絡(luò)）。

只需要輸入兩幀：起始姿勢和目標(biāo)姿勢。模型包含當(dāng)前狀態(tài)編碼器、目標(biāo)編碼器、偏移編碼器和特征編碼器。我們加入了位移差、目標(biāo)運(yùn)動(dòng)趨勢等額外信息，這能有效改善角色大幅度位移時(shí)的動(dòng)作表現(xiàn)。

我們還使用了分離的解碼器：一個(gè)是MoE（混合專家）解碼器用來生成中間幀，并且把上半身和下半身的解碼器也分開了。這種設(shè)計(jì)讓模型對下半身有更強(qiáng)的預(yù)測能力，有效防止了滑步。

同時(shí)，我們還加入了相位信息和腳步接觸信息，這極大地改善了奔跑動(dòng)畫的質(zhì)量。

最后，在推理方式上，我們采用自回歸（Autoregressive）逐幀生成。這種串行推理允許異步執(zhí)行，完美符合實(shí)時(shí)引擎的限制，不會導(dǎo)致動(dòng)畫系統(tǒng)阻塞。

在損失函數(shù)上，除了旋轉(zhuǎn)、根骨骼位置等標(biāo)準(zhǔn)指標(biāo)，我們還特別加入了基于速度和接觸的滑步懲罰以及腳步接觸懲罰。

03

部署與優(yōu)化：

6MB包體、0.4毫秒延遲

在性能表現(xiàn)上，F(xiàn)P32精度的模型大約是15MB，每次推理耗時(shí)0.75毫秒。我們對LSTM中超過8%的權(quán)重進(jìn)行了動(dòng)態(tài)量化（Dynamic quantization），量化后的版本只有約6MB，推理時(shí)間降到了0.4毫秒，且位置偏差不到1厘米，實(shí)現(xiàn)了不錯(cuò)的性能權(quán)衡。

在游戲內(nèi)引擎部署方面，量化模型我們使用的是C++接口。異步推理意味著我們直接從結(jié)果緩沖區(qū)進(jìn)行渲染，動(dòng)畫系統(tǒng)完全不會被阻塞。我們通過偏移運(yùn)動(dòng)處理來解決根骨骼的方向和空間變化。

關(guān)于模型對不同角色骨架（Rig）的重定向問題：模型其實(shí)是在統(tǒng)一的骨架上訓(xùn)練的，我們通過計(jì)算模型T-pose和目標(biāo)T-pose的身高比例，將其映射到每個(gè)角色的骨架上，并按此比例自動(dòng)縮放位置和旋轉(zhuǎn)。因此，我們無需重新訓(xùn)練，就能支持正常體型、較矮或較高的各種角色。

武器穿模（Weapon clipping）是游戲動(dòng)畫中最讓人頭疼的問題之一。為此，我們改變了原始的過渡目標(biāo)，將其設(shè)為一個(gè)中間姿態(tài)，然后結(jié)合AI生成的過渡幀與IK資源來調(diào)整動(dòng)畫，成功防止了武器穿透角色身體。

此外，為了讓生成的過渡動(dòng)作與后續(xù)的奔跑循環(huán)銜接，我們在系統(tǒng)中引入了相位匹配機(jī)制。當(dāng)角色從過渡狀態(tài)切回奔跑時(shí)，該機(jī)制會確保其腿部的運(yùn)動(dòng)相位保持一致。這個(gè)方案，有效避免了動(dòng)作的抽搐或卡頓（Pops），讓角色跑動(dòng)看起來更自然。

在最終的效果對比中可以看到，對于大位移運(yùn)動(dòng)（如從滑步到奔跑的過渡），傳統(tǒng)方案會生硬地切入轉(zhuǎn)身，而AI模型能自然流暢地轉(zhuǎn)身，同時(shí)毫不犧牲玩家操作的響應(yīng)速度。

總結(jié)來說，我們將AI無標(biāo)記動(dòng)捕、輕量級神經(jīng)網(wǎng)絡(luò)與動(dòng)畫引擎部署技術(shù)相結(jié)合，數(shù)據(jù)、模型和部署缺一不可，最終為大家提供了一個(gè)完整的3D格斗游戲動(dòng)作過渡解決方案。

04

QA環(huán)節(jié)

問：對于毛發(fā)和布料這些次要?jiǎng)赢?/strong>（Secondary Animation），傳統(tǒng)做法往往傾向于使用物理引擎進(jìn)行模擬。但在剛才的演示中，我注意到一些布料依然存在穿?，F(xiàn)象。你們是否有計(jì)劃，把這類次要?jiǎng)赢嬕餐耆挥葾I來生成？

答：我們目前確實(shí)還沒有將這套系統(tǒng)應(yīng)用在毛發(fā)或布料上?；谖锢硐到y(tǒng)是傳統(tǒng)的解決方式，但我們實(shí)際上已經(jīng)有了一些針對AI生成布料模擬的解決方案，甚至包括針對可形變物體（Deformable objects）的模擬，比如處理自碰撞（Self-collision）和軟體模擬。

其核心難點(diǎn)在于自碰撞檢測。因?yàn)橛螒蚪巧泻芏喙趋狸P(guān)節(jié)點(diǎn)，傳統(tǒng)的碰撞檢測過程需要消耗大量的算力和時(shí)間。而對于AI生成的解決方案，我們只需要訓(xùn)練好模型，就可以在本地直接生成，目前的初步測試結(jié)果非常有潛力。

我們未來會繼續(xù)在這個(gè)方向上進(jìn)行探索，但目前這套系統(tǒng)主要還是集中在角色軀干和核心根骨骼動(dòng)作的生成上。

游戲葡萄招聘商務(wù)經(jīng)理，

| |

| |

游戲行業(yè)書籍推薦

（星標(biāo)可第一時(shí)間收到推送和完整封面）