米哈游蔡浩宇的AI公司Anuttacon，首個(gè)視頻模型正式曝光！

Anuttacon技術(shù)團(tuán)隊(duì)成員@Ailing Zeng，在X上展示了全新視頻角色表演生成模型——LPM 1.0。

主打一個(gè)讓AI角色人物表現(xiàn)得更《出神入化》～

大家先看下面這位AI小哥，生動(dòng)演繹了一場(chǎng)16秒變換N種情緒的超絕大戲，你就說(shuō)這情緒拿捏到不到位吧：

不僅如此，在LPM 1.0模型中，連讓AI人物「聽(tīng)別人說(shuō)話」這事兒也同步進(jìn)化了。（天吶.jpg）

哪怕不張口、只是安靜坐著當(dāng)一個(gè)認(rèn)真聆聽(tīng)的人，角色的表情、眼神和情緒反饋也都在線，這情緒價(jià)值給的：

此外，我們還可以和AI進(jìn)行「實(shí)時(shí)互動(dòng)」。

只要對(duì)著電腦屏幕說(shuō)一句自己的甲方需求，屏幕里的AI角色就能夠根據(jù)指令當(dāng)下做出反應(yīng)。

哪怕是在長(zhǎng)時(shí)間交互下，依舊能保證人物形象穩(wěn)定一致，be like：

表情如此之自然、情緒如此之到位、交互如此之實(shí)時(shí)，網(wǎng)友直接就是一個(gè)《坐不住》，直言：

實(shí)時(shí)、支持無(wú)限長(zhǎng)度的AI角色終于來(lái)了?。。。ù舐?jpg)

（說(shuō)真的，我大早上在官網(wǎng)看了這幾個(gè)demo效果后，屬實(shí)快分不出來(lái)AI不AI了…）

LPM 1.0：主打一個(gè)讓AI角色變「戲精」

其實(shí)對(duì)今天的AI視頻產(chǎn)品來(lái)說(shuō)，能把人物角色的表情生動(dòng)演繹出來(lái)，早就不算什么新鮮事了。

但是LPM 1.0模型特殊就特殊在吧——

我們能通過(guò)文本、音頻和圖像三種多模態(tài)形式，輕松生成一個(gè)能實(shí)時(shí)對(duì)話、會(huì)聽(tīng)會(huì)說(shuō)、還能持續(xù)保持人物一致性的動(dòng)態(tài)角色。

讓AI角色在視頻里，更會(huì)演、更會(huì)聽(tīng)、更會(huì)說(shuō)，還能一直像同一個(gè)人～

我也幫友友們淺淺總結(jié)了一下LPM 1.0模型最核心的幾大「能力亮點(diǎn)」：

• 超絕情緒演繹能力：能同步生成說(shuō)話、傾聽(tīng)、微表情和自然動(dòng)作，情緒表演更到位。

• 實(shí)時(shí)視頻生成能力：通過(guò)在線生成器，用戶能實(shí)現(xiàn)和AI角色實(shí)現(xiàn)實(shí)時(shí)交互，適合做對(duì)話型角色。

• 根據(jù)對(duì)方說(shuō)話做出反應(yīng)的能力：角色可以一邊聽(tīng)用戶說(shuō)話一邊做出表情反應(yīng)，等輪到角色回答時(shí)，它再根據(jù)合成語(yǔ)音生成說(shuō)話視頻。

• 長(zhǎng)時(shí)間人物一致性：哪怕和AI的互動(dòng)時(shí)間延長(zhǎng)之后，AI角色依舊盡量維持同一個(gè)人的外觀和身份特征。

emm…這些能力是不是聽(tīng)上去有點(diǎn)乏味？沒(méi)關(guān)系，我們直接讓AI演員們上才藝！

先來(lái)說(shuō)說(shuō)大家很感興趣也很有意思的——「超絕情緒演繹能力」。

具體來(lái)說(shuō)，模型在口型同步、呼吸節(jié)奏、情緒表達(dá)維度上的表現(xiàn)更貼近人類(lèi)的表現(xiàn)方式，呈現(xiàn)效果也就更有層次。

比如在下面這個(gè)堪比好萊塢大片的視頻，兩位男子僅僅在幾秒鐘的時(shí)間，就生動(dòng)演繹出了多個(gè)神態(tài)——

前一秒還是猶豫和遲疑，下一秒就出現(xiàn)抿嘴、咬牙、嘆氣這類(lèi)更細(xì)小的動(dòng)作，能讓人明顯感受到心理狀態(tài)在變化。

(老戲骨啊老戲骨，建議送去參加AI版《演員的誕生》?。?/p>

再看下面這位老哥，短短9秒時(shí)間里，驚恐、緊張、憤怒幾種情緒接連切換，整個(gè)過(guò)程還挺有壓迫感？？

此外不知道大家發(fā)沒(méi)發(fā)現(xiàn)，當(dāng)人物在說(shuō)到重音位置時(shí)，嘴部開(kāi)合幅度、面部發(fā)力方式也會(huì)跟著增強(qiáng)。

臺(tái)詞重心和表演重心是對(duì)得上的，融合度可以說(shuō)是非常不錯(cuò)，be like：

除了對(duì)著鏡頭完成這類(lèi)單人表演，LPM 1.0還有個(gè)更有意思的能力——

那就是角色在「傾聽(tīng)別人說(shuō)話」時(shí)，會(huì)同步給出與當(dāng)下情境相符的的表情和狀態(tài)反饋。

讓你覺(jué)得，眼前這個(gè)AI…好像真的在賽博世界和另一個(gè)人真實(shí)互動(dòng)。

比如下面這個(gè)女人接孩子電話的片段。

當(dāng)她聽(tīng)到電話那頭的聲音時(shí)，第一時(shí)間先是眼神變化，隨后眼睛微微睜大，帶出一點(diǎn)意外和牽掛，緊接著眉頭收緊，像是在迅速判斷電腦那頭孩子是不是遇到了什么事。

emm…整段反應(yīng)很像真人接電話時(shí)那種「邊聽(tīng)邊消化信息」的狀態(tài)：

再看下面這個(gè)神情已經(jīng)有點(diǎn)略微煩躁的男子。

對(duì)方一開(kāi)口，他的臉上就同步出現(xiàn)了扶頭、疲憊、輕微不耐煩這些反應(yīng)，整個(gè)人的狀態(tài)像是在強(qiáng)撐著把這段話聽(tīng)完。

（像極了我們上班開(kāi)會(huì)聽(tīng)老板講話時(shí)候的表情…狠狠共鳴住了。）

除了上面我們展示的這些單向視頻生成能力外，LPM 1.0還有一個(gè)非常值得一提的能力——

那就是我們能與AI角色「實(shí)時(shí)互動(dòng)」。

例如你說(shuō)話時(shí)，角色會(huì)實(shí)時(shí)做出正在聽(tīng)的表情和動(dòng)作，讓整個(gè)互動(dòng)看起來(lái)會(huì)更像真人視頻通話。

比如下面這個(gè)demo，在視頻對(duì)話器中，女子只張口說(shuō)了句「let’s sing a song」，屏幕里的AI女孩就能做到立刻開(kāi)始大展歌喉～

再比如，只說(shuō)一句「請(qǐng)你做個(gè)自我介紹」，屏幕里的AI女孩也能快速做出相關(guān)反應(yīng)，更接近真實(shí)交流該有的節(jié)奏：

最后我們來(lái)說(shuō)說(shuō)LPM 1.0長(zhǎng)時(shí)間視頻生成中能力。

具體來(lái)說(shuō)，LPM 1.0能夠讓AI角色在長(zhǎng)時(shí)間互動(dòng)里依舊保持穩(wěn)定輸出，既能持續(xù)對(duì)話，也能長(zhǎng)時(shí)間講故事，人物形象還不容易崩。

比如像下面官方案例中22分鐘、48分鐘的視頻也能輕松生成，而且角色形象一致性依舊保持不錯(cuò)～

LPM 1.0為啥這么會(huì)「演」？

能讓賽博世界里的人物角色表情神態(tài)和交互能力如此到位，LPM 1.0背后的技術(shù)架構(gòu)自然也不簡(jiǎn)單。

我先給大家小小科普一下，其實(shí)目前行業(yè)內(nèi)的視頻模型，一直很難同時(shí)兼顧三件事兒——

那就是表現(xiàn)力、實(shí)時(shí)性、長(zhǎng)視頻的角色一致性。

這三項(xiàng)能力可以說(shuō)是彼此牽制，水火不相容，這也構(gòu)成了當(dāng)下AI視頻最核心難題之一…

而為了解決這個(gè)大難點(diǎn)，LPM 1.0團(tuán)隊(duì)先是構(gòu)建了一套以人為中心的多模態(tài)數(shù)據(jù)集——

在這個(gè)過(guò)程中加入了表演理解，身份感知等多種參考信息內(nèi)容，目的是讓AI角色更像真人交流時(shí)的狀態(tài)。

在此基礎(chǔ)上，團(tuán)隊(duì)又給底層架構(gòu)直接上了一套有著170億參數(shù)的擴(kuò)散Transformer。

這套架構(gòu)更擅長(zhǎng)處理視頻里空間與時(shí)間之間的復(fù)雜關(guān)聯(lián)，能借助強(qiáng)大的自注意力機(jī)制，把人物表情、口型、動(dòng)作，以及前后幀之間的連續(xù)關(guān)系一起建模。

這樣一來(lái)模型就能知道到底怎么演才能更自然更像人類(lèi)～

而至于我們?cè)趧偛趴吹降哪軐?shí)時(shí)交互的模擬器，則是一個(gè)因果式流生成器，專(zhuān)門(mén)用于實(shí)現(xiàn)低延遲、可持續(xù)、無(wú)限長(zhǎng)度的實(shí)時(shí)交互。

這樣一來(lái)我們就和AI角人物進(jìn)行實(shí)時(shí)交流了?。ò敌?jpg）

除了模型本身的能力外，LPM 1.0團(tuán)隊(duì)成員同樣值得關(guān)注。

此次在X上披露LPM 1.0模型的@Ailing Zeng，身份為Anuttacon的技術(shù)團(tuán)隊(duì)成員，主要負(fù)責(zé)互動(dòng)多模態(tài)視頻生成模型的相關(guān)研究。

她博士畢業(yè)于香港中文大學(xué)，在加入Anuttacon之前，曾在騰訊混元團(tuán)隊(duì)和IDEA從事大模型相關(guān)研究。

此外，該模型的技術(shù)論文由20+位研究人員共同參與完成，感興趣的uu可通過(guò)下方論文鏈接了解模型的詳細(xì)技術(shù)內(nèi)容～

Ps:目前，模型還沒(méi)有正式對(duì)外上線，感興趣的朋友可以蹲蹲。

[1]https://arxiv.org/html/2604.07823v1

[2]https://large-performance-model.github.io/#

文章來(lái)源：量子位。