隆重亮相

日前（4月10日），米哈游創(chuàng)始人蔡浩宇旗下AI公司Anuttacon的員工Ailing Zeng突然在X上公布了其新一代AI生成模型LPM1.0，并在arXiv發(fā)布了相關(guān)論文。

該員工介紹，LPM1.0是一個基于視頻的角色表演模型。相較于其他視頻生成模型而言，LPM1.0在表演質(zhì)量、情感對話、精準(zhǔn)唇同步、身份保持以及逼真自然度等方面更有優(yōu)勢。此外，其還提到在將圖像轉(zhuǎn)化為表演視頻中，LPM1.0能作為對話代理、直播角色和游戲NPC的視覺引擎。

而據(jù)論文內(nèi)容，我們能夠發(fā)現(xiàn)更多關(guān)于LPM 1.0的資料。據(jù)悉，LPM 1.0是針對現(xiàn)有視頻模型在兼顧高表現(xiàn)力、實(shí)時推斷和長時身份穩(wěn)定性這三個方面的挑戰(zhàn)所研發(fā)的，一款專注于單人全雙工視聽對話的角色表演大模型。他們通過嚴(yán)格篩選，構(gòu)建了一個多模態(tài)以人為中心的數(shù)據(jù)集，并訓(xùn)練17B參數(shù)的Base LPM，通過多模態(tài)調(diào)理實(shí)現(xiàn)高度可控、身份一致性的性能。并將其提煉成Online LPM，從而實(shí)現(xiàn)低延遲、無限長度的交互。

LPM 1.0 從用戶音頻生成視頻，從合成音頻生成語音視頻，并配有文本提示，全部以實(shí)時速度實(shí)現(xiàn)，且具有身份穩(wěn)定、無限長度的生成能力。因此，LPM 1.0 能夠作為對話代理、直播角色和游戲 NPC 的可視化引擎。

官網(wǎng)顯示，LPM 1.0 的核心能力便是全棧實(shí)時視頻生成框架。特性包括四個方面。其一是身份保持，其通過全局外觀參考、多視角身體圖像和面部表情范例等精細(xì)化的條件輸入實(shí)現(xiàn)了專業(yè)級身份保持，避免了模型對牙齒、表情皺紋、側(cè)面輪廓和不可見身體外觀等未見細(xì)節(jié)的幻覺生成。

其二是多模態(tài)可控性，LPM 1.0 不僅可以通過文本，還可以通過音頻和圖像統(tǒng)一在單次生成中，實(shí)現(xiàn)對角色表演的精細(xì)導(dǎo)演級控制。

其三是角色泛化，LPM 1.0可以接受任意風(fēng)格角色作為輸入，包括寫實(shí)真人、2D動漫、3D游戲角色和非人形生物等等。

最后則是其獨(dú)特的長時穩(wěn)定性，LPM 1.0 的在線流式架構(gòu)能夠在幾小時、幾天、甚至幾年的時間內(nèi)，保持穩(wěn)定、身份一致的生成，并支持無限時長的視頻生成。

在具體的表演場景上，LPM 1.0 涵蓋對話，說話，演唱，聆聽等多個方面。

在具體的性能方面，Base LPM 能夠支持高保真高表現(xiàn)力離線生成，720p 分辨率的視頻。在長時直播視頻生成中，能夠提供高保真度，唇形同步等多個核心優(yōu)勢，且相較于Kling-Avatar 2.0 和 OmniHuman 1.5 最長僅生成 30 秒，LPM 支持任意時長生成。

在LPM 1.0的應(yīng)用場景中，官方特意表明了其在交互式NPC與游戲角色嗎，以及游戲陪伴等游戲相關(guān)領(lǐng)域的應(yīng)用。實(shí)際上這也與米哈游近年來在AI領(lǐng)域的發(fā)展相契合。在一文中，競核便詳細(xì)討論了米哈游當(dāng)前在AI領(lǐng)域的引用情況。

值得一提的是，LPM 1.0 目前仍處于研究階段。團(tuán)隊(duì)也明確表示，沒有計(jì)劃向公眾發(fā)布模型權(quán)重、源代碼、在線演示、AP1、產(chǎn)品或任何相關(guān)服務(wù)。同時也表示該模型不會開源，也不會對外提供使用。他們稱只有在充分的安全保障措施和負(fù)責(zé)任使用框架切實(shí)到位之后，才會考慮開放。

??

＊爆料丨合作丨招聘：點(diǎn)擊或戳微信號 luoxuanwan111

點(diǎn)推薦