作者｜子川

來源｜AI先鋒官

國內(nèi)首個(gè)支持角色扮演的視頻生成模型，它終于來了。

近日，阿里正式發(fā)布了新一代通義萬相2.6系列模型，此次的更新規(guī)模非常大。

據(jù)介紹，通義萬相2.6是目前"全球功能最完整"的視頻生成模型。

在視頻創(chuàng)作上，萬相2.6不僅有文生視頻、圖生視頻，還有多音頻驅(qū)動(dòng)生視頻能力，同時(shí)還引入了音畫同步、多鏡頭敘事等能力。

先來看此次升級的亮點(diǎn)，角色扮演。

簡單來說，就是給AI一個(gè)參考視頻，AI不僅學(xué)會了視頻里人物長相，還學(xué)會了他的動(dòng)作、表情，甚至音色。

然后你使用提示詞控制這個(gè)虛擬人物去演一個(gè)全新的故事。

我們使用官方的角色跑了幾個(gè)案例，大家看一下效果到底如何。

提示詞：@溫柔女 站在一個(gè)餡餅攤旁，在賣餡餅，在大聲說我的餡餅很好吃，并邀請路人去購買

提示詞：@溫柔女 一個(gè)女生在雪地里翩翩起舞

提示詞：@溫柔女 用英文自我介紹

可以明顯的感受到，視頻中的角色和音色都是一致的，口型匹配也較為準(zhǔn)確，不過有時(shí)候細(xì)節(jié)處理的不夠自然，看起來會有些許的AI感。

但這些問題都是能忍受的范圍，畢竟AI視頻生成需要抽卡是常有的事。

這里大家可能會疑惑，那對比Sora2 的效果如何呢？

對了給大家一個(gè)直觀的對比，下面我們就目前市面唯二支持角色扮演的產(chǎn)品：Sora2和通義萬相2.6來實(shí)測對比一番。

讓他們分別唱一首英文Rap。

這個(gè)前后的對比還是非常大的，先說Sora2，依舊充滿驚艷感，多鏡頭的切換很自然，發(fā)音、語速都很流暢，缺點(diǎn)則是有些畫面對口型不是很完美。

通義萬相2.6則有點(diǎn)翻車了，在口型對齊、語速控制與畫面連貫性方面確實(shí)要比Sora 2差一點(diǎn)。

換一個(gè)，再讓它們進(jìn)行彈吉他。

有一說一，Sora 2 的聲畫同步幾乎做到了“樂隊(duì)現(xiàn)場”級別，右手掃弦和發(fā)出的聲音嚴(yán)絲合縫。

而通義萬相2.6中人物彈奏的聲音和動(dòng)作明顯不對，有點(diǎn)穿幫了。

再來一個(gè)，讓他們用中文介紹廣州。

依舊是Sora 2更勝一籌，可以明顯感受到通義萬相 2.6感覺聲音和畫面不是在同一層面上。

整體體驗(yàn)下來，其實(shí)結(jié)論已經(jīng)很清晰了。

Sora 2 不愧是目前效果最好的視頻生成工具，依然是目前視頻生成領(lǐng)域的天花板級。

不管是唱 Rap、彈吉他，還是中文講解城市，聲畫統(tǒng)一、節(jié)奏控制、多鏡頭調(diào)度都明顯更成熟，很多時(shí)候已經(jīng)接近“可直接商用”的水準(zhǔn)。

反觀通義萬相 2.6則更像是功能跑通了，體驗(yàn)還沒跟上。

口型、動(dòng)作、聲音三者之間經(jīng)常出現(xiàn)各說各的，一旦涉及音樂、節(jié)奏或連續(xù)表演，短板就會被迅速放大。

文生視頻、圖生視頻、多音頻驅(qū)動(dòng)、角色扮演這些能力能一次性集成到同一個(gè)體系里，本身就說明底層技術(shù)已經(jīng)跑通了。

只是在當(dāng)前階段，它更偏向“工程完成度優(yōu)先”，而不是“體驗(yàn)極致優(yōu)先”。

與 Sora 2 的差距確實(shí)存在，而且差得也不算小，但這種差距并不是路線錯(cuò)誤，而是時(shí)間與積累的問題。

口型、聲畫同步、節(jié)奏感這些能力，本質(zhì)上都是需要長期打磨的“細(xì)活”，通義萬相 2.6 現(xiàn)在可能還不是那個(gè)讓人驚呼的產(chǎn)品，但它已經(jīng)站在了正確的賽道上，期待它下一次的迭代~

目前 可直接在萬相官網(wǎng)體驗(yàn)萬相2.6，企業(yè)用戶還能通過阿里云百煉調(diào)用模型API，感興趣的可以去試玩一番!

掃碼邀請進(jìn)群，我們帶你一起來玩轉(zhuǎn)ChatGPT、GPT-4、文心一言、通義千問、訊飛星火等AI大模型，順便學(xué)一些AI搞錢技能。