最近刷短視頻，有沒(méi)有發(fā)現(xiàn)網(wǎng)上各種經(jīng)典電影片段、名人梗圖，主角突然都“開(kāi)口說(shuō)話”了。

《甄嬛傳》里的人物，用著原劇的腔調(diào)和口型，卻講著最新鮮的網(wǎng)絡(luò)熱梗；《讓子彈飛》的張麻子，一張口就是地道的四川方言，毫無(wú)違和感。

甚至連各種名畫(huà)里的人物，也能開(kāi)口“活起來(lái)”，仿佛穿越時(shí)空在跟你對(duì)話。

這股讓靜態(tài)畫(huà)面瞬間“開(kāi)口說(shuō)話”的新風(fēng)潮，背后是各大平臺(tái)近期密集推出的 AI 視頻生成玩法。

其熱度，頗有幾分今年上半年 AI 繪畫(huà)爆火時(shí)的架勢(shì)。趣味十足，驚喜感拉滿。

而最近，豆包的Seedance 1.5 Pro正式上線，它直接把這種“玩?！斌w驗(yàn)，提升到了一個(gè)更實(shí)用、更有趣的新層次。

現(xiàn)在，你不僅可以用它對(duì)口型，更能讓 AI 理解畫(huà)面故事，為你自動(dòng)生成一段合情合理的“小劇場(chǎng)”，讓每一幀畫(huà)面都活起來(lái)。

生成的視頻不僅支持中文、英文、日文、韓語(yǔ)、西班牙語(yǔ)等多語(yǔ)種，還能針對(duì)中文場(chǎng)景生成四川話、粵語(yǔ)等方言。

比如，狐妹在廣東就被那句“活力大灣區(qū)，魅力新廣州”的口號(hào)刷屏洗腦。

來(lái)試試在廣州“小蠻腰”前，一位廣州男孩和阿凡達(dá)納美人用粵語(yǔ)講這句口號(hào)是啥樣的。

在突破傳統(tǒng)有聲視頻的基礎(chǔ)上，借助精準(zhǔn)的音畫(huà)同步技術(shù)和電影級(jí)運(yùn)鏡優(yōu)化，角色的每一個(gè)細(xì)微動(dòng)作和表情都更自然，讓生成的視頻在觀感上更接近精心拍攝的短片，而不是生硬的合成動(dòng)畫(huà)。

想要體驗(yàn)一翻，你可以通過(guò)豆包 APP（點(diǎn)擊“照片動(dòng)起來(lái)”并選擇 1.5 Pro模型）、即夢(mèng) AI或火山方舟體驗(yàn)中心輕松體驗(yàn)，也可以直接訪問(wèn)seedance15.pro網(wǎng)址嘗試。

再跟著狐妹來(lái)幾個(gè)有意思的嘗試：

今天冬至，我們讓大熱明星尼克和朱迪一起吃餃子，并祝大家冬至快樂(lè)~

再來(lái)看一下運(yùn)動(dòng)畫(huà)面，讓尼克和朱迪一起來(lái)滑個(gè)雪，整個(gè)畫(huà)面動(dòng)作自然，鏡頭帶動(dòng)速度感，就像身臨其境在雪地里飛馳一樣。

再來(lái)看看多語(yǔ)言多人物對(duì)話效果，這次我們讓功夫熊貓回四川來(lái)和哪吒見(jiàn)個(gè)面。

可以看到，角色能夠用自己的方式說(shuō)話，“誰(shuí)在說(shuō)話、怎么說(shuō)”完全融入視頻本身，而不是簡(jiǎn)單對(duì)口型，情緒和表情自然連貫，非常生動(dòng)有趣。

再來(lái)看大家驚嘆的 AI 演員飆演技：從哭泣→帶笑意反問(wèn)，整個(gè)視頻的情緒變化依然清晰可見(jiàn)。

可能因?yàn)槲医o它設(shè)置了情緒轉(zhuǎn)變，加上視頻時(shí)長(zhǎng)短，情緒切換略顯快速，稍微有些生硬。

再來(lái)看比較火的微觀世界，讓它完成一個(gè)微型冰紅茶工廠，它還自動(dòng)配上了節(jié)奏和音樂(lè)。

接著體驗(yàn)空間調(diào)度與鏡頭語(yǔ)言，用 FPV 視角呈現(xiàn)未來(lái)城市，場(chǎng)景感和沉浸感都不錯(cuò)。

再做一個(gè)廣告場(chǎng)景，拿瑞幸咖啡舉例。生成的素材配上廣告語(yǔ)，那種味道好像有那么一點(diǎn)了。

美中不足的是，有時(shí)候圖片和實(shí)物對(duì)不上，或者字幕出現(xiàn)亂碼。

這個(gè)時(shí)候就需要用首尾幀來(lái)調(diào)校，從參考圖生成視頻，可以更精準(zhǔn)地控制輸出效果。

不過(guò)即便如此，Seedance 1.5 Pro 的文生視頻能力也毫不遜色。

根據(jù)字節(jié)公開(kāi)的 Seedance 1.5 Pro 內(nèi)部基準(zhǔn)測(cè)試結(jié)果（SeedVideoBench-1.5），無(wú)論是 T2V 文生視頻，還是 I2V 首幀轉(zhuǎn)視頻，與可靈 2.6、Google Veo 3.1 等模型相比，Seedance 1.5 Pro 都有一定優(yōu)勢(shì)。

尤其在音頻生成和音畫(huà)同步上，Seedance 1.5 Pro 幾乎碾壓性領(lǐng)先。

過(guò)去，AI 視頻常出現(xiàn)“聲畫(huà)兩張皮”的問(wèn)題，視頻和音頻分開(kāi)生成，后期再?gòu)?qiáng)行對(duì)齊，看起來(lái)很生硬。

而 Seedance 1.5 Pro 可以做到“一鏡入戲”，它從底層就把視覺(jué)和聽(tīng)覺(jué)融合在一起，生成角色口型的同時(shí)同步生成對(duì)應(yīng)音頻，讓口型和聲音自然匹配，看起來(lái)就像真人在表演。

這種效果主要依賴四個(gè)技術(shù)創(chuàng)新。

第一，原生音視頻聯(lián)合生成，畫(huà)面和聲音在生成時(shí)實(shí)時(shí)對(duì)應(yīng)，從根本上避免不同步。

第二，高質(zhì)量音視頻數(shù)據(jù)，訓(xùn)練用的數(shù)據(jù)量大且精細(xì)，還包含語(yǔ)言、音色、方言和環(huán)境聲音等信息，讓生成更真實(shí)。

第三，精細(xì)化優(yōu)化流程，通過(guò)人類反饋強(qiáng)化學(xué)習(xí)（RLHF）調(diào)優(yōu)微表情、鏡頭運(yùn)動(dòng)和聲音情感，使表演自然生動(dòng)。

第四，高效推理加速，生成速度提升十倍以上，不再需要漫長(zhǎng)的進(jìn)度條折磨。

Seedance 1.5 Pro 在音畫(huà)表現(xiàn)上已經(jīng)走出了重要的一步，但它還遠(yuǎn)沒(méi)到完美。高速運(yùn)動(dòng)、多角色互動(dòng)，甚至廣告場(chǎng)景，仍有提升空間。

但狐妹還是非常驚喜的，它已經(jīng)不再只是“會(huì)動(dòng)會(huì)說(shuō)”，而是能理解“誰(shuí)該在什么時(shí)候做什么”。

這意味著，AI 不只是幫你生成畫(huà)面，而是在一定程度上理解表演節(jié)奏和情感，讓創(chuàng)作者把精力更多放在想法本身。

也許未來(lái)，每個(gè)人都可以用簡(jiǎn)單文字，把腦海里的故事直接變成視頻，不必糾結(jié)技術(shù)門(mén)檻?，F(xiàn)在，AI 成為的不只是工具，而是可以合作的創(chuàng)作伙伴。

別急著評(píng)判它能做什么。先去嘗試，把你原本拍不出來(lái)的創(chuàng)意做出來(lái)，然后慢慢探索更大的可能。

參考資料：
量子位、夕小瑤、APPSO等等

編輯：不吃麥芽糖