最近的AI視頻模型，幾乎都能做音畫同步了。

給它一段臺(tái)詞，人物開(kāi)口說(shuō)話，嘴型能對(duì)上，背景里還有環(huán)境聲，連語(yǔ)氣都能帶點(diǎn)情緒。

以前的制作流程都是先把畫面生成出來(lái)，然后再用語(yǔ)音合成模型合成配音，做音樂(lè)，最后再對(duì)口型和剪輯成片。

AI視頻自己就能搞定聲音的話，語(yǔ)音合成是不是可以被優(yōu)化了？問(wèn)題是現(xiàn)在的AI視頻是片段式的生成，一次性支持生成 15 秒，在展現(xiàn)一段比較長(zhǎng)的戲時(shí)，受到時(shí)長(zhǎng)限制，整個(gè)表演的情緒是斷掉的，也比較容易銜接不上。

我做了一個(gè)年初二拜年被七大姑八大姨催婚的經(jīng)典片段來(lái)對(duì)比看看，

這段視頻里，AI視頻是分段做出來(lái)的，有的片段要在十幾秒的內(nèi)容里塞入大量的對(duì)話，這會(huì)導(dǎo)致AI說(shuō)話語(yǔ)速超快，偶爾也會(huì)因?yàn)闀r(shí)長(zhǎng)不夠，導(dǎo)致話沒(méi)說(shuō)完就被切斷的情況。仔細(xì)聽(tīng)AI出的音色，在不同的片段中，其實(shí)還是會(huì)有些不太一樣。

但如果我們轉(zhuǎn)個(gè)思路，用音頻來(lái)驅(qū)動(dòng)畫面生成的話，就不會(huì)出現(xiàn)這種情況了。

在成熟的AI視頻短片的制作角度上來(lái)看，對(duì)于對(duì)話片段或者是以語(yǔ)言表達(dá)為主的畫面，可以先生成音頻，直到產(chǎn)出比較滿意的情緒，然后再使用這段音頻去驅(qū)動(dòng)同等時(shí)長(zhǎng)的人物說(shuō)話鏡頭。

像Minimax最近推出了新版本Speech-2.8。

minimaxi.com/audio

這個(gè)版本跟之前不太一樣的地方就是，新增了在一整段音頻中添加不同的情緒、可以在句子中間，詞組之間增加停頓，可以直接在括號(hào)里面加入一些語(yǔ)氣詞（比如輕笑、吸鼻子、清嗓子等等）等功能。

就上面圖中這個(gè)提示語(yǔ)，我們先來(lái)聽(tīng)聽(tīng)效果，

從整個(gè)音頻的這一段話中，能夠感覺(jué)到情緒是從開(kāi)心到難過(guò)，到有點(diǎn)釋然，再到有一點(diǎn)點(diǎn)難過(guò)的轉(zhuǎn)變過(guò)程。這個(gè)放到AI視頻里，可能就是需要抽卡了。

MiniMax Speech-2.8現(xiàn)在可以在句子中間加入吸氣、嘆氣等換氣方式。這種模擬真人說(shuō)話的細(xì)節(jié)非常靈活，可以根據(jù)我們自己的需求，把這些語(yǔ)氣加入進(jìn)去。

我又嘗試了一下更明顯的情緒轉(zhuǎn)變，像是講一個(gè)冷笑話的感覺(jué)，從原本恐懼的情緒突然轉(zhuǎn)變?yōu)殚_(kāi)心的情緒，講述自己實(shí)際上看到的并不是恐怖的東西，這有一種突然放松的感覺(jué)。

我們能加入的這些非語(yǔ)言性的語(yǔ)氣詞，其實(shí)就是在輔助情緒的表達(dá)，讓整個(gè) AI 生成的語(yǔ)音更加符合人受驚嚇時(shí)的本能，讓整段聲音表演的情緒轉(zhuǎn)化更自然。

或者我們?cè)诮o一些影片進(jìn)行風(fēng)格化的旁白配音的時(shí)候，也可以使用 MiniMax。

以前用AI生成語(yǔ)音，其實(shí)很難做到自然的換氣。你會(huì)發(fā)現(xiàn) AI 往往會(huì)一口氣說(shuō)出很長(zhǎng)的一段話，讓人有一種喘不上氣的感覺(jué)。但在 MiniMax Speech-2.8 里，是可以在一句話的中間加入「正常換氣」這個(gè)語(yǔ)氣詞。

甚至現(xiàn)在還有一些更有意思的東西。比如在語(yǔ)氣詞里加入哼唱，我們?cè)谥谱饕恍┍容^調(diào)皮、可愛(ài)的角色時(shí)，可以在他說(shuō)話的前面加上一段哼唱，這樣表現(xiàn)出來(lái)的效果就會(huì)更加生動(dòng)。

而且我這里發(fā)現(xiàn)了一個(gè)小tips，如果你想要它連續(xù)哼唱出來(lái)一段旋律，可以連續(xù)多添加幾個(gè)「哼唱」的語(yǔ)氣詞，將這些語(yǔ)氣詞疊在一起，它就可以輸出一段用你選中的音色哼唱出來(lái)的旋律，聽(tīng)起來(lái)更活潑。

或者，在表達(dá)某些感受的時(shí)候，其實(shí)也可以用上這些語(yǔ)氣詞。就比如說(shuō)在表達(dá)很疼、很痛的時(shí)候，可以用這個(gè)「嘶嘶聲」。這能很好地表現(xiàn)出人物被碰到傷口時(shí)那種撕拉的疼痛感，非常有現(xiàn)場(chǎng)感。而且我發(fā)現(xiàn)只要你疊的語(yǔ)氣詞數(shù)量越多，它呈現(xiàn)的語(yǔ)氣程度就會(huì)越重，越明顯。

而且 MiniMax 已經(jīng)內(nèi)置了非常豐富的音色選擇，適配非常多的角色。但如果你覺(jué)得這些預(yù)設(shè)音色都不太適合自己的角色，還可以用提示語(yǔ)自己設(shè)計(jì)一個(gè)專屬音色。

然后返回語(yǔ)音合成頁(yè)面，寫好你在這個(gè)語(yǔ)音中需要的文本，以及上面我們介紹過(guò)的那些語(yǔ)氣詞和情緒。最后在右面選擇你剛剛生成的音色，就能得到一段完全自定義的音頻了。

后續(xù)你還可以一直使用這個(gè)音色進(jìn)行持續(xù)不斷的生成，相當(dāng)于自己創(chuàng)建了一個(gè)聲優(yōu)角色。

而且現(xiàn)在還是進(jìn)去就有10000積分可以直接用，已經(jīng)夠生成很多很多音頻片段了。

這一圈體驗(yàn)下來(lái)，我已經(jīng)想好什么時(shí)候用音畫同步，什么時(shí)候用語(yǔ)音參考生成視頻了。

AI視頻模型的音畫同出，解決的是效率問(wèn)題，它讓普通人也能快速產(chǎn)出基本完整的視聽(tīng)內(nèi)容。

但MiniMax Speech-2.8解決的是完成度的問(wèn)題。

對(duì)于成熟的漫劇，短劇，甚至電影制作來(lái)說(shuō)，

畫面和聲音，通常都需要被分開(kāi)打磨。

你需要一個(gè)獨(dú)立的配音棚，去保證所有角色音色的統(tǒng)一，去補(bǔ)錄那些不夠完美的表演，去為一個(gè)關(guān)鍵鏡頭，反復(fù)調(diào)整演員說(shuō)話的口氣和節(jié)奏。

這就是我們平時(shí)在看影視劇的時(shí)候會(huì)發(fā)現(xiàn)，

除了拍攝影視劇的總導(dǎo)演之外，

實(shí)際上經(jīng)常會(huì)有一個(gè)聲效導(dǎo)演的職位，

他的職責(zé)就是去把控整部影片的聲音問(wèn)題，

讓影片的聲效在配合高質(zhì)量畫面的同時(shí)，也能夠給大家?guī)?lái)聽(tīng)覺(jué)上的沖擊。

所以即便是有了演員的現(xiàn)場(chǎng)錄音，但可能因?yàn)楸硌輹r(shí)的情緒或者是口音問(wèn)題，還是會(huì)讓演員在后期對(duì)自己的表演進(jìn)行重新配音。

MiniMax Audio讓我們也可以低成本即可實(shí)現(xiàn)專業(yè)配音效果，

按照我們的想法去調(diào)整音色，語(yǔ)速，語(yǔ)氣詞，

讓一句話中擁有不同的情感層次。

畢竟，讓畫面擁有生命力的，是表演。

而讓表演擁有靈魂的，

往往是聲音。

@ 作者 / 卡爾 & 阿湯

最后，感謝你看到這里如果喜歡這篇文章，不妨順手給我們點(diǎn)贊｜在看｜轉(zhuǎn)發(fā)｜評(píng)論

如果想要第一時(shí)間收到推送，不妨給我個(gè)星標(biāo)

如果你有更有趣的玩法，歡迎在評(píng)論區(qū)聊聊

更多的內(nèi)容正在不斷填坑中……