字節(jié)在前幾天發(fā)布了 Seedance 1.5 Pro 視頻生成模型。

重點是支持音畫同出了，而且在本地化方面下了很多的功夫。

先看一下藏師傅的測試視頻混剪：

結(jié)合官方介紹和我的測試結(jié)果說一下這次升級的主要內(nèi)容：

1. 視頻支持音畫同步生成，支持多種主流方言，并且顯著提升口型、語調(diào)對齊能力，方言效果很好；
2. 增強語義理解，模型可以比較好的解析敘事語境，聲音與畫面同步情緒控制和專業(yè)的表演能力提升非常大；
3. 精準且豐富的鏡頭控制，自主機位調(diào)度，長鏡頭、推軌變焦、希區(qū)柯克等都沒問題；
4. 支持首尾幀生成視頻，最長可單次生成 12 秒視頻，還有 5 秒和 10 秒可選。

令人驚喜且獨特的方言效果

音畫同出可以直出方言這個太驚喜了，在我們國內(nèi)的影視作品里面方言內(nèi)容一直是為角色賦予真實性和地方特色非常好用的一個手段，這下一些影視方面的應用要拓展了。

提示詞：

鏡頭懟著一個臉龐黝黑的老陜西人，他蹲在板凳上，手里捧著個臉盆大的青花瓷海碗，里面的面條被紅彤彤的油潑辣子裹得嚴嚴實實。他左手捏著一瓣蒜，咔嚓咬掉半截，右手猛地往嘴里猛吃了一大口面，發(fā)出震天響的吸溜聲。抬起頭時嘴邊全是紅油，他沖著鏡頭一瞪眼，滿臉陶醉地用陜西話吼道：“額給人說！吃面不吃蒜，味道少一半！這一口面，簡直美滴很！”說完抄起旁邊的汽水猛灌一口，沖著后廚喊：“伙計！面湯還有么？今兒這頓飯，硬是聊咋咧！”

首先我找了一個可能沒那么方言的方言陜西話，很多人說普通話的人可能聽得懂，但又有一些讀音很獨特的詞。

這種一般是比較難的，因為素材跟普通話太接近了，而且很多詞不好標注，只有真的下功夫才能搞好。

同時場景選了我每天看的陜西面食吃播場景，文生視頻，看一下整個畫面和音頻的融合程度，吃東西的時候也會影響說話，可以考驗模型對于場景的判斷。

結(jié)果相當驚喜，“聊咋咧”和“美滴很”這兩個比較難的詞都說出來了，而且音調(diào)也確實是陜西話的音調(diào)。

意外的是提示詞遵循比較好，知道先說一句然后喝飲料再說一句。

邊喝邊說的時候也沒有完全把瓶子放在嘴里，這時候就不能說話了，它知道說的時候拿開瓶子，然后再喝一口再說，非常真實。

提示詞：

街邊一棵老樹下的麻將桌，旁邊停著電瓶車，背景是嘈雜的市井聲。樹蔭下的老茶館門口，麻將桌旁圍得水泄不通，一位光膀子的大爺急得把蒲扇拍得震天響，沖著對家用四川話吼道：“哎呀，張大姐，搞快點嘛，等到花兒都謝咯！”對面燙著卷發(fā)的胖嬢嬢絲毫不慌，猛地把一張牌“啪”地拍在桌上，中氣十足地用四川話懟回去：“催命哇？慌啥子慌……二筒，我看你吃得消不！”旁邊的小伙子咬了一口紅糖鍋盔，探出頭來用四川話起哄：“嚯！這手牌，硬是巴適得板哦！”

然后是四川方言，我選了一個非常有挑戰(zhàn)性的場景，在提示詞里面加入了三個年齡不同、性別不同、打扮相差也很大的角色，說著不同的話。

這個提示詞說實話難度有點大了，但 Seedance 1.5 Pro 確實給了我很大的驚喜，每次抽卡都能比較好的遵循提示詞完成任務。

每個人都在用自己角色應該有的音色和音調(diào)在說話，而且不會串，“巴適得板”這種四川話獨有的詞也說的不錯。

而且你發(fā)現(xiàn)沒有，我是沒有指定鏡頭運動方式的，它自己會將鏡頭通過類似搖臂旋轉(zhuǎn)的方式對準正在說話的人，而且還有一點類似手持設備的晃動，鏡頭為止也在麻將桌沒有露面的那個角色那里，看起來就像那個人手持拍攝一樣。

背景虛化之后的其他人也都在運動和做自己的事情，加上非常有市井氣息的對話，這 12 秒的視頻變得異常的真實。

提示詞：

一家貼滿綠色馬賽克瓷磚的老店。一個穿著白大褂、夾著托盤的中年男服務員在卡座間穿梭。他猛地停在一張桌子前，把一杯茶噠地一聲重重頓在玻璃桌面上，原子筆在點菜本上敲得飛快。服務員眉毛一皺，語速極快的用粵語說：“喂，靚仔！寫嘢未??？諗好沒？后面仲有大把人等位啵！手腳快啲啦！”坐在卡座里的戴眼鏡的年輕人正看著手機，被嚇了一跳，趕緊合上油膩膩的菜單。戴眼鏡的年輕人慌忙抬頭用粵語說：“啊……唔該！要個干炒牛河，再來杯凍檸茶，少甜走冰！”

最后是粵語，這里也選了一個相當有市井生活氣息的餐館場景，依然文生視頻，兩人對話這次兩個都是男性看一下說話會不會串。

生成出來的時候這個運鏡真的頂，直接非常順滑的從服務員的背面切換到正面，而且說話的時候很自然的越過服務員打到男生的臉上。

提示詞遵循也非常好，每個提示詞中的細節(jié)都兼顧到了，包括貼瓷磚、服務員服、男生的眼鏡和手機，還有所有動作臺詞的時間順序，以往的模型總會漏一點細節(jié)，這次幾乎每次都很完美，無論是畫面、時序還是對話內(nèi)容。

對話里面以我這個不太懂粵語的人聽，還挺是那個味的，粵語特有的發(fā)音也都可以說，也歡迎“粵語警察”提意見。

之所以將這一塊放在最前面，首先是我前面說的方言對于影視劇中塑造角色形象塑造非常重要，另外一個原因是即使海外的模型如何厲害，關于我們本土文化的內(nèi)容和細節(jié)還是需要有國產(chǎn)模型來填補，也只能由國產(chǎn)模型來做。

很高興字節(jié)無論在圖像和視頻領域都很重視這些。

非人場景音畫同出測試

現(xiàn)在各種 AI 影視爆款里面涉及到音畫同出的除了各種真實人像之外，寵物 AI 視頻的流量也占了半壁江山，所以這里也需要考察一下寵物的聲音和唇形同步。

提示詞：

鏡頭懟臉拍，柔光燈下，一只大臉盤子的橘貓正襟危坐，胸口別著個只有指甲蓋大小的迷你麥克風。它頭頂戴著粉色蝴蝶結(jié)，一臉嚴肅地盯著面前還在冒熱氣的生煎。它先是湊近了嗅一嗅，胡須隨著呼吸高頻顫動，然后歪著頭，拿起餃子“啊嗚”一口咬住酥脆的餃子皮。麥克風里瞬間傳來清晰放大的“咔滋咔滋”脆響，緊接著是濕漉漉的“吧唧吧唧”咀嚼音。吃完一口，它瞇起眼睛，緊接著它伸出毛茸茸的“白手套”爪子，把旁邊的牛奶杯往懷里一扒拉，眼神霸氣地盯著鏡頭，說：“喵！嗷嗚！”

首先是小貓吃播，吃播對于音效和表情要求很高，吃東西必須得是跟視頻材質(zhì)相同的視頻，這里小貓吃煎餃咔滋咔滋的聲音就讓人聽的非常有食欲。

而且貓咪在咀嚼的時候很好的表現(xiàn)了出了非常擬人的為食物陶醉的表情，但是有沒有恐怖谷的問題，相當不錯。

提示詞：

一只坐在溫暖昏黃木制貓窩里的布偶貓，它擁有一雙像藍寶石一樣無辜的大眼睛，身上穿著一件精致的粉色針織小開衫，顯得軟萌又富貴。貓咪面前的軟墊上放著一個藍色的嬰兒安撫奶嘴，它先是用毛茸茸的爪子輕輕撥弄了一下奶嘴，然后帶著一種委屈又軟糯的中文小奶音自言自語道：“這是媽媽給我買的‘封印神器’……她說我半夜跑酷動靜像拆家，非要我叼著這個才能睡覺?！闭f完，貓咪順從地低頭把奶嘴含進嘴里，腮幫子鼓鼓地動了兩下，眼神瞬間變得迷離困倦，含糊不清地嘟囔出最后一句：“唔……別說……含著這個……還真有點……困了……”隨后慢慢閉上眼睛，畫面在它微微點頭打瞌睡的溫馨瞬間結(jié)束。

這里讓貓咪說人話，除了嘴型以外還有解刨結(jié)構的考驗，很多視頻動物說人話的時候嘴里的舌頭和牙齒就會變得像人，這里 Seedance 1.5 Pro 就很好，還是貓咪本身的結(jié)構。

說話的時候我們指定了小奶音來表現(xiàn)貓咪的可愛，模型輸出的也是類似孩子的聲音，最后我們還用...來表示說話的節(jié)奏和表現(xiàn)困意，生成的時候也按照對應的節(jié)奏放慢了說話速度，相當猛了。

真實且動人的情緒表現(xiàn)

既然說到了音畫同出的能力，那么模型的表演能力和情緒表現(xiàn)也是非常重要的部分，很多時候情緒或者表演能力跟音頻的關系相當大，只有畫面的時候表現(xiàn)力是不夠的。

提示詞：

在一個充滿塵埃與鐵銹味的廢土掩體暗室中，單頂光打在一位面容枯槁的幸存者臉上，使他的眼窩深陷成兩個黑洞。鏡頭采用極端面部特寫，他不敢直視鏡頭，眼神游離且充滿恐懼。他嘴唇干裂起皮，先是艱難地吞咽了一下口水，喉結(jié)明顯滾動，隨后用顫抖且嘶啞的氣聲緩緩吐出臺詞：“這一單我做完了……”，緊接著他猛地抬起頭直視鏡頭，眼眶瞬間發(fā)紅含淚，面部肌肉因極度緊繃而抽搐，用幾乎崩潰的哭腔急促地喊出：“求求你，把藥給我！” 說話時，這一瞬間的爆發(fā)導致他嘴角流出一絲渾濁的口水，下巴不受控制地劇烈抖動，整個人呈現(xiàn)出一種被逼至絕境的破碎感。

這里主要表現(xiàn)的是恐懼壓抑和懇求的復雜情緒，眼睛這里很傳神，將恐懼害怕同時又由于的情緒表現(xiàn)的很好。

第一句話的時候先是聲音很低的，這個時候仿佛還沒有下定決心，等到第二句話的時候就表現(xiàn)出那種反正說都說了膽子都大了，同時聲音也變大了。

在第二句話的時候畫面的變化也咋同步發(fā)生，眼神明顯堅定了很多。

在大口呼吸的時候脖子部分的運動以及嘴上的口水都非常好的表現(xiàn)了出來，進一步增加了真實感。

提示詞：

在賽博朋克風格的維修車間冷光下，年輕的機械師正被一臺高大的廢舊機器人逼在墻角。起初，機械師處于極度的心理防御狀態(tài)，他緊咬著后槽牙，咬肌明顯鼓起，眼神充滿倔強與痛苦，一邊用力推搡機器人冰冷的手臂，一邊從牙縫里狠狠地擠出前半句臺詞：“I can't fix it anymore...”。 隨著機器人并沒有放手而是繼續(xù)擁抱他，機械師的心理防線在這一秒崩塌，他原本緊繃的嘴角瞬間向下垮掉，整張臉皺縮在一起，發(fā)出一聲窒息般的抽泣，隨后把頭深深埋進機器人的線纜胸膛中，含糊不清地哭喊出后半句：“I can't fix anything anymore.” 身體隨之從僵硬對抗轉(zhuǎn)為癱軟下滑，展現(xiàn)出徹底的情感釋放。

這里用了英文和風格化的畫風順便測試一下在 2D 風格化畫風下的唇形同步以及面部情緒表現(xiàn)。

沒想到在側(cè)臉加 2D 的情況下模型的唇形同步、表情以及情緒變化還能表現(xiàn)的這么好，而且也沒有出現(xiàn)向3D 轉(zhuǎn)換的傾向相當穩(wěn)定。

最后的啜泣聲音與說話的聲音融合的也非常好，而且啜泣的時候面部的表現(xiàn)也在跟音頻同步，看起來渾然天成，碰到機器人的時候也有跟金屬碰撞的聲音，細節(jié)表現(xiàn)相當不錯了。

精準且豐富的鏡頭控制

這次更新的模型對于復雜運鏡控制的表現(xiàn)也好了很多，可能你通過前面的一些案例也可以看出來，我們再來點難得。

提示詞：

在一個深邃的歐式古堡長廊中，鏡頭聚焦在走廊盡頭一位驚恐的維多利亞時代女性面部，隨著時間推移，她臉部在畫面中的比例完全保持靜止不變，但她身后的長廊背景卻產(chǎn)生強烈的空間壓縮感，遠處的門窗仿佛瞬間拉近到了她腦后，走廊兩側(cè)的雕像和燭臺以一種詭異的視覺錯覺在極短時間內(nèi)改變了排列密度，制造出強烈的眩暈與壓迫感。

首先是一個大家熟知的高級運鏡技巧希區(qū)柯克變焦，他的原理是攝像機向后拉的同時變焦鏡頭向前推，使主體大小保持不變，但背景透視發(fā)生劇烈壓縮或擴張，但一般由于硬件限制這個變焦的時間和幅度是有局限的。

我們這里搞的非常的離譜了，一個連續(xù) 12 秒而且速度非?？斓南^(qū)柯克變焦，現(xiàn)實還是很難搞的，沒想到它居然搞定了，后面的城堡背景變化相當連貫。

人物的表情也會有微妙的變化，同時音效也會跟隨變焦的速度與主角呼吸的節(jié)奏變化，對于人物緊張的情緒渲染的異常的到位，這個太猛了。

提示詞：

頭處于一個中景距離，平穩(wěn)地跟隨一位身穿深藍色工裝外套、背部微駝的中年男性倉庫揀貨員。他正雙手推著一輛載滿棕色瓦楞紙箱的重型金屬平板手推車，在巨大的物流倉庫水泥地面上中速前行。首先，他穿過一條光線略顯昏暗、兩側(cè)是高聳入云的重型貨架的長廊，貨架上堆滿了各種貼著標簽的貨物托盤。他向左拐了一個大彎，進入一個更加寬敞、光線明亮的自動化分揀區(qū)域。進入新區(qū)后，遠處有幾輛叉車在緩慢移動。他繼續(xù)推車前行了一段，此時側(cè)面有一扇巨大的工業(yè)卷簾門半開著，下午的自然陽光斜射進來。直到他停在一臺打包機前，他松開推車把手，直起腰擦了一下額頭的汗，鏡頭緩緩推進到他的側(cè)臉和推車上靜止的箱子細節(jié)。

這是一個長鏡頭測試，對于每個區(qū)域的規(guī)定也很詳細，既考驗模型的長鏡頭跟隨調(diào)度能力，也考驗模型的物理一致性。

可以看到每個部分中提示詞要求的內(nèi)容都有呈現(xiàn)，同時在人物遮擋前和遮擋后都保持了很好的一致性。

運鏡部分非常穩(wěn)定，而且在比較難得轉(zhuǎn)彎部分以及最后人物停止之后擦汗的部分都嚴格遵循了提示詞的要求，尤其最后鏡頭變焦到人臉的時候相當順滑。

結(jié)尾

整個測試過程中也發(fā)現(xiàn)了一些小問題，比如方言這里肯定沒辦法覆蓋全部的方言種類，一些跟普通話過于接近的方言會有混淆問題。在音頻上跨分鏡如何解決音色的一致性也是一個需要處理和解決的問題，不然長視頻可能有些麻煩。

這次值得注意的是，除了情緒部分的幾個視頻外，其他的所有視頻我都是通過純文生視頻完成的。

一直以來很多模型都不太重視文生視頻的質(zhì)量，在色彩表現(xiàn)、物品材質(zhì)上都有很多問題。

Seedance 一直以來的文生視頻表現(xiàn)都非常好，這次音頻生成支持后整個視頻的一致性和真實性更是高了非常多，也更容易發(fā)揮模型的能力，經(jīng)常有比較驚艷的結(jié)果。

對于視頻 Agent 產(chǎn)品來說，原生的文生視頻表現(xiàn)加上音頻能力，在融合度和真實性上，肯定要比圖生要更好，而且也更便于進行上下文管理和一致性保持，以前的圖生是模型發(fā)展階段迫不得已的選擇。

我一直堅持文生視頻和視頻編輯才是未來，圖生是過渡，這次 Seedance 1.5 Pro 的在純文生音畫融合度以及純文生視頻偶爾表現(xiàn)出的自主智能運鏡等表現(xiàn)都讓我堅定了這個判斷。

今天，火山引擎正式發(fā)布豆包視頻生成模型Seedance 1.5 pro，即日起，個人用戶可在即夢AI、豆包APP、火山方舟體驗中心體驗；企業(yè)用戶自12月23日起可在火山引擎使用該模型API。體驗地址：exp.volcengine.com/ark/vision?launch=seedance

提示詞的理解、表演能力提升、音畫同出、文生視頻的高質(zhì)量都大幅降低了視頻制作的復雜性，視頻 Agent 產(chǎn)品的上下文長度也會隨著降低。

感覺視頻生成產(chǎn)品和視頻 Agent 又會迎來一個爆發(fā)期，之前有想法受限于模型的朋友們可以到火山引擎多嘗試了。

我是歸藏，今天的內(nèi)容就到這里。

如果覺得有幫助的話可以幫我點個贊或者喜歡，也可以轉(zhuǎn)發(fā)??給你需要的朋友們。