這項由香港科技大學(xué)、北京大學(xué)、香港大學(xué)等多所知名院校聯(lián)合完成的研究發(fā)表于2025年神經(jīng)信息處理系統(tǒng)會議(NeurIPS 2025)的視頻生成與評估工作坊，論文編號為arXiv:2412.02259v3。對于想要深入了解技術(shù)細(xì)節(jié)的讀者，可以通過這個編號在學(xué)術(shù)數(shù)據(jù)庫中找到完整論文。

現(xiàn)在的AI視頻生成技術(shù)就像是一個只會拍攝單個鏡頭的攝影師，雖然能創(chuàng)造出令人印象深刻的短視頻片段，但當(dāng)你要求它制作一部完整的多鏡頭故事時，就會遇到各種問題。就好比你想讓這個攝影師拍攝一個人從年輕到老年的故事，結(jié)果每個鏡頭里的主角都變成了不同的人，背景風(fēng)格也完全不統(tǒng)一，故事情節(jié)更是支離破碎。

這正是當(dāng)前視頻生成技術(shù)面臨的核心挑戰(zhàn)?，F(xiàn)有的方法在生成單個鏡頭時表現(xiàn)出色，但要制作像電影一樣的多鏡頭視頻時，就會出現(xiàn)三個嚴(yán)重問題：故事情節(jié)缺乏邏輯性、角色外貌前后不一致、鏡頭之間轉(zhuǎn)換生硬。這些問題讓自動化的電影級視頻制作變得幾乎不可能。

港科大的研究團(tuán)隊提出了一個叫做VideoGen-of-Thought(VGoT)的創(chuàng)新框架，這個名字的含義是"有思考過程的視頻生成"。這套系統(tǒng)的神奇之處在于，它能夠像一位經(jīng)驗豐富的電影導(dǎo)演一樣，從一個簡單的句子開始，系統(tǒng)性地規(guī)劃整個故事，然后自動生成具有連貫情節(jié)和視覺一致性的多鏡頭視頻。

VGoT的工作原理可以用制作一部電影的完整流程來理解。當(dāng)你給系統(tǒng)一句話描述，比如"講述瑪麗從出生到死亡的一生"，系統(tǒng)就像一個全能的電影制作團(tuán)隊，會自動完成從劇本創(chuàng)作到最終成片的所有工作。

**一、動態(tài)故事建模：從概念到劇本的智能轉(zhuǎn)換**

VGoT的第一步工作就像是一位資深編劇接到制片人的一句話創(chuàng)意后，需要將其擴(kuò)展成完整的電影劇本。這個過程被稱為"動態(tài)故事建模"，它能夠自動將用戶的簡單描述轉(zhuǎn)換成詳細(xì)的分鏡頭腳本。

整個過程分為兩個階段。首先，系統(tǒng)會將用戶的一句話描述擴(kuò)展成多個簡短的場景描述。比如，從"瑪麗的一生"這樣的概念，系統(tǒng)能夠生成"瑪麗作為嬰兒在醫(yī)院出生"、"年輕的瑪麗在學(xué)校學(xué)習(xí)"、"中年的瑪麗結(jié)婚生子"等30個不同的場景描述。

第二階段更加精細(xì)，系統(tǒng)會為每個場景生成詳細(xì)的拍攝指導(dǎo)。這些指導(dǎo)涵蓋五個關(guān)鍵維度，就像專業(yè)電影制作中的詳細(xì)分鏡頭腳本一樣。角色維度描述每個鏡頭中人物的外貌、表情和狀態(tài)變化，比如"年輕的瑪麗，穿著校服，眼中充滿求知欲"。背景維度確保場景的連續(xù)性和合理性，從醫(yī)院到學(xué)校再到家庭，每個環(huán)境都與故事發(fā)展相匹配。關(guān)系維度描述人物之間的互動和情感變化，確保故事的情感邏輯。鏡頭維度規(guī)劃攝像機(jī)的角度和運(yùn)動，比如特寫、全景、移動鏡頭等。光影維度則控制每個場景的光線效果，營造適當(dāng)?shù)姆諊?/p>

系統(tǒng)還具備自我驗證機(jī)制，就像一個經(jīng)驗豐富的導(dǎo)演會反復(fù)檢查劇本是否符合電影制作規(guī)范一樣。當(dāng)系統(tǒng)生成一個場景描述后，會自動檢查這個描述是否與前面的場景在邏輯上連貫，是否包含了所有必要的拍攝要素。如果發(fā)現(xiàn)問題，系統(tǒng)會自動重新生成，直到達(dá)到專業(yè)電影制作的標(biāo)準(zhǔn)。

這種智能化的劇本創(chuàng)作過程解決了傳統(tǒng)方法需要大量人工干預(yù)的問題。以前，制作一個多鏡頭視頻需要用戶詳細(xì)描述每個場景的各種細(xì)節(jié)，工作量巨大且容易出錯?，F(xiàn)在，用戶只需要提供一個基本想法，系統(tǒng)就能自動完成從創(chuàng)意到詳細(xì)拍攝計劃的全部工作。

**二、身份感知的跨鏡頭傳播：讓角色始終如一**

在多鏡頭視頻中保持角色的一致性，就像是要確保一個演員在電影的不同場景中始終是同一個人，即使他們的年齡、表情、服裝會發(fā)生變化，但核心的面部特征和身份特征必須保持一致。這是VGoT解決的第二個關(guān)鍵問題。

系統(tǒng)采用了一種叫做"身份感知的跨鏡頭傳播"技術(shù)。這個技術(shù)的核心思想是創(chuàng)建"身份保護(hù)肖像"標(biāo)記，簡稱IPP標(biāo)記。這些標(biāo)記就像是每個角色的身份證照片，包含了角色最核心的身份特征信息。

整個過程可以比作專業(yè)化妝師的工作流程。首先，系統(tǒng)會分析劇本中的所有角色，識別出諸如"年輕的瑪麗"、"中年的瑪麗"、"老年的瑪麗"這樣的角色變體。然后，系統(tǒng)會為每個角色變體生成對應(yīng)的IPP標(biāo)記，這些標(biāo)記捕捉了角色在不同階段的關(guān)鍵特征，同時保持核心身份的一致性。

在生成每個鏡頭的關(guān)鍵幀時，系統(tǒng)會將這些IPP標(biāo)記融入到圖像生成過程中。這就像是給AI畫師提供了詳細(xì)的人物設(shè)定資料，確保他在繪制不同場景時，同一個角色總是具有一致的核心特征。系統(tǒng)通過一種叫做交叉注意力機(jī)制的技術(shù)來實(shí)現(xiàn)這種融合，這個機(jī)制能夠在生成圖像時同時考慮文本描述和身份特征信息。

這種方法的巧妙之處在于，它既保持了角色身份的一致性，又允許角色隨著故事發(fā)展而發(fā)生合理的變化。比如，瑪麗從年輕到年老的過程中，她的面部輪廓、眼睛形狀等核心特征會保持一致，但皺紋、發(fā)色、表情等可以根據(jù)故事需要發(fā)生變化。

相比傳統(tǒng)方法，這種技術(shù)大大減少了視頻中"換臉"現(xiàn)象的發(fā)生。在以前的多鏡頭視頻生成中，經(jīng)常會出現(xiàn)同一個角色在不同鏡頭中看起來像完全不同的人，嚴(yán)重影響觀看體驗。VGoT的身份感知技術(shù)有效解決了這個問題，讓生成的多鏡頭視頻具有了專業(yè)電影的角色一致性。

**三、相鄰潛在轉(zhuǎn)換機(jī)制：實(shí)現(xiàn)無縫鏡頭切換**

電影中最考驗技術(shù)水平的地方之一就是鏡頭之間的轉(zhuǎn)換。好的電影能讓觀眾在鏡頭切換時感到自然流暢，而糟糕的轉(zhuǎn)換會讓觀眾感到突兀和不適。VGoT的第三個核心技術(shù)就是解決多鏡頭視頻中的轉(zhuǎn)換問題。

這個技術(shù)被稱為"相鄰潛在轉(zhuǎn)換機(jī)制"，工作原理類似于專業(yè)視頻編輯中的轉(zhuǎn)場技術(shù)。在傳統(tǒng)的視頻編輯中，剪輯師會在鏡頭交接處使用各種轉(zhuǎn)場效果，如淡入淡出、交叉溶解等，讓鏡頭切換顯得自然。VGoT在生成視頻時就預(yù)先考慮了這種轉(zhuǎn)換需求。

系統(tǒng)的處理方式可以用接力跑來類比。在接力跑中，前一棒運(yùn)動員和后一棒運(yùn)動員需要在交接區(qū)域內(nèi)完成接力棒的傳遞，這個過程需要兩人的速度和節(jié)奏相匹配。同樣，VGoT在處理鏡頭轉(zhuǎn)換時，會讓相鄰鏡頭在交接區(qū)域共享一些視覺特征，確保轉(zhuǎn)換的流暢性。

具體來說，系統(tǒng)會在生成每個鏡頭時考慮前一個鏡頭的結(jié)束狀態(tài)。比如，如果前一個鏡頭是瑪麗坐在桌邊看書，下一個鏡頭是她站起來走向窗戶，系統(tǒng)會確保這兩個動作在視覺上能夠自然銜接。這不僅包括動作的連貫性，還包括光線、色調(diào)、攝像機(jī)角度的平滑過渡。

系統(tǒng)采用了一種邊界感知的重置策略。當(dāng)從一個鏡頭轉(zhuǎn)換到下一個鏡頭時，系統(tǒng)會重新初始化部分生成參數(shù)，但同時保留一些來自前一鏡頭的信息。這就像是在換檔時，雖然要切換到新的檔位，但車速和方向的改變是漸進(jìn)的，而不是突然的。

這種轉(zhuǎn)換機(jī)制還具有自適應(yīng)性。對于劇情變化較大的鏡頭切換，比如從室內(nèi)轉(zhuǎn)到戶外，或者從白天轉(zhuǎn)到夜晚，系統(tǒng)會適當(dāng)增加重置的程度，允許更大的視覺變化。而對于連續(xù)性較強(qiáng)的鏡頭，系統(tǒng)會保持更多的共同特征，確保視覺的連貫性。

通過這種智能化的轉(zhuǎn)換處理，VGoT生成的多鏡頭視頻避免了傳統(tǒng)方法中常見的"跳躍感"問題。觀眾觀看時會感到整個視頻像是一部完整的作品，而不是多個獨(dú)立片段的簡單拼接。

**四、訓(xùn)練免費(fèi)的整合框架：化繁為簡的技術(shù)整合**

VGoT最令人印象深刻的特點(diǎn)之一是它不需要額外的訓(xùn)練就能工作。這就像是一個熟練的廚師，能夠使用現(xiàn)有的食材和工具制作出全新的菜品，而不需要重新學(xué)習(xí)烹飪技巧。這種"訓(xùn)練免費(fèi)"的特性讓VGoT具有了極強(qiáng)的實(shí)用性和可擴(kuò)展性。

傳統(tǒng)的AI視頻生成方法通常需要大量的訓(xùn)練數(shù)據(jù)和計算資源來學(xué)習(xí)如何生成特定類型的視頻。這個過程既耗時又昂貴，就像是要培訓(xùn)一個專業(yè)演員，需要長期的訓(xùn)練和大量的排練。而VGoT采用了一種全新的思路，它將現(xiàn)有的成熟技術(shù)組合起來，通過巧妙的協(xié)調(diào)和管理來實(shí)現(xiàn)多鏡頭視頻生成。

系統(tǒng)的架構(gòu)就像是一個協(xié)調(diào)良好的制作團(tuán)隊。編劇部門（動態(tài)故事建模）負(fù)責(zé)創(chuàng)作劇本，美術(shù)部門（身份感知傳播）負(fù)責(zé)角色設(shè)計和視覺一致性，剪輯部門（轉(zhuǎn)換機(jī)制）負(fù)責(zé)鏡頭的銜接和流暢性。每個部門都使用現(xiàn)有的專業(yè)工具，但通過VGoT的協(xié)調(diào)，它們能夠無縫配合，產(chǎn)生遠(yuǎn)超各部分簡單相加的效果。

這種設(shè)計哲學(xué)的優(yōu)勢在于靈活性和可維護(hù)性。當(dāng)某個組件有了更好的替代品時，比如出現(xiàn)了更先進(jìn)的圖像生成模型或者更智能的文本理解系統(tǒng)，VGoT可以輕松地替換相應(yīng)的組件，而不需要重新訓(xùn)練整個系統(tǒng)。這就像是升級汽車的某個零件，不需要重新學(xué)習(xí)駕駛技能。

更重要的是，這種方法大大降低了技術(shù)使用的門檻。用戶不需要準(zhǔn)備大量的訓(xùn)練數(shù)據(jù)，不需要昂貴的計算資源進(jìn)行模型訓(xùn)練，只需要提供一個簡單的文本描述，系統(tǒng)就能開始工作。這讓高質(zhì)量的多鏡頭視頻生成技術(shù)從實(shí)驗室走向了實(shí)際應(yīng)用。

**五、實(shí)驗結(jié)果：數(shù)據(jù)說話的技術(shù)驗證**

為了驗證VGoT的效果，研究團(tuán)隊進(jìn)行了全面的測試和比較。他們創(chuàng)建了一個包含10個不同故事的測試集，每個故事包含30個鏡頭，總共300個鏡頭的視頻內(nèi)容。這些故事涵蓋了從個人傳記到冒險探索的各種類型，確保測試的全面性。

測試結(jié)果令人印象深刻。在角色一致性方面，VGoT的表現(xiàn)遠(yuǎn)超現(xiàn)有技術(shù)。具體來說，在同一鏡頭內(nèi)的人臉一致性測試中，VGoT得分0.8138，比最好的對比方法高出20.4%。這意味著VGoT生成的視頻中，同一個角色在鏡頭內(nèi)的不同幀之間保持了更好的一致性，避免了角色外貌突然變化的問題。

更重要的是跨鏡頭的一致性表現(xiàn)。在這個更具挑戰(zhàn)性的測試中，VGoT的表現(xiàn)更加突出，得分0.2688，比對比方法高出2.9倍。這個巨大的提升說明VGoT確實(shí)解決了多鏡頭視頻生成中最核心的問題——讓同一個角色在不同鏡頭中保持身份的一致性。

在視覺風(fēng)格的一致性方面，VGoT同樣表現(xiàn)優(yōu)異。鏡頭內(nèi)的風(fēng)格一致性得分0.9717，比最佳對比方法高出17.4%。跨鏡頭的風(fēng)格一致性更是達(dá)到了0.4276，比對比方法高出106.6%。這意味著VGoT生成的視頻不僅在角色上保持一致，在整體的視覺風(fēng)格上也更加統(tǒng)一和專業(yè)。

研究團(tuán)隊還進(jìn)行了人工評估，邀請觀眾對生成的視頻進(jìn)行主觀評價。結(jié)果顯示，66.7%的評估者認(rèn)為VGoT在跨鏡頭一致性方面表現(xiàn)"良好"，而最好的對比方法只有27.2%的"良好"評價。在整體視覺質(zhì)量方面，70%的評估者給VGoT打出了"良好"的評分。

特別值得注意的是，VGoT實(shí)現(xiàn)這些優(yōu)異表現(xiàn)的同時，所需的人工干預(yù)比傳統(tǒng)方法減少了10倍。這意味著用戶可以用更少的時間和精力獲得更好的視頻生成效果，這對于實(shí)際應(yīng)用來說具有重要意義。

研究團(tuán)隊還進(jìn)行了詳細(xì)的消融實(shí)驗，分別測試了系統(tǒng)各個組件的貢獻(xiàn)。結(jié)果顯示，當(dāng)移除動態(tài)故事建模功能時，雖然某些指標(biāo)有所提升，但生成的視頻缺乏敘事的多樣性，往往出現(xiàn)重復(fù)的鏡頭角度和單調(diào)的場景設(shè)置。當(dāng)移除身份感知傳播功能時，角色一致性顯著下降，出現(xiàn)了明顯的"換人"現(xiàn)象。這些實(shí)驗證實(shí)了VGoT各個組件的重要性和相互協(xié)作的價值。

**六、技術(shù)突破的深遠(yuǎn)意義**

VGoT的技術(shù)突破不僅僅是學(xué)術(shù)上的進(jìn)步，更代表了視頻生成技術(shù)從"制作片段"向"創(chuàng)作完整作品"的重要轉(zhuǎn)變。這種轉(zhuǎn)變的意義可以從多個角度來理解。

從技術(shù)發(fā)展的角度看，VGoT證明了通過智能系統(tǒng)設(shè)計，可以在不增加訓(xùn)練成本的情況下實(shí)現(xiàn)功能的質(zhì)的飛躍。這種思路為其他AI應(yīng)用提供了重要啟示：有時候，巧妙的系統(tǒng)架構(gòu)比單純的模型規(guī)模擴(kuò)大更能帶來實(shí)質(zhì)性的進(jìn)步。

從應(yīng)用前景來說，VGoT為內(nèi)容創(chuàng)作行業(yè)帶來了新的可能性。傳統(tǒng)的視頻制作需要專業(yè)團(tuán)隊、昂貴設(shè)備和大量時間，而VGoT讓個人用戶也能制作出具有專業(yè)水準(zhǔn)的多鏡頭視頻。這不僅降低了內(nèi)容創(chuàng)作的門檻，也為教育、營銷、娛樂等領(lǐng)域提供了新的工具。

在教育領(lǐng)域，教師可以用VGoT快速制作歷史事件的演示視頻，將抽象的概念轉(zhuǎn)化為直觀的視覺故事。在商業(yè)領(lǐng)域，小企業(yè)可以制作產(chǎn)品宣傳片或品牌故事視頻，而不需要聘請專業(yè)的視頻制作團(tuán)隊。在個人表達(dá)方面，普通用戶可以制作家庭記錄片或創(chuàng)意短片，記錄和分享自己的生活故事。

從技術(shù)倫理的角度，研究團(tuán)隊也充分考慮了可能的風(fēng)險和挑戰(zhàn)。他們建議在使用這項技術(shù)時添加AI生成標(biāo)識，避免誤導(dǎo)觀眾。同時，他們也意識到這項技術(shù)可能被惡意使用來制作虛假信息，因此強(qiáng)調(diào)了負(fù)責(zé)任使用的重要性。

VGoT還為未來的研究指明了方向。研究團(tuán)隊提出了幾個改進(jìn)計劃：整合更強(qiáng)大的視頻生成模型來提高動作的多樣性和長期一致性；擴(kuò)展身份處理能力來支持多個主體的復(fù)雜交互；拓展文化和語言覆蓋面來服務(wù)更廣泛的用戶群體；在腳本生成中引入更專業(yè)的電影編劇技巧。

這項研究的另一個重要貢獻(xiàn)是建立了多鏡頭視頻生成的評估框架。以前，研究者缺乏專門評估多鏡頭視頻質(zhì)量的標(biāo)準(zhǔn)化方法，往往只能依靠主觀判斷。VGoT提出的四個量化指標(biāo)——鏡頭內(nèi)人臉一致性、跨鏡頭人臉一致性、鏡頭內(nèi)風(fēng)格一致性、跨鏡頭風(fēng)格一致性——為這個領(lǐng)域提供了客觀的評估標(biāo)準(zhǔn)。

說到底，VGoT代表了AI視頻生成技術(shù)的一個重要里程碑。它不僅解決了當(dāng)前技術(shù)的核心限制，更重要的是展示了一種新的技術(shù)發(fā)展思路。通過將復(fù)雜問題分解為可管理的子問題，然后用巧妙的系統(tǒng)設(shè)計將解決方案整合起來，VGoT實(shí)現(xiàn)了從量變到質(zhì)變的技術(shù)突破。

這種方法學(xué)對于其他AI應(yīng)用領(lǐng)域也具有借鑒價值。它告訴我們，有時候最好的解決方案不是開發(fā)全新的復(fù)雜模型，而是以創(chuàng)新的方式組合現(xiàn)有的成熟技術(shù)。這種"站在巨人肩膀上"的研究思路，可能是AI技術(shù)走向?qū)嵱没闹匾窂健?/p>

對于普通用戶來說，VGoT的意義在于它讓高質(zhì)量的視頻創(chuàng)作變得觸手可及。你不再需要學(xué)習(xí)復(fù)雜的視頻編輯軟件，不需要購買昂貴的設(shè)備，也不需要具備專業(yè)的拍攝技能。只需要一個好的想法和一句簡單的描述，就能創(chuàng)作出令人印象深刻的視頻作品。

這項技術(shù)的出現(xiàn)，讓我們看到了AI技術(shù)真正服務(wù)于人類創(chuàng)造力的可能性。它不是要取代人類的創(chuàng)意，而是要放大人類的創(chuàng)意潛能，讓每個人都能成為自己故事的導(dǎo)演。隨著技術(shù)的進(jìn)一步發(fā)展和普及，我們有理由相信，未來的內(nèi)容創(chuàng)作世界將變得更加民主化、多元化和充滿創(chuàng)意。

Q&A

Q1：VideoGen-of-Thought能生成多長的視頻？

A：VGoT可以生成30個鏡頭的多鏡頭視頻，相當(dāng)于分鐘級別的完整故事。每個鏡頭包含多幀畫面，整個視頻具有連貫的敘事結(jié)構(gòu)和視覺一致性，遠(yuǎn)超傳統(tǒng)AI視頻生成技術(shù)只能制作短片段的限制。

Q2：使用VGoT生成視頻需要什么技術(shù)基礎(chǔ)？

A：VGoT的最大優(yōu)勢就是極大降低了使用門檻。用戶只需要提供一句話的故事描述，比如"講述一個人從年輕到老的人生歷程"，系統(tǒng)就能自動完成從劇本創(chuàng)作到視頻生成的全部工作，不需要專業(yè)的視頻制作知識或昂貴的設(shè)備。

Q3：VGoT生成的視頻角色為什么能保持一致？

A：VGoT使用了"身份感知的跨鏡頭傳播"技術(shù)，為每個角色創(chuàng)建身份標(biāo)識碼。就像給演員制作身份檔案一樣，系統(tǒng)記住角色的核心特征，確保同一個人在不同鏡頭中始終保持相同的面部輪廓、眼型等關(guān)鍵特征，同時允許表情、年齡等合理變化。