從 GAN 到 Diffusion，視頻生成，已經(jīng)徹底換代。

過去的視頻生成：閃爍、漂移、人臉和背景越跑越崩。而現(xiàn)在，擴(kuò)散模型開始在一致性、高生成質(zhì)量、可控性上全面接管。

但問題來了，視頻擴(kuò)散模型這么多，到底該怎么理解？又發(fā)展到哪一步了？

為此，來自University of Waterloo × Duke University × Netflix Eyeline Studios研究團(tuán)隊(duì)在TMLR上發(fā)布了一篇——目前最全面的視頻擴(kuò)散模型綜述，不僅講模型，還把工程、評(píng)測、應(yīng)用、未來前景一次性講透。

論文標(biāo)題： Survey of Video Diffusion Models: Foundations, Implementations, and Applications 論文地址： https://openreview.net/forum?id=2ODDBObKjH 項(xiàng)目主頁： https://github.com/Eyeline-Labs/Survey-Video-Diffusion

這篇文章到底做了什么？

一句話總結(jié)：給視頻擴(kuò)散模型，畫了一張“全景地圖”。

核心看點(diǎn)包括

核心看點(diǎn)一： 視頻生成范式，真的變了

視頻生成范式經(jīng)歷了從追求速度到追求質(zhì)量與一致性的轉(zhuǎn)變，論文系統(tǒng)對(duì)比了不同范式的優(yōu)劣：

• GAN (生成對(duì)抗網(wǎng)絡(luò)) 的局限性 ：

• • 不穩(wěn)定性：GAN 依賴于生成器和判別器的對(duì)抗博弈，在處理視頻的高維空間時(shí)極易出現(xiàn)訓(xùn)練崩潰（Training Collapse）。

  • 時(shí)序建模能力弱：GAN 在建模復(fù)雜的視頻時(shí)序依賴時(shí)表現(xiàn)乏力，難以捕捉長程的動(dòng)態(tài)變化。

• 自回歸模型 (Auto-regressive Models) ：

• • 這種模型通過逐幀或逐 Token 的方式生成視頻，雖然能較好地處理序列關(guān)系，但存在誤差累積問題，且推理速度隨視頻長度增加而顯著變慢。

• Diffusion (擴(kuò)散模型) 的天然優(yōu)勢(shì) ：

• • 建模時(shí)間不確定性：擴(kuò)散模型通過漸進(jìn)式的去噪過程生成內(nèi)容，這種隨機(jī)映射機(jī)制天生適合建模視頻中復(fù)雜的運(yùn)動(dòng)軌跡和不確定性。

  • 更高的視覺質(zhì)量與一致性：相比 GAN，擴(kuò)散模型在生成視頻的像素細(xì)節(jié)和時(shí)序一致性（Temporal Consistency）上具有顯著優(yōu)勢(shì)。

• 混合模型 (如自回歸擴(kuò)散模型) ：

• • 論文提到了自回歸視頻擴(kuò)散模型 (Auto-regressive Video Diffusion Models)， 這種混合范式結(jié)合了自回歸的長視頻生成能力和擴(kuò)散模型的高質(zhì)量生成效果，旨在突破長視頻生成的瓶頸。

系統(tǒng)拆解了：

• 為什么 GAN 在視頻上不穩(wěn)定

• 為什么 Diffusion 天生更適合建模時(shí)間不確定性

• 不同范式在一致性 / 長視頻 / 計(jì)算成本上的本質(zhì)差異

核心看點(diǎn)二： 第一次把「訓(xùn)練工程」

系統(tǒng)講清楚

真正決定視頻質(zhì)量的，往往不是網(wǎng)絡(luò)結(jié)構(gòu)，而是工程細(xì)節(jié)。

文章系統(tǒng)總結(jié)了：

• 數(shù)據(jù)集與預(yù)處理 (Datasets) ： 論文系統(tǒng)整理了視頻生成領(lǐng)域的主流數(shù)據(jù)集 ，并指出高質(zhì)量的數(shù)據(jù)清洗、多模態(tài)對(duì)齊（如視頻-文本對(duì)）是提升生成效果的基石。

• 推理加速技術(shù) (Inference Acceleration) ：

• • DDIM (去噪擴(kuò)散隱式模型)：通過非馬爾可夫鏈過程顯著減少采樣步數(shù) 。

  • EDM (闡釋擴(kuò)散模型)：通過改進(jìn)的隨機(jī)微分方程框架優(yōu)化采樣軌跡 。

  • Rectified Flow (整流模型)：通過直線化傳輸路徑進(jìn)一步提升采樣效率，是當(dāng)前工業(yè)界落地的核心技術(shù)之一 。

• 多維度的視頻專屬評(píng)測指標(biāo)：除了傳統(tǒng)的FVD (Fréchet Video Distance)用于評(píng)估分布相似度外，論文還強(qiáng)調(diào)了針對(duì)視頻特性的指標(biāo)：

• • 時(shí)序一致性評(píng)估：檢測幀與幀之間是否存在閃爍或突變。

  • 語義準(zhǔn)確性：評(píng)估生成的視頻內(nèi)容是否與輸入文本（Prompt）精確對(duì)應(yīng) 。

• 訓(xùn)練技巧 (Training Engineering)：包括噪聲調(diào)度 (Noise Scheduling)、潛空間壓縮 (Latent Space Compression) 以及如何利用文本編碼器（Text Encoders）提升控制力 。

這篇論文不僅提供了理論框架，還特別設(shè)置了“行業(yè)解決方案”和“訓(xùn)練工程技術(shù)”章節(jié)，為工程落地提供了極具價(jià)值的參考。

核心看點(diǎn)三： 從“視覺奇觀”到

“工業(yè)級(jí)精密控制”

視頻生成已跨越單純的“文本生視頻”階段，論文詳細(xì)展示了如何通過全鏈路視頻處理能力：

• 全鏈路視頻處理能力 ：

• • 低級(jí)視覺任務(wù) ：不僅是生成，擴(kuò)散模型在插幀、去噪、超分等傳統(tǒng)視頻處理任務(wù)中也表現(xiàn)出極強(qiáng)的能力，通過強(qiáng)大的先驗(yàn)知識(shí)修復(fù)低質(zhì)量素材 。

  • 長視頻一致性 ：論文探討了通過自回歸生成或潛空間擴(kuò)展技術(shù)，在維持?jǐn)?shù)分鐘視頻長度的同時(shí)，確保角色、場景的一致性不漂移 。

• 精密化的條件操縱（Conditioning） ：

• • 身份鎖死（Identity Preserving） ：利用特定的Adapter（適配器）或ID-Encoder，即便在復(fù)雜大幅度動(dòng)作下，也能精準(zhǔn)保持角色的臉部特征和衣著細(xì)節(jié) 。

  • 交互式與運(yùn)動(dòng)控制 ：引入Trajectory（軌跡）、Drag（拖拽）及6DoF 相機(jī)參數(shù)，讓用戶能以像素級(jí)精度控制物體走位和鏡頭運(yùn)鏡 。

  • 多模態(tài)驅(qū)動(dòng) ：支持Audio（音頻）驅(qū)動(dòng)實(shí)現(xiàn)音畫同步（如對(duì)口型或隨樂起舞），以及Depth（深度圖）、Sketch（草圖）等幾何控制，實(shí)現(xiàn)了真正可預(yù)測的視頻內(nèi)容生產(chǎn) 。

視頻生成，正在從“想象力”進(jìn)化為“生產(chǎn)力”。

更關(guān)鍵的是：Conditioning 已經(jīng)細(xì)化到工業(yè)級(jí)

現(xiàn)在的視頻生成，不再是“抽卡”，而是精密操縱：

想讓誰動(dòng)？
→ Image Condition 鎖死身份，大幅動(dòng)作也不崩臉

怎么動(dòng)？
→ Trajectory / Drag 控制，精確到像素級(jí)走位

鏡頭怎么走？
→ 輸入 6DoF 相機(jī)軌跡，電影級(jí)運(yùn)鏡穩(wěn)定輸出

跟音樂跳舞？
→ Audio 作為成熟驅(qū)動(dòng)信號(hào)，音畫高度同步

甚至還能：

• 身份鎖死（Identity Preserving）：利用特定Adapter（適配器）或ID-Encoder，即便復(fù)雜大幅度動(dòng)作，也能精準(zhǔn)保持角色的臉部特征和衣著細(xì)節(jié) 。

• 交互式與運(yùn)動(dòng)控制 ：引入Trajectory（軌跡）、Drag（拖拽）及6DoF 相機(jī)參數(shù)，讓用戶能以像素級(jí)精度控制物體走位和鏡頭運(yùn)鏡 。

• 多模態(tài)驅(qū)動(dòng) ：支持Audio（音頻）驅(qū)動(dòng)實(shí)現(xiàn)音畫同步（如對(duì)口型或隨樂起舞），以及Depth（深度圖）、Sketch（草圖）等幾何控制，實(shí)現(xiàn)了真正可預(yù)測的視頻內(nèi)容生產(chǎn) 。

核心看點(diǎn)四：一個(gè)重要判斷，

視頻生成即是“世界理解”的基礎(chǔ)模型

視頻生成，正在反向推動(dòng)視頻理解。

原因很簡單：為了把視頻“生成對(duì)”，模型被迫學(xué)會(huì)理解視頻世界本身。

在訓(xùn)練視頻擴(kuò)散模型的過程中，模型必須內(nèi)隱地掌握：

• 物體在時(shí)間中的持續(xù)存在（Object permanence）

• 動(dòng)作與結(jié)果之間的因果關(guān)系

• 多物體交互下的運(yùn)動(dòng)一致性

• 視角變化、遮擋、幾何約束

這些能力，恰恰是視頻理解（檢索 / Action / Event / VQA）里最難、最核心的部分。

也正因?yàn)槿绱恕?strong>視頻擴(kuò)散模型，正在從「生成工具」，演進(jìn)為「視頻世界的基礎(chǔ)模型」。

這里的「基礎(chǔ)模型」并不是指：一個(gè)只會(huì)“畫視頻”的大模型。

而是指：一個(gè)能夠建模視頻中“時(shí)間 + 空間 + 運(yùn)動(dòng) + 因果”的通用世界模型。

它可以：

• 向前生成（imagine the future）

• 向后推斷（understand what happened）

• 在生成與理解之間共享表示與中間空間

從這個(gè)角度看，視頻理解不再只是“讀視頻”，而是開始建立在生成式世界模型之上。

這也是為什么，Video Diffusion 正在成為通用視頻智能（Video Intelligence）的底座，而不僅僅是 AIGC 的一個(gè)分支。

核心看點(diǎn)五： 關(guān)于“倫理與安全”的平衡

在追求生產(chǎn)力爆發(fā)的同時(shí)，論文也提醒我們不能忽視視頻生成帶來的雙刃劍效應(yīng)：

• 內(nèi)容的真實(shí)性與防偽：隨著生成視頻達(dá)到“真假難辨”的水平，如何防范Deepfake（深度偽造）和誤導(dǎo)性內(nèi)容的傳播，是工業(yè)界必須面對(duì)的課題 。

• 版權(quán)與數(shù)據(jù)合規(guī)：大規(guī)模數(shù)據(jù)集的訓(xùn)練離不開對(duì)互聯(lián)網(wǎng)數(shù)據(jù)的采集，如何保障創(chuàng)作者的版權(quán)，以及生成內(nèi)容的歸屬權(quán)，仍處于法律與倫理的討論前沿 。

• 安全防線（Safety Alignment）：在模型訓(xùn)練階段引入更完善的過濾機(jī)制，確保生成內(nèi)容符合社會(huì)公德和安全標(biāo)準(zhǔn)，是視頻擴(kuò)散模型走向大規(guī)模商用的前提。

論文在結(jié)論中明確指出，視頻擴(kuò)散模型正在經(jīng)歷一場從單純的視覺創(chuàng)作工具向復(fù)雜系統(tǒng)模擬器的本質(zhì)蛻變：

1. 工程與效率的“雙輪驅(qū)動(dòng)”

• 正如我們?cè)诳袋c(diǎn)二中提到的，未來的勝負(fù)手不僅在模型參數(shù)，更在于計(jì)算效率與工程優(yōu)化。 結(jié) 論強(qiáng)調(diào)了推理加速技術(shù)（如 Rectified Flow）和高效架構(gòu)創(chuàng)新是實(shí)現(xiàn)實(shí)時(shí)、長視頻生成的必經(jīng)之路 。

2. 從“像素對(duì)齊”到“語義與物理對(duì)齊”

• 未來的視頻生成將更加注重精準(zhǔn)的可控性。 結(jié) 論指出，模型將不再滿足于“畫得像”，而是要深度理解復(fù)雜的物體交互和長程時(shí)序一致性，使生成結(jié)果不僅符合視覺審美，更符合物理邏輯 。

3. 視頻生成即“世界模型”的終極愿景

• 論文結(jié)論預(yù)判，視頻擴(kuò)散模型將成為連接生成與理解的橋梁 。它不僅是一個(gè) AIGC 分支，更是視頻表征學(xué)習(xí)、問答和檢索的底層動(dòng)力 。

4. 技術(shù)跑得越快，倫理的‘剎車’就要越靈。

• 視頻擴(kuò)散模型在釋放無窮創(chuàng)造力的同時(shí)，如何構(gòu)建安全、可信的生成環(huán)境（Ethical Framework），將是它從實(shí)驗(yàn)室走向全社會(huì)應(yīng)用過程中，與技術(shù)突破同等重要的議題 。

這篇論文最后傳達(dá)了一個(gè)核心信號(hào)：視頻生成正在從“模擬像素”進(jìn)化為“模擬世界”。它不僅改變了我們創(chuàng)作視頻的方式，更重新定義機(jī)器理解現(xiàn)實(shí)世界的能力 。

“視頻擴(kuò)散模型不再僅僅是生成，它是通向通用視頻智能（Video Intelligence）的基石?！?/strong>

共同第一作者王易木是 University of Waterloo （加拿大滑鐵盧大學(xué)） 計(jì)算機(jī)科學(xué)系的在讀博士生，專注于多模態(tài)模型的研究和開發(fā)，涵蓋多模態(tài)理解、推理與檢索，重點(diǎn)方向包括跨模態(tài)檢索和圖片與視頻的理解。他以第一作者身份在 NeurIPS、CVPR、EMNLP、NAACL 等人工智能頂會(huì)發(fā)表多篇論文 。此外，他擁有豐富的工業(yè)界研究經(jīng)驗(yàn)，曾先后在亞馬遜（Amazon）、索尼（Sony AI）、Borealis AI實(shí)習(xí)工作。

最后作者于寧是 Netflix Eyeline 資深研究科學(xué)家，帶領(lǐng)視頻生成 AI 在影視制作中的研發(fā)。他曾就職于 Salesforce、NVIDIA 及 Adobe，獲馬里蘭大學(xué)與馬普所聯(lián)合博士學(xué)位。他多次入圍高通獎(jiǎng)學(xué)金、CSAW 歐洲最佳論文，并獲亞馬遜 Twitch 獎(jiǎng)學(xué)金、微軟小學(xué)者獎(jiǎng)學(xué)金，以及 SPIE 最佳學(xué)生論文。他擔(dān)任 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR 等頂會(huì)的領(lǐng)域主席，以及 TMLR 的執(zhí)行編輯。

llustration From IconScout by Publo Stanley

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

yimingzhang@thejiangmen.com

或添加工作人員微信（thexiaojiang）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈