本文一作吳曉雪目前是復(fù)旦-上海人工智能實驗室的聯(lián)培博士生，目前的研究方向是可控多鏡頭生成、長視頻生成。

隨著視頻生成模型的快速發(fā)展，其在畫面質(zhì)量、條件控制、美學(xué)表現(xiàn)上都已表現(xiàn)出影視級效果。然而，影視級長視頻往往并非為單個鏡頭的無限延續(xù)，而是具有轉(zhuǎn)場的多鏡頭序列（Multi-shot Sequence）。閉源模型 Sora2、Veo3 中多鏡頭視頻已經(jīng)能夠表現(xiàn)出驚艷的效果。

如何使生成的視頻帶有自然的轉(zhuǎn)場，如何指定轉(zhuǎn)場的位置，如何令多個鏡頭形成豐富的語義流信號，是視頻生成模型在未來所面臨的新挑戰(zhàn)。

針對這些問題，來自上海人工智能實驗室的研究團隊提出了一種基于掩碼機制的全新方法 CineTrans。

基于對注意力特性的觀察，CineTrans 提出塊對角掩碼的通用機制，使視頻生成模型能高效地自動化轉(zhuǎn)場。為了進一步提升轉(zhuǎn)場模型的效果和準(zhǔn)確性，作者設(shè)計了詳細(xì)的多鏡頭視頻生產(chǎn)管線，并收集了一個高質(zhì)量、多鏡頭數(shù)據(jù)集 Cine250K，大幅提升多鏡頭轉(zhuǎn)場視頻生成的效果。作為首個時間級可控的自動化轉(zhuǎn)場模型，CineTrans 為這一領(lǐng)域的眾多后續(xù)方法提供了關(guān)鍵技術(shù)。

本文將深入介紹這篇被 ICLR 2026 接收的工作。

• 論文標(biāo)題：CineTrans: Learning to Generate Videos with Cinematic Transitions via Masked Diffusion Models
• 論文鏈接：https://arxiv.org/pdf/2508.11484
• 項目鏈接：https://uknowsth.github.io/CineTrans/
• 代碼鏈接：https://github.com/Vchitect/CineTrans
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/NumlockUknowSth/Cine250K

來看看 CineTrans 的效果：

Multi-Shot Case 觀測：

擴散模型是如何理解多鏡頭的

首先思考：在鏡頭轉(zhuǎn)場情境中，相比于單鏡頭視頻，模型在處理多鏡頭序列時有何不同。對于這點，作者假設(shè)，對于兩個相鄰幀之間的相關(guān)性，過渡點與非過渡點之間存在顯著差異，前者需要在像素級（pixel-level）差異的前提下保證語義級（semantic-level）的一致性，后者則需要實現(xiàn)視覺連貫性。

而在 Attention Layer 中，所有 visual token 的交互是平等的，但 Q 對于不同 K、V 的關(guān)注度則會有所不同，這表明了使用 Attention Map 作為重要觀測工具的可能性。

作者對大規(guī)模預(yù)訓(xùn)練模型中概率出現(xiàn)的 Multi-Shot Case 進行觀測，如預(yù)期地發(fā)現(xiàn)，某些 Layer 表現(xiàn)出較強的鏡頭內(nèi)關(guān)聯(lián)（Intra-shot）和較弱的鏡頭間關(guān)聯(lián)（Inter-shot）。更具體地說，Attention Map 矩陣呈現(xiàn)塊對角結(jié)構(gòu)。經(jīng)過量化（intra-shot vs. inter-shot probability 26.88, r=0.71），這一點被進一步證實。

此外，作者還在某些 Layer 發(fā)現(xiàn)了所有 visual token 對第一幀信息的高度關(guān)注。這啟發(fā)了利用 Attention 內(nèi)部隱式理解達(dá)成外部條件顯式轉(zhuǎn)場控制的方法設(shè)計。

CineTrans：

基于掩碼的控制方法

基于前文的觀察，作者提出了塊對角掩碼架構(gòu)（Block-Diagonal Mask Mechanism），并將第一幀作為錨點（Anchor），符合 Diffusion Model 本身的特性，意圖在不破壞模型本身結(jié)構(gòu)和先驗知識的前提下實現(xiàn)預(yù)定義的轉(zhuǎn)場時間控制。

將該掩碼應(yīng)用在部分 Attention Layer 中，作者發(fā)現(xiàn)，即使在未經(jīng)訓(xùn)練（training-free）的情況下，模型也能在保持視覺質(zhì)量的同時實現(xiàn)較強的時間級控制效果。

包括逐鏡頭生成（Shot-by-Shot）與端到端生成（End-to-End）的以往工作都可視作從兩個維度解決多鏡頭問題：

• 轉(zhuǎn)場的發(fā)生：確保視頻中的兩幀發(fā)生明顯的像素級跳變，鏡頭邊界不出現(xiàn)局部崩壞、粘連的情況。
• 轉(zhuǎn)場前后的一致性維持：確保發(fā)生轉(zhuǎn)場前后的畫面內(nèi)容在語義上呈現(xiàn)強關(guān)聯(lián)，令畫面的切換不會打斷觀看者的體驗。

逐鏡頭的生成通過分別合成每個鏡頭自然保證的轉(zhuǎn)場的發(fā)生，但將一致性的依賴至于模型外部（external），例如條件注入（conditioning）、關(guān)鍵幀生成（keyframe）；端到端的生成通過 visual token 在前向過程中完全交互來維持整體一致性，但并不顯式區(qū)分鏡頭間與鏡頭內(nèi)，從而需要大規(guī)模訓(xùn)練才能讓模型學(xué)會 multi-shot 的概念，且缺乏明確的時間級控制手段。

相比之下，CineTrans 通過選擇性的掩碼策略在這兩個維度實現(xiàn)了一種平衡方案：

• 全局信息交互：通過第一幀的 anchor 與未經(jīng)掩碼的 full attention，visual token 進行全局交互，實現(xiàn)來自模型內(nèi)部（internal）的一致性保證。
• 鏡頭內(nèi)局部交互：在塊對角掩碼的作用下，鏡頭間的交互被限制，相鄰鏡頭之間的像素信息自然形成跳變，在保持全局一致性的前提下形成穩(wěn)定的轉(zhuǎn)場。

進一步地，在通過多鏡頭視頻數(shù)據(jù)集微調(diào)以后，CineTrans 也具備了電影級剪輯的先驗知識，將轉(zhuǎn)場前后的鏡頭關(guān)聯(lián)理解內(nèi)化在模型參數(shù)中，實現(xiàn)更具備電影美學(xué)的轉(zhuǎn)場效果。此外，為了更豐富的內(nèi)容表現(xiàn)，CineTrans 也在 video-text cross attention 結(jié)構(gòu)中使用了 shot-level 的掩碼機制，實現(xiàn)內(nèi)容上的細(xì)粒度控制。

Cine250K：

豐富的多鏡頭數(shù)據(jù)集

文章還提出了 Cine250K，這也是 CineTrans 微調(diào)所采用的多鏡頭數(shù)據(jù)。Cine250K 經(jīng)過了精細(xì)的設(shè)計，捕捉人類剪輯序列中的先驗知識，提供優(yōu)秀美學(xué)表現(xiàn)、精確鏡頭標(biāo)簽、層級細(xì)節(jié)標(biāo)注的視頻數(shù)據(jù)。其構(gòu)建過程主要由三個階段構(gòu)成：

• 分割縫合階段（Split & Stitch）：經(jīng)過鏡頭切換識別后，基于鏡頭間相鄰幀之間的語義相似性將視頻縫合起來，并刪除軟過渡的幀，明確鏡頭界限，奠定模型間鏡頭一致性的基調(diào)，提供時間級鏡頭標(biāo)注。
• 篩選階段（Selection）：基于鏡頭數(shù)量、視頻基本信息、美學(xué)表現(xiàn)等進行篩選。
• 多層級標(biāo)注（Caption）：為了細(xì)粒度語義控制，對逐個鏡頭進行內(nèi)容、風(fēng)格、氛圍多個維度的標(biāo)注，同時得到總體信息，為多粒度控制提供可能。

經(jīng)過處理，最后得到了約 25 萬個經(jīng)過精細(xì)處理的多鏡頭視頻-文本對，它提供了豐富的剪輯藝術(shù)先驗信息，對多鏡頭生成任務(wù)來說，具有重要意義。

實驗結(jié)果評估與分析

文中將 CineTrans 的轉(zhuǎn)場效果與多種 Multi-shot 生成方法進行對比，包括逐鏡頭生成方法（StoryDiffusion + CogVideoXI2V）、大規(guī)模預(yù)訓(xùn)練方法（HunyuanVideo）和定制化方法（Cinematron LoRA）。結(jié)果表現(xiàn)出了大幅度超過基線的轉(zhuǎn)場控制得分（Transition Control Score），以及在 Unet 和 DiT 架構(gòu)上的泛化性。

此外，為了更好地比較鏡頭間一致性，作者還提出了基于 JS 散度的新指標(biāo)，以衡量真實剪輯的數(shù)據(jù)與生成數(shù)據(jù)的分布差異。經(jīng)過可視化，CineTrans 生成的視頻在一致性分布也最接近人類剪輯的視頻數(shù)據(jù)，表現(xiàn)出了貼近人類剪輯習(xí)慣的多鏡頭生成能力。

總結(jié)與展望

利用擴散模型本身對多鏡頭序列的理解構(gòu)建掩碼，CineTrans 實現(xiàn)了符合模型先驗的時間級轉(zhuǎn)場控制，同時保持了鏡頭間一致性與視頻質(zhì)量。作為從逐鏡頭生成轉(zhuǎn)向端到端生成的重要工作，它在轉(zhuǎn)場與一致性之間的權(quán)衡問題上給出了一個行之有效的答案，為未來針對鏡頭設(shè)計、更多剪輯藝術(shù)先驗的多鏡頭視頻探索打下了堅實的基礎(chǔ)。

目前，CineTrans 的代碼、模型權(quán)重、數(shù)據(jù)集已在 GitHub 開源，歡迎社區(qū)進一步研究與使用。