該論文由大連理工大學(xué)、快手可靈團(tuán)隊(duì)、香港中文大學(xué)聯(lián)合完成，第一作者王清和是大連理工大學(xué)在讀三年級(jí)博士，研究方向?yàn)橐曨l生成，師從盧湖川、賈旭教授，目前在快手可靈團(tuán)隊(duì)實(shí)習(xí)。個(gè)人主頁(yè)：https://qinghew.github.io/

近期，可靈 3.0、Seedance 2.0 等產(chǎn)品的多鏡頭敘事能力相繼爆火，可支持一次生成多個(gè)導(dǎo)演級(jí)鏡頭，標(biāo)志著視頻生成領(lǐng)域已經(jīng)從傳統(tǒng)的單鏡頭生成邁入了多鏡頭視頻生成的時(shí)代。然而，對(duì)于預(yù)算有限的開發(fā)者，10B 參數(shù)量以上的大模型開發(fā)成本較高，100B 以上的大模型更令人望而卻步。

近期，大連理工與快手可靈團(tuán)隊(duì)推出了MultiShotMaster——一個(gè)高度可控的多鏡頭視頻生成框架，該論文向研究社區(qū)展示了即使在 1B 左右的小參數(shù)量級(jí)模型上，也可以實(shí)現(xiàn)導(dǎo)演級(jí)的鏡頭調(diào)度和連貫敘事，且支持多圖參考、主體運(yùn)動(dòng)控制。

目前，該論文已錄用至CVPR 2026，基于 Wan 1.3B 和 14B 的多鏡頭模型的訓(xùn)練和推理代碼已開源：

• 項(xiàng)目主頁(yè)：https://qinghew.github.io/MultiShotMaster/
• 代碼鏈接：https://github.com/KlingAIResearch/MultiShotMaster
• 論文鏈接：https://arxiv.org/abs/2512.03041

開源版 MultiShotMaster 能力展示

MultiShotMaster-14B 720p 效果

MultiShotMaster-1.3B 480p 效果

值得一提的是，開源版 MultiShotMaster 斬獲了AAAI CVM Workshop 競(jìng)賽冠軍。該競(jìng)賽由北大等高校舉辦、華為贊助，重點(diǎn)考核世界知識(shí)一致性、相機(jī)移動(dòng)一致性、跨鏡頭 ID 一致性三個(gè)層面，充分印證了該模型在多鏡頭生成與連貫敘事方面的卓越性能。

MultiShotMaster 框架

“單鏡頭” 到 “多鏡頭” 的進(jìn)化

MultiShotMaster 首先調(diào)整了傳統(tǒng)的單鏡頭文生視頻模型架構(gòu)，使之能夠生成多鏡頭視頻。

具體而言，考慮到鏡頭間的內(nèi)容突變，每個(gè)鏡頭需單獨(dú)通過 3DVAE 編碼，然后在時(shí)序上級(jí)聯(lián)起來，并在 Temporal Attention 處融合。由于鏡頭之間不僅存在內(nèi)容突變，還需保證敘事的先后順序，作者提出多鏡頭敘事 RoPE，即基于原始的 3D RoPE 在鏡頭切換處施加相位偏移：

這顯式地標(biāo)記了鏡頭邊界且維持了原鏡頭間的敘事順序，讓模型能夠精準(zhǔn)識(shí)別鏡頭邊界，從而支持用戶自由設(shè)定鏡頭的數(shù)量和時(shí)長(zhǎng)。此外，構(gòu)建了總分式提示詞結(jié)構(gòu)，全局提示詞描述角色外觀、環(huán)境及風(fēng)格，鏡頭級(jí)提示詞描述角色交互、場(chǎng)景布局、相機(jī)運(yùn)鏡。在鏡頭級(jí) Cross Attention 中，每個(gè)鏡頭的視頻只與全局提示詞、對(duì)應(yīng)鏡頭的提示詞交互，從而防止跨鏡頭信息泄露。

時(shí)空位置感知的參考注入

用戶通常期望視頻生成模型具有更多的可控性，例如使用參考圖、控制主體運(yùn)動(dòng)布局等能力。為此，作者用 VAE 編碼參考圖像，使之與視頻 tokens 落入同一特征空間。

考慮到 3D-RoPE 會(huì)使時(shí)空距離更近的 tokens 在 Attention 中增強(qiáng)交互，作者設(shè)計(jì)了時(shí)空位置感知的 RoPE，將指定時(shí)空區(qū)域的 RoPE 重采樣為更細(xì)粒度的 RoPE 分配給參考 tokens。

在時(shí)序注意力中，干凈的參考 tokens 會(huì)將視覺信息傳遞給噪聲視頻 tokens 以實(shí)現(xiàn)參考圖像（主體/背景）指定時(shí)空位置的注入。當(dāng)用戶期望控制同一主體的運(yùn)動(dòng)軌跡時(shí)，可以通過復(fù)制多次同一角色的 Token 并分配不同的時(shí)空 RoPE。

此外，為了管理上下文信息流，防止不必要的 token 交互，作者設(shè)計(jì)了多鏡頭-多主體 Attention Mask，允許跨鏡頭的視頻 tokens 交互，限制每個(gè)鏡頭的視頻 tokens 僅能與視頻內(nèi)的參考 tokens 交互。

值得注意的是，MultiShotMaster 沒有引入外部參數(shù)，而是利用、改進(jìn)視頻生成模型原有的 3D-RoPE，從而實(shí)現(xiàn)了可控的多鏡頭視頻生成，支持文本驅(qū)動(dòng)的鏡頭間一致性、可靈活配置的鏡頭數(shù)量和時(shí)長(zhǎng)、運(yùn)動(dòng)可控的主體定制化、背景可定制的場(chǎng)景一致性。這一多功能框架為多樣化多鏡頭視頻內(nèi)容創(chuàng)作提供了新的可能性，使用戶能夠打造高度定制化的視頻敘事。

MultiShotMaster - 實(shí)驗(yàn)版 1B 模型（384×672）效果

MultiShotMaster 訓(xùn)練數(shù)據(jù)構(gòu)建流程

數(shù)據(jù)構(gòu)建流程：

1. 采用鏡頭切換檢測(cè)模型 TransNet V2 將長(zhǎng)視頻裁切成短片段，使用場(chǎng)景分割模型 SceneSeg 將同一場(chǎng)景內(nèi)的片段聚合到一起，然后從中采樣多鏡頭視頻。
2. 引入總分式提示詞結(jié)構(gòu)，使用 Gemini-2.5-Flash 生成全局描述和每個(gè)鏡頭的描述。
3. 整合 YOLOv11、ByteTrack 和 SAM 來檢測(cè)、追蹤和分割主體圖像，然后利用 Gemini-2.5-Flash 根據(jù)主體外觀合并跨鏡頭的跟蹤結(jié)果。
4. 使用 OmniEraser 獲得干凈的背景參考圖。

實(shí)驗(yàn)結(jié)果

除了對(duì)比現(xiàn)有的 SOTA 多鏡頭視頻生成模型之外，由于目前沒有支持參考圖輸入的多鏡頭視頻生成模型，作者對(duì)比了支持參考圖輸入的單鏡頭模型 Phantom、VACE，拼接他們逐個(gè)生成的鏡頭用于比較。

可以看出，在定量和定性的比較中，MultiShotMaster 在鏡頭間一致性、切鏡準(zhǔn)確性、敘事連貫性、參考圖一致性上都展現(xiàn)出了卓越的性能。

定性實(shí)驗(yàn)結(jié)果：

定量實(shí)驗(yàn)結(jié)果：

總結(jié)

MultiShotMaster 通過對(duì) RoPE 的創(chuàng)新性改進(jìn)，實(shí)現(xiàn)了高度可控的多鏡頭視頻生成。其引入的多鏡頭敘事 RoPE 與時(shí)空位置感知 RoPE，在無需引入額外參數(shù)的情況下，實(shí)現(xiàn)了對(duì)鏡頭邊界、角色一致性及運(yùn)動(dòng)軌跡的精細(xì)化操控。在僅約 1B 參數(shù)的模型規(guī)模下即可展現(xiàn)出了卓越的敘事連貫性與跨鏡頭一致性，驗(yàn)證了其實(shí)現(xiàn)導(dǎo)演級(jí)控制的巨大潛力。

同時(shí)，自動(dòng)化的多鏡頭數(shù)據(jù)標(biāo)注流程及開源模型也將為社區(qū)的研究提供強(qiáng)力支持，有望推動(dòng) AI 視頻創(chuàng)作進(jìn)入一個(gè)敘事更連貫、表達(dá)更自由的新階段。

更多細(xì)節(jié)請(qǐng)參閱原論文。