這是一個關(guān)于人工智能如何學(xué)會"聽話"的故事。想象你正在看一部視頻，突然想到："要是能把這個場景變成日本動漫風(fēng)格就好了"或者"能不能把這只黑狗換成白狐貍？"在過去，這樣的想法只能停留在腦子里，因為實現(xiàn)它需要專業(yè)的視頻編輯師花費數(shù)小時的工作。但現(xiàn)在，一個由螞蟻集團、香港科技大學(xué)、浙江大學(xué)和東北大學(xué)的研究團隊開發(fā)的新系統(tǒng)正在改變這一切。

這項研究由Qingyan Bai、Qiuyu Wang、Hao Ouyang等多位研究者共同完成，成果發(fā)表于2025年12月的arXiv預(yù)印本平臺（論文編號：arXiv:2510.15742v2）。研究團隊給他們的系統(tǒng)起了個有趣的名字——Ditto，這個詞在英文里有"完全相同"的意思，恰好反映了這個系統(tǒng)的核心目標(biāo)：讓生成的視頻完全符合你的文字指令。

長期以來，雖然AI在靜止圖片的編輯上已經(jīng)做得相當(dāng)不錯，但視頻編輯一直是個難題。這不僅僅是因為視頻比圖片復(fù)雜，更關(guān)鍵的是一個根本性的障礙：沒有足夠的高質(zhì)量訓(xùn)練數(shù)據(jù)。你可以把這個問題想象成教一個學(xué)生學(xué)習(xí)某項技能——如果你只有幾本教科書，學(xué)生很難真正掌握這項技能；但如果你有一百萬個精心設(shè)計的練習(xí)題和答案，學(xué)生就能學(xué)得又快又好。

研究團隊意識到，要讓AI學(xué)會按照文字指令編輯視頻，首先需要解決這個數(shù)據(jù)荒漠的問題。他們投入了超過12000個GPU工作日（相當(dāng)于一臺高性能計算機連續(xù)工作12000天），最終創(chuàng)造了一個名叫Ditto-1M的數(shù)據(jù)集——包含超過一百萬個視頻編輯樣本。這個數(shù)據(jù)集就像一所超大規(guī)模的"視頻編輯學(xué)校"，里面有各種各樣的編輯任務(wù)和對應(yīng)的文字指令。

基于這個龐大的數(shù)據(jù)集，他們訓(xùn)練了一個名叫Editto的視頻編輯模型，這個模型在多項測試中都超越了現(xiàn)有的所有競爭對手。更重要的是，他們還開源了數(shù)據(jù)集、模型和代碼，這意味著全世界的研究者都可以在他們的基礎(chǔ)上繼續(xù)創(chuàng)新。

為什么這項研究如此重要呢？因為它觸及了一個更深層的問題：在AI時代，數(shù)據(jù)就是新的石油。一個好的數(shù)據(jù)集可以推動整個領(lǐng)域的進步。Ditto-1M不僅僅是一個數(shù)據(jù)集，它代表了一種全新的思路——如何高效地、大規(guī)模地生成高質(zhì)量的AI訓(xùn)練數(shù)據(jù)。

一、視頻編輯為什么這么難？

要理解這項研究的突破之處，我們首先需要明白為什么視頻編輯比圖片編輯難得多。

當(dāng)你編輯一張靜止的照片時，你只需要改變這一張圖片。但視頻不同，它是一連串快速播放的圖片。如果你想改變視頻中的某樣?xùn)|西，比如改變一個人穿的衣服顏色，你不能只改變第一幀，因為那樣的話，當(dāng)視頻播放時，這個人的衣服顏色會在幾幀內(nèi)突然變化，看起來非常不自然。你需要在視頻的每一幀中都做出一致的改變，同時還要確保整個過程看起來平滑自然，就像這個改變真的發(fā)生過一樣。

這就像是在修改一部電影。如果你想改變演員穿的衣服，你不能只改變一個鏡頭，你需要確保在整部電影中，這個演員穿的都是新衣服，而且改變要看起來自然，就像他一開始就穿的是這件衣服一樣。

除了這個"時間一致性"的問題，還有另一個挑戰(zhàn)。視頻中的物體在運動，背景也在變化。當(dāng)你編輯視頻時，需要理解這些運動，并確保你的編輯隨著運動而變化。比如，如果你想給一個移動的球換個顏色，你不能只是簡單地把所有紅色像素都變成藍色，因為這樣會改變背景中可能也有的紅色物體。你需要理解哪個紅色物體是球，然后只改變它。

正因為這些復(fù)雜性，過去的視頻編輯AI系統(tǒng)要么質(zhì)量很低，要么速度很慢。有些系統(tǒng)需要對每個視頻單獨進行優(yōu)化，這就像是為每個學(xué)生單獨寫一套教材，效率極低。有些系統(tǒng)雖然速度快，但生成的視頻質(zhì)量不好，充滿了閃爍和不自然的地方。

二、數(shù)據(jù)荒漠：為什么沒有足夠的訓(xùn)練數(shù)據(jù)？

現(xiàn)在我們來談?wù)劄槭裁磾?shù)據(jù)這么稀缺。

對于圖片編輯，研究者有個聰明的辦法。他們可以用大型語言模型（比如GPT）自動生成編輯指令，然后用文本到圖片的AI模型（比如Stable Diffusion）生成對應(yīng)的編輯結(jié)果。這樣就可以自動創(chuàng)建大量的訓(xùn)練數(shù)據(jù)，不需要人工標(biāo)注。這個方法叫做"合成數(shù)據(jù)生成"，已經(jīng)被成功應(yīng)用在圖片編輯領(lǐng)域。

但這個方法在視頻上就不那么有效了。雖然理論上你可以用同樣的方法生成視頻編輯數(shù)據(jù)，但實際上有兩個大問題。第一，生成高質(zhì)量視頻需要大量的計算資源，成本非常高。第二，即使你生成了視頻，質(zhì)量往往也不理想——可能充滿了閃爍、不連貫的地方，或者不能準(zhǔn)確地遵循編輯指令。

這就像是你想要教一個學(xué)生，但你沒有好的教材。你可以快速地寫出很多教材，但質(zhì)量很差；或者你可以精心編寫高質(zhì)量的教材，但這樣做太慢了，成本太高。這正是視頻編輯領(lǐng)域面臨的困境。

三、Ditto的巧妙解決方案：三個關(guān)鍵突破

研究團隊提出了一個優(yōu)雅的解決方案，它有三個核心部分，就像一個精心設(shè)計的食譜，每個步驟都相互配合。

第一個突破：借用圖片編輯的力量

團隊的第一個想法是：既然圖片編輯已經(jīng)做得很好了，為什么不利用這一點呢？他們的做法是這樣的：對于每個要編輯的視頻，首先從視頻中選出一個關(guān)鍵幀（就是最重要的一幀）。然后，他們用一個先進的圖片編輯工具（Qwen-Image）來編輯這一幀，根據(jù)用戶的文字指令。這樣就得到了一個"目標(biāo)圖片"——這是編輯后應(yīng)該是什么樣子的參考。

接下來，他們用一個特殊的視頻生成模型（叫做VACE的"上下文視頻生成器"）來生成整個視頻。這個模型會看著這個編輯后的參考幀，然后生成一個完整的視頻，使得視頻中的每一幀都符合這個參考幀的風(fēng)格和內(nèi)容。

這個方法的妙處在于，它把一個難的問題（直接從文字指令生成視頻）分解成兩個相對容易的問題（用文字指令編輯圖片，然后用圖片指導(dǎo)視頻生成）。這就像是在做一道復(fù)雜的菜肴時，先準(zhǔn)備好所有的食材和調(diào)味料，然后按照步驟一步步來，而不是試圖一次性完成所有工作。

但這還不夠。為了確保生成的視頻在空間和時間上都是一致的，團隊還加入了另一個信息源：深度圖。深度圖是一種特殊的圖像，它記錄了視頻中每個像素到攝像機的距離。通過這個深度信息，模型可以理解視頻的三維結(jié)構(gòu)和物體的運動，從而生成更加自然和一致的視頻。

第二個突破：解決成本和質(zhì)量的矛盾

現(xiàn)在我們來談第二個挑戰(zhàn)。高質(zhì)量的視頻生成需要大量的計算資源。研究團隊發(fā)現(xiàn)，用最好的模型生成一個視頻樣本需要大約50分鐘的GPU時間。如果要生成一百萬個樣本，這將是一個天文數(shù)字。

他們的解決方案是使用"模型蒸餾"和"量化"這兩種技術(shù)。簡單來說，模型蒸餾就像是把一個復(fù)雜的食譜簡化成一個更簡單的版本，但仍然能做出好吃的菜。量化則是一種壓縮技術(shù)，可以減少模型占用的內(nèi)存和計算量。通過這兩種技術(shù)的結(jié)合，他們把生成一個視頻樣本所需的時間從50分鐘減少到了大約10分鐘，節(jié)省了80%的計算成本，同時還保持了視頻的質(zhì)量。

但這還不是全部。他們還加入了一個"時間增強器"，這是一個專門用來改善視頻時間一致性的工具。這就像是在做菜時加入了一個特殊的調(diào)料，能夠讓整道菜的味道更加協(xié)調(diào)。通過這個增強器，即使使用了更快的生成模型，生成的視頻仍然看起來很自然，沒有閃爍或不連貫的地方。

第三個突破：自動化的質(zhì)量控制

現(xiàn)在我們來到了第三個關(guān)鍵部分：如何確保生成的數(shù)據(jù)質(zhì)量足夠好？

如果要人工檢查一百萬個視頻樣本，這將需要一個巨大的團隊花費數(shù)年的時間。所以團隊想到了一個聰明的辦法：用另一個AI來檢查AI生成的數(shù)據(jù)。

具體來說，他們使用了一個視覺語言模型（VLM）——這是一種能夠理解圖像和文字的AI——來自動檢查每個生成的視頻樣本。這個模型會檢查四個方面：首先，編輯是否準(zhǔn)確地遵循了文字指令；其次，編輯后的視頻是否保留了原始視頻的內(nèi)容和運動；第三，視頻的視覺質(zhì)量是否足夠好，沒有明顯的扭曲或偽影；最后，視頻的內(nèi)容是否安全和合適，不包含暴力、色情或其他不當(dāng)內(nèi)容。

不符合這些標(biāo)準(zhǔn)的樣本會被自動刪除。這就像是一個質(zhì)量檢查員在傳送帶上工作，自動篩選出不合格的產(chǎn)品。

除了這個過濾過程，團隊還使用了一個特殊的"去噪增強器"來進一步改善視頻質(zhì)量。這個工具會對生成的視頻進行微調(diào)，去除細微的偽影，增強紋理細節(jié)，但不會改變視頻的語義內(nèi)容。這就像是在一幅畫完成后進行最后的潤色，使其看起來更加精美。

四、Ditto-1M數(shù)據(jù)集：一百萬個視頻編輯的故事

通過上述三個突破，研究團隊最終創(chuàng)造了Ditto-1M數(shù)據(jù)集。這個數(shù)據(jù)集是如何構(gòu)建的呢？

首先，他們從一個叫做Pexels的網(wǎng)站收集了超過20萬個高質(zhì)量視頻。這些都是專業(yè)級別的視頻，不是從網(wǎng)絡(luò)上隨意爬取的，所以質(zhì)量相對較高。然后，他們對這些視頻進行了嚴(yán)格的篩選。他們?nèi)コ酥貜?fù)的視頻，確保數(shù)據(jù)集中的每個視頻都是獨一無二的。他們還去除了那些沒有太多運動的視頻，比如固定攝像機拍攝的監(jiān)控錄像或靜止的風(fēng)景照片，因為這些視頻對于學(xué)習(xí)視頻編輯來說價值不大。

接下來，對于每個保留下來的視頻，他們使用一個強大的視覺語言模型（Qwen2.5 VL）來自動生成編輯指令。這個過程分為兩步。首先，模型會生成一個詳細的視頻描述，說明視頻中有什么、有哪些人物、什么樣的場景。然后，基于這個描述，模型會生成一個創(chuàng)意的編輯指令，告訴系統(tǒng)應(yīng)該如何改變這個視頻。這些指令涵蓋了各種各樣的編輯任務(wù)，從全局的風(fēng)格變換（比如改變整個視頻的藝術(shù)風(fēng)格）到局部的對象修改（比如替換或移除特定的物體）。

最終的Ditto-1M數(shù)據(jù)集包含了大約一百萬個視頻編輯樣本。其中，大約70萬個涉及全局編輯，比如改變視頻的整體風(fēng)格、改變環(huán)境或背景。另外30萬個涉及局部編輯，比如替換、添加或移除特定的對象。每個視頻的分辨率是1280x720，包含101幀，以每秒20幀的速度播放。

這個數(shù)據(jù)集的質(zhì)量遠遠超過了之前的任何視頻編輯數(shù)據(jù)集。研究團隊強烈建議有興趣的人查看他們提供的視頻樣本，以直觀地感受這個數(shù)據(jù)集的質(zhì)量。

五、Editto模型：從看圖到聽話

現(xiàn)在我們來談?wù)勅绾斡眠@個數(shù)據(jù)集來訓(xùn)練一個實際可用的視頻編輯模型。

這里有一個有趣的問題。數(shù)據(jù)集是怎樣生成的呢？通過向模型提供三樣?xùn)|西：文字指令、編輯后的參考圖像和深度圖。模型看著這三樣?xùn)|西，然后生成編輯后的視頻。但在實際使用中，用戶只想提供文字指令，不想提供參考圖像。這就像是在教一個學(xué)生時，你先給他看答案，讓他學(xué)會如何做題，然后在考試時，你不再給他答案，他需要自己做出來。

為了解決這個問題，研究團隊提出了一個叫做"模態(tài)課程學(xué)習(xí)"的訓(xùn)練策略。這個策略的核心思想是：在訓(xùn)練的早期，模型既看到文字指令，也看到參考圖像。隨著訓(xùn)練的進行，他們逐漸減少提供參考圖像的頻率，最終完全不提供參考圖像。這樣，模型就被迫學(xué)會從純文字指令中理解用戶的意圖，而不是依賴參考圖像。

這個過程就像是教一個孩子騎自行車。一開始，你扶著自行車，孩子可以專注于學(xué)習(xí)平衡。然后，你逐漸松開手，讓孩子自己保持平衡。最后，你完全放開，孩子就可以獨立騎行了。

在這個訓(xùn)練過程中，他們使用了一種叫做"流匹配"的技術(shù)。簡單來說，這是一種現(xiàn)代的生成模型訓(xùn)練方法，它比傳統(tǒng)的擴散模型更高效。他們在64個GPU上訓(xùn)練了大約16000步，使用AdamW優(yōu)化器，學(xué)習(xí)率為1e-4。為了保持原始模型的強大生成能力，他們只微調(diào)了模型中的某些部分（具體來說，是上下文塊中的線性投影層），而凍結(jié)了大部分預(yù)訓(xùn)練的參數(shù)。

六、成果展示：Editto如何擊敗競爭對手

當(dāng)研究團隊用Editto模型進行測試時，結(jié)果令人印象深刻。

他們用幾種不同的方法來評估模型的性能。首先是自動評估指標(biāo)。他們使用了三個指標(biāo)來衡量模型的表現(xiàn)。第一個叫做CLIP-T，它衡量的是生成的視頻有多好地遵循了文字指令。第二個叫做CLIP-F，它衡量的是視頻的時間一致性——也就是說，相鄰的幀有多相似，這反映了視頻看起來有多平滑自然。第三個叫做VLM評分，這是用另一個AI模型來評估編輯的有效性、語義保留程度和整體美學(xué)質(zhì)量。

在這些自動評估指標(biāo)上，Editto都顯著超越了所有的競爭對手。具體來說，在CLIP-T上，Editto得到了25.54分，而之前最好的方法（InsViE）只得到了23.56分。在CLIP-F上，Editto得到了99.03分，略高于InsViE的98.78分。在VLM評分上，Editto得到了8.10分，而InsViE只得到了7.35分。

但數(shù)字可能不夠直觀。研究團隊還進行了人工評估，邀請了1000名研究生和研究人員來評估不同模型生成的視頻。評估者被要求評估三個方面：編輯的準(zhǔn)確性（模型是否準(zhǔn)確地遵循了指令）、時間一致性（視頻看起來有多平滑自然）和整體質(zhì)量。

在這個人工評估中，Editto也遠遠領(lǐng)先。在編輯準(zhǔn)確性上，Editto得到了3.85分（滿分5分），而之前最好的方法InsViE只得到了2.28分。在時間一致性上，Editto得到了3.76分，而InsViE得到了2.30分。在整體質(zhì)量上，Editto得到了3.86分，而InsViE得到了2.36分。

這些數(shù)字背后的意義是什么呢？這意味著，當(dāng)人類評估者看著Editto生成的視頻時，他們認為這些視頻不僅更好地遵循了指令，而且看起來更加自然、更加美觀。

七、視覺對比：看看Editto能做什么

除了數(shù)字，研究團隊還展示了一些具體的例子，讓我們看看Editto實際上能做什么。

在一個例子中，用戶給出的指令是"用像素藝術(shù)風(fēng)格渲染"。Editto生成的視頻成功地將原始視頻轉(zhuǎn)換成了像素藝術(shù)風(fēng)格，看起來就像是一個復(fù)古的電子游戲。而競爭對手的模型生成的視頻要么模糊不清，要么風(fēng)格不夠明顯。

在另一個例子中，指令是"把男人的衣服換成黑色西裝"。Editto精確地改變了男人衣服的顏色，同時保持了他的身份和背景的完整性。這對于局部編輯來說是特別困難的，因為模型需要理解哪個物體是衣服，然后只改變那個物體，而不影響其他的東西。競爭對手的模型在這個任務(wù)上表現(xiàn)得遠不如Editto。

還有一個特別有趣的例子。研究團隊展示了Editto的"合成到真實"的能力。他們用Editto來做一個反向的任務(wù)：把數(shù)據(jù)集中的風(fēng)格化視頻轉(zhuǎn)換回原始的真實視頻。這表明，數(shù)據(jù)集中包含的信息非常豐富，足以讓模型學(xué)會在不同的視覺風(fēng)格之間進行轉(zhuǎn)換。

八、消融研究：每個部分都很重要

為了確保他們提出的每個部分都是必要的，研究團隊進行了"消融研究"。這就像是在做一道菜時，逐個去掉某些食材，看看菜的味道會怎樣變化。

首先，他們測試了不同數(shù)據(jù)量對模型性能的影響。他們分別用60000、120000、250000和500000個樣本來訓(xùn)練模型，然后看模型的性能如何變化。結(jié)果很清楚：隨著訓(xùn)練數(shù)據(jù)的增加，模型的性能持續(xù)改善。這證實了他們的直覺——更多的高質(zhì)量數(shù)據(jù)確實能幫助模型學(xué)得更好。

其次，他們測試了模態(tài)課程學(xué)習(xí)策略的重要性。他們比較了使用模態(tài)課程學(xué)習(xí)和不使用它的模型。結(jié)果顯示，沒有模態(tài)課程學(xué)習(xí)的模型往往無法完全理解指令的語義含義，生成的視頻質(zhì)量明顯更差。這證明了模態(tài)課程學(xué)習(xí)策略對于橋接視覺條件和文字指令之間的差距是至關(guān)重要的。

九、Editto vs 數(shù)據(jù)生成器：訓(xùn)練的力量

還有一個有趣的對比。研究團隊比較了他們訓(xùn)練的Editto模型和用來生成數(shù)據(jù)的原始生成器的性能。

原始的數(shù)據(jù)生成器（VACE）是一個強大的模型，它能夠在給定參考圖像和深度圖的情況下生成高質(zhì)量的視頻。但當(dāng)面對一些新的、在訓(xùn)練數(shù)據(jù)中沒有出現(xiàn)過的內(nèi)容時，它的表現(xiàn)就不那么好了。比如，當(dāng)被要求生成一個機器人手臂或鉛筆素描的視頻時，原始生成器就會失敗。

但經(jīng)過在Ditto-1M上訓(xùn)練的Editto模型就能處理這些新的、從未見過的內(nèi)容。這說明了什么呢？這說明，通過在大規(guī)模、高質(zhì)量的數(shù)據(jù)集上進行訓(xùn)練，模型能夠?qū)W到更加通用和靈活的編輯能力，而不僅僅是復(fù)制訓(xùn)練數(shù)據(jù)中的模式。

十、這一切對我們意味著什么？

現(xiàn)在讓我們回到開始的問題：為什么這項研究很重要？

首先，從技術(shù)的角度來看，這項研究解決了一個長期存在的問題：如何高效地生成大規(guī)模的高質(zhì)量視頻編輯訓(xùn)練數(shù)據(jù)。他們提出的方法——結(jié)合圖片編輯的力量、使用蒸餾和量化來降低成本、用自動化的質(zhì)量控制來確保數(shù)據(jù)質(zhì)量——可以被應(yīng)用到其他類似的問題上。

其次，從實際應(yīng)用的角度來看，Editto模型代表了視頻編輯技術(shù)的一個重大進步。現(xiàn)在，任何人都可以用簡單的文字指令來編輯視頻，而不需要學(xué)習(xí)復(fù)雜的視頻編輯軟件。這可能會改變內(nèi)容創(chuàng)作的方式。想象一下，一個社交媒體創(chuàng)作者可以快速地生成多個視頻變體來測試哪個效果最好；一個營銷團隊可以快速地為不同的市場創(chuàng)建本地化的視頻版本；一個教育工作者可以快速地創(chuàng)建教學(xué)視頻。

第三，從開源的角度來看，研究團隊決定開源數(shù)據(jù)集、模型和代碼，這意味著全世界的研究者都可以在他們的基礎(chǔ)上繼續(xù)創(chuàng)新。這可能會加速整個領(lǐng)域的發(fā)展。

但這項研究也提出了一些值得思考的問題。隨著AI生成視頻的質(zhì)量越來越好，我們?nèi)绾未_保這些技術(shù)被用于積極的目的，而不是被用來創(chuàng)建虛假信息或欺騙性的內(nèi)容呢？這是一個社會和倫理層面的問題，需要整個社會來思考和解決。

總的來說，Ditto和Editto代表了AI在創(chuàng)意工具領(lǐng)域的一個重要進步。它們展示了如何通過巧妙的系統(tǒng)設(shè)計、大規(guī)模的數(shù)據(jù)生成和智能的模型訓(xùn)練，來解決看似不可能的問題。在未來，我們可能會看到更多這樣的工具，讓創(chuàng)意工作變得更加民主化和可及。

Q&A

Q1：Ditto-1M數(shù)據(jù)集包含多少個視頻樣本，這些樣本是怎樣生成的？

A：Ditto-1M包含超過一百萬個高質(zhì)量的視頻編輯樣本。這些樣本是通過一個三階段的管道自動生成的：首先從Pexels網(wǎng)站收集20多萬個專業(yè)級視頻并進行篩選，然后用圖片編輯工具和視頻生成模型生成編輯版本，最后通過VLM自動過濾和去噪增強來確保質(zhì)量。整個過程耗費了超過12000個GPU工作日。

Q2：Editto模型與之前的視頻編輯方法相比有什么優(yōu)勢？

A：Editto在多個方面都顯著超越了競爭對手。在自動評估指標(biāo)上，它在指令遵循度、時間一致性和整體質(zhì)量上都得分最高。在人工評估中，評估者認為Editto生成的視頻在編輯準(zhǔn)確性、時間一致性和整體質(zhì)量上都遠優(yōu)于之前最好的方法InsViE，得分幾乎是其兩倍。

Q3：模態(tài)課程學(xué)習(xí)策略是什么，為什么它對Editto的訓(xùn)練很重要？

A：模態(tài)課程學(xué)習(xí)是一種訓(xùn)練策略，在訓(xùn)練初期同時提供文字指令和參考圖像，然后逐步減少參考圖像的提供頻率，最終完全不提供參考圖像。這個策略很重要，因為它讓模型能夠從依賴視覺參考逐步過渡到僅依賴文字指令，從而學(xué)會理解和執(zhí)行純文本的編輯指令。