編輯｜冷貓

大部分的高質(zhì)量視頻生成模型，都只能生成上限約15秒的視頻。清晰度提高之后，生成的視頻時長還會再一次縮短。

這就讓嘗試AI視頻創(chuàng)意的創(chuàng)作者們非?？鄲懒?。要想實(shí)現(xiàn)創(chuàng)意，必須使用分段生成，結(jié)合首尾幀，不僅操作起來很麻煩，而且需要來回抽卡來保證畫面的一致性。

那么，限制視頻生成時長的瓶頸在哪里？

大家可能不知道的是，一段 60 秒、480p、24 幀/秒的視頻，在模型內(nèi)部會被拆解成超過 50 萬個「潛在 token」

這些 token 就像一條極長的記憶膠帶，模型想要保持劇情連貫、畫面一致，就必須從頭到尾保存上下文記憶。但代價是：算力直接爆炸，普通顯卡根本扛不住。

這正是當(dāng)前自回歸視頻生成模型的核心矛盾。一邊是越長的上下文，畫面越連貫；另一邊是越長的上下文，計算成本越高。

于是，研究者們不得不做出妥協(xié)：要么用滑動窗口切掉大部分歷史，換取可運(yùn)行的算力；要么對視頻進(jìn)行激進(jìn)壓縮，犧牲清晰度和細(xì)節(jié)。

問題在于，這些壓縮方法往往最先丟掉的，正是決定畫面真實(shí)感與一致性的高頻細(xì)節(jié)。

也正是在這一困境下，蘇州大學(xué)校友，斯坦福大學(xué)博士，ControlNet 創(chuàng)作者張呂敏團(tuán)隊(duì)為此投入了研究提出了一種新的解決思路，給出了專為長視頻設(shè)計的記憶壓縮系統(tǒng)，在壓縮的同時盡可能保留精細(xì)視覺信息。

• 論文標(biāo)題：Pretraining Frame Preservation in Autoregressive Video Memory Compression
• 論文鏈接：https://arxiv.org/abs/2512.23851v1

研究團(tuán)隊(duì)提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于將長視頻壓縮為短上下文，并設(shè)計了一種顯式的預(yù)訓(xùn)練目標(biāo)，使模型能夠在任意時間位置保留單幀中的高頻細(xì)節(jié)信息。

基線模型可以將一段20 秒的視頻壓縮為約 5k 長度的上下文表示，同時支持從中隨機(jī)檢索單幀，并在感知質(zhì)量上保持良好的外觀保真度

這種預(yù)訓(xùn)練模型可以直接微調(diào)為自回歸視頻模型的記憶編碼器（memory encoder），從而以較低的上下文成本實(shí)現(xiàn)長歷史記憶建模，并且僅帶來相對較小的保真度損失。

該視頻是使用完整歷史上下文（不切割任何歷史幀）逐秒自回歸生成的。20 多秒的歷史被壓縮為 ～ 5k 上下文長度，并由 RTX 4070 12GB 處理。

全新的記憶壓縮架構(gòu)

具體而言，研究團(tuán)隊(duì)采用兩階段策略

首先，預(yù)訓(xùn)練一個專用的記憶壓縮模型，其目標(biāo)是在任意時間位置上盡可能保留高保真幀級細(xì)節(jié)信息。

該預(yù)訓(xùn)練目標(biāo)通過對從壓縮歷史中隨機(jī)采樣的幀最小化其特征距離來實(shí)現(xiàn)，從而確保模型在整個序列范圍內(nèi)都能穩(wěn)健地編碼細(xì)節(jié)信息。

在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計上，提出了一種輕量級雙路徑架構(gòu)：模型同時處理低分辨率視頻流和高分辨率殘差信息流，并通過將高分辨率特征直接注入 Diffusion Transformer 的內(nèi)部通道，繞過傳統(tǒng) VAE 所帶來的信息瓶頸，從而進(jìn)一步提升細(xì)節(jié)保真度。

預(yù)訓(xùn)練記憶壓縮模型

記憶壓縮模型的預(yù)訓(xùn)練。記憶壓縮模型需要將長視頻（例如 20 秒）壓縮成短上下文（例如長度為 5k）。預(yù)訓(xùn)練的目標(biāo)是在任意歷史時間位置檢索具有高頻細(xì)節(jié)的幀。

該方法的核心創(chuàng)新在于其預(yù)訓(xùn)練目標(biāo)設(shè)計

研究團(tuán)隊(duì)觀察到，衡量視頻壓縮機(jī)制保留上下文細(xì)節(jié)能力的一個合適的指標(biāo)是其任意時間位置高質(zhì)量幀檢索的能力。對于高壓縮率，完美檢索變得不切實(shí)際，因此目標(biāo)變?yōu)樽畲蠡我鈳臋z索質(zhì)量。

隨后，研究團(tuán)隊(duì)將所選的干凈幀復(fù)制作為擴(kuò)散模型的目標(biāo)，使擴(kuò)散系統(tǒng)能夠在任意時間位置重建目標(biāo)幀。該過程可表示為：

這種隨機(jī)化選擇機(jī)制有效防止模型通過僅編碼易于訪問的幀（例如首幀或末幀）來「投機(jī)取巧」，從而迫使模型學(xué)習(xí)一種能夠在整個時間序列范圍內(nèi)持續(xù)保留細(xì)節(jié)信息的表示方式。

內(nèi)存壓縮模型的架構(gòu)。使用 3D 卷積、SiLU 和注意力機(jī)制來構(gòu)建一個輕量級的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，作為基準(zhǔn)壓縮模型。

視頻擴(kuò)散模型的微調(diào)

微調(diào)自回歸視頻模型。展示了最終自回歸視頻模型的微調(diào)和推理過程。記憶壓縮模型的預(yù)訓(xùn)練在微調(diào)之前完成。

由此得到的視頻生成模型具備超長歷史窗口（例如超過 20 秒）、極短的歷史上下文長度（例如約 5k），并且對幀檢索質(zhì)量進(jìn)行了顯式優(yōu)化。

該擴(kuò)散過程亦可按照公式表示為：

實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，研究團(tuán)隊(duì)使用 8 × H100 GPU 集群進(jìn)行預(yù)訓(xùn)練，并使用 1 × H100s 或 A100s 進(jìn)行 LoRAs 微調(diào)。所有實(shí)驗(yàn)均在 HunyuanVideo和 Wan 系列的基礎(chǔ)模型上進(jìn)行。

數(shù)據(jù)集由來自多個網(wǎng)站的約 500 萬互聯(lián)網(wǎng)視頻組成。其中約一半是豎屏短視頻，其余為普通橫屏視頻。數(shù)據(jù)經(jīng)過質(zhì)量清洗，然后使用 Gemini-2.5-flash VLM 對高質(zhì)量部分進(jìn)行字幕標(biāo)注，剩余部分使用本地 VLM（如 QwenVL）進(jìn)行處理。測試集包括由 Gemini-2.5-pro 編寫的 1000 個故事板提示和 4096 個未在訓(xùn)練數(shù)據(jù)集中出現(xiàn)過的視頻。

定性與定量評估

故事板上的定性結(jié)果。通過從故事板中流式傳輸提示來展示結(jié)果。故事板是一組提示，其中每個提示涵蓋一定數(shù)量的幀。故事板可以由外部語言模型編寫。

在定性評估方面，如圖所示，研究者證明了模型能夠處理多種多樣的提示和故事板，同時在角色、場景、物體和情節(jié)線方面保持一致性。

在定量評估方面，研究者們從 VBench、VBench2等平臺引入了多個視頻評估指標(biāo)，并進(jìn)行了一些修改。

視頻內(nèi)容一致性的定量評測結(jié)果。其中，Qwen 中的 「1p」 表示僅使用 1 張圖像 作為圖像模型輸入。由于部分方法存在嚴(yán)重偽影，因此未將其納入人工 ELO 評分統(tǒng)計。

如表所示，本文提出的方法在多個一致性指標(biāo)上表現(xiàn)出合理的分?jǐn)?shù)。Wan+Qwen 組合在實(shí)例分?jǐn)?shù)上似乎具有領(lǐng)先分?jǐn)?shù)，這可能是由于圖像模型不會顯著改變或移動對象，從而避免了 VLM 問答檢測到的偽影。本文的方法在對象一致性方面表現(xiàn)出有競爭力的分?jǐn)?shù)。此外，用戶研究和 ELO 分?jǐn)?shù)驗(yàn)證了本文提出的架構(gòu)，證實(shí)它在壓縮和質(zhì)量之間實(shí)現(xiàn)了有效的權(quán)衡。

消融實(shí)驗(yàn)

壓縮結(jié)構(gòu)的定量結(jié)果。展示了使用不同消融壓縮架構(gòu)的數(shù)值測試。

評測結(jié)果如表所示。結(jié)果表明，本文方法在 PSNR、SSIM 等指標(biāo)上取得了相對更優(yōu)的性能。此外，即便在 4×4×2 的較高壓縮率條件下，該方法仍然能夠有效保持原始圖像結(jié)構(gòu)。

壓縮重建的視覺比較。展示了使用不同可能的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和各種壓縮設(shè)置進(jìn)行預(yù)訓(xùn)練后的重建結(jié)果。

記憶壓縮模型預(yù)訓(xùn)練的影響。展示了使用或未使用記憶壓縮模型預(yù)訓(xùn)練的結(jié)果。輸入是相同的 20 秒歷史視頻，在輸出幀中可視化中間幀。

除此以外，研究團(tuán)隊(duì)還在論文中討論了不同神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計之間的權(quán)衡取舍。

更多信息，請參閱原論文。