這項由慕尼黑大學CompVis實驗室與慕尼黑機器學習中心、蘋果公司聯(lián)合開展的研究，以預印本形式發(fā)布于2026年4月，論文編號為arXiv:2604.11737，有興趣深入閱讀的讀者可通過該編號在arXiv平臺查詢完整原文。

現(xiàn)代視頻AI面臨一個根本性的困境：每當我們需要預測一段視頻中物體將如何運動，現(xiàn)有的方法都要把"畫面長什么樣"和"東西怎么動"這兩件事混在一起處理。就好像一個舞蹈老師，明明只需要教學生手臂的運動軌跡，卻非要先把每一幀的服裝顏色、燈光效果、背景墻紙都描述清楚才肯開口。這種做法不僅極其浪費，而且效率低得令人發(fā)指——當前最先進的視頻生成模型每秒只能產(chǎn)生0.2幀畫面，等它們勉強生成出第一幀，研究團隊的新方法早已給出數(shù)千種可能的運動軌跡預測。

這個新方法被命名為ZipMo，其核心思路干脆利落：把運動本身從視頻中剝離出來，單獨建立一套緊湊的"運動語言"，然后直接在這套語言里做預測和生成。這就像鐵路調(diào)度員不需要知道每節(jié)車廂里坐了多少乘客、行李有多重，只需要掌握每列火車的運行軌跡就能高效調(diào)度一樣。

一、從視頻海洋到運動地圖——為什么要把運動單獨拎出來？

回到那個舞蹈教學的場景。假設(shè)你要教機器人學會預測人類的肢體動作，有兩條路可以走。第一條路：讓機器人看海量視頻，逐幀記憶每一個像素的變化，從膚色到背景墻壁全部一起學。第二條路：只提取每個關(guān)節(jié)點的運動軌跡，記錄它們在空間中的坐標變化。顯然第二條路更聰明——不僅信息量小得多，而且完全不受"今天穿藍色衣服還是紅色衣服"這類無關(guān)因素干擾。

研究團隊正是抓住了這個直覺。他們指出，當前的視頻生成模型有一個根深蒂固的問題：運動信息和外觀信息高度糾纏在一起。模型在學習"球往右飛"這件事的時候，同時也在學習"球是橙色的"、"背景是綠色的草坪"、"光線從左上方射來"。這種糾纏導致視頻模型需要龐大的參數(shù)量和計算資源，而且時間壓縮能力極差——因為你壓縮視頻的同時，視覺細節(jié)就會損失，所以現(xiàn)有視頻自動編碼器的時間壓縮倍數(shù)通常只有4倍到8倍。

相比之下，純粹的運動軌跡是非常低維度的信息。一個點在64幀視頻里的運動，就是64個二維坐標，完全不含任何外觀信息。這種信息天然就適合被大幅度壓縮。ZipMo團隊由此提出了一個大膽的目標：把64幀的運動信息壓縮成單個潛在向量，實現(xiàn)64倍的時間壓縮率。

這里有一個關(guān)鍵的技術(shù)概念值得解釋：所謂"軌跡"或"追蹤點"，就是在視頻的第一幀上標記某個像素點，然后追蹤它在后續(xù)每一幀里出現(xiàn)的位置，最終得到一條空間中的運動曲線?，F(xiàn)代AI追蹤器（如TapNext、CoTracker3）能夠自動在視頻里完成這個工作，為每個感興趣的點生成完整的運動軌跡。ZipMo的訓練數(shù)據(jù)，正是用這類追蹤器從大規(guī)模視頻中自動提取的。

二、運動地圖是怎么繪制的——ZipMo的第一階段

ZipMo的整個框架分為兩個階段，第一階段的任務是學會繪制"運動地圖"。

具體來說，研究團隊訓練了一個變分自動編碼器（VAE）。不了解這個詞也沒關(guān)系，你可以把它理解為一個"運動速記員"：給它看一段視頻里散落的若干條軌跡（比如20條、50條、100條任意分布的運動曲線），再加上視頻第一幀的圖像特征，它就能把這些稀疏的運動信息"提煉"成一張16×16的潛在網(wǎng)格，每個網(wǎng)格格子里存儲著16個數(shù)字，整張網(wǎng)格就是這段視頻運動狀態(tài)的高度濃縮版本。

這張16×16的網(wǎng)格，研究團隊稱之為"潛在運動空間"，它就像一張城市的運動地形圖。地圖本身很小，但包含了整段視頻運動的本質(zhì)信息。更精妙的是，這張地圖是可以"查詢"的——你可以問它"第一幀里坐標(0.3, -0.5)這個點在接下來64幀里會怎么運動"，它就能給出答案，即便這個點原本根本沒有被追蹤過。這實現(xiàn)了從稀疏輸入到稠密輸出的泛化，是一個非常實用的能力。

在編碼器的設(shè)計上，團隊做了幾個精巧的工程決策。每條軌跡上的每個采樣點，首先經(jīng)過傅里葉嵌入處理——簡單說就是把普通的坐標數(shù)字轉(zhuǎn)換成更豐富的數(shù)學表示，幫助模型捕捉高頻細節(jié)。然后用三維旋轉(zhuǎn)位置編碼（3D RoPE）同時編碼時間信息和軌跡身份信息，讓模型既知道這個點是"哪個軌跡在第幾幀"的采樣，又能理解軌跡之間的空間關(guān)系。所有軌跡點的信息、網(wǎng)格格子的信息，以及第一幀圖像的特征，通過全局自注意力機制相互交流，最終將信息匯聚到那張16×16的潛在網(wǎng)格里。

解碼器的設(shè)計同樣值得一提。它采用了掩碼自動編碼器（MAE）的思路——在訓練時，有些軌跡點會被故意隱藏起來，讓解碼器在不知道這些點原始位置的情況下，僅憑潛在網(wǎng)格和第一幀特征，預測這些被隱藏點的運動軌跡。這個訓練策略迫使模型真正學會運動規(guī)律的泛化，而不是簡單記憶輸入。

訓練這個速記員用的目標函數(shù)包含兩部分：一是重建誤差，即預測的軌跡坐標與真實軌跡坐標之間的L1距離，要求預測盡量準確；二是KL散度正則化項，要求潛在空間的分布盡可能接近標準正態(tài)分布，這樣后續(xù)的生成模型才能方便地采樣。兩者之間有一個權(quán)衡系數(shù)β，團隊將其設(shè)置為極小的1×10??，說明他們主要希望模型專注于重建精度，正則化只是輔助約束。

三、64倍壓縮到底有多神奇——時間壓縮的秘密

也許你會問：把64幀壓縮成一個格子，信息不會損失得太厲害嗎？

研究團隊做了一組非常有說服力的實驗，專門測試不同時間壓縮倍數(shù)（從2倍到64倍）的效果。他們在固定的計算資源預算下，訓練了一系列具有不同壓縮倍數(shù)的模型，然后同時評估三件事：運動生成質(zhì)量、重建精度、以及推理速度。

結(jié)論出乎意料但又在情理之中：壓縮倍數(shù)越高，運動生成質(zhì)量越好，推理速度越快，而重建精度只有非常輕微的下降。具體來說，從2倍壓縮提升到64倍壓縮，運動生成質(zhì)量（用最小均方誤差Min MSE衡量）從約7降到約5，同時推理速度從大約1倍提升到約20倍（相對于最低壓縮倍數(shù)）。重建精度（用δ^avg衡量）則從約96.5%只降到約99%附近——也就是說，重建精度不降反升，因為模型被迫學到了更本質(zhì)的運動特征。

這背后有兩個相互強化的機制。第一是計算效率：壓縮倍數(shù)越高，需要處理的時序token數(shù)量越少，同等計算量下模型可以見到更多樣本，訓練更充分。第二是語義化程度：更高的壓縮迫使模型拋棄細節(jié)噪聲，只保留運動的本質(zhì)規(guī)律。研究團隊用一個kNN檢索實驗驗證了這一點——在Something-Something V2數(shù)據(jù)集的子集上，隨著壓縮倍數(shù)增加，用潛在向量做最近鄰檢索的動作類別識別準確率單調(diào)上升，從約5%漲到約29%，說明高壓縮率的潛在空間確實學到了更豐富的語義信息，相似的運動在這個空間里被聚合得更近。

打個比方：這就像漢字的發(fā)展過程。最初的甲骨文盡量模仿實物形狀，"日"字畫得跟太陽一模一樣，細節(jié)豐富但難以書寫。經(jīng)過漫長演化，"日"字被高度抽象壓縮成簡單的方塊，反而變得更易書寫、更利于組合表達新意。ZipMo的潛在運動空間，做的正是類似的"抽象提煉"工作。

四、讓運動地圖"開口說話"——ZipMo的第二階段

有了高質(zhì)量的運動潛在空間，第二階段的任務是訓練一個生成模型，讓它能夠在這個空間里自由創(chuàng)作——給定初始場景和運動目標，生成符合物理規(guī)律的運動預測。

研究團隊選擇了流匹配（Flow Matching）這一技術(shù)路線。不熟悉這個概念也沒關(guān)系，可以這樣理解：訓練一個向?qū)?，它的工作是把隨機亂七八糟的運動噪聲，一步步"引導"成符合真實世界規(guī)律的運動模式。這個向?qū)Ь褪荶ipMo的第二階段模型，被命名為ZipMo Planner。

ZipMo Planner是一個基于Transformer的神經(jīng)網(wǎng)絡，有24層，每層的自注意力和交叉注意力維度均為1024，總參數(shù)量約5.3億。它的輸入是一個帶噪聲的潛在運動網(wǎng)格，以及各種條件信號；輸出是一個速度場，指示這個噪聲向量應該往哪個方向"流動"才能更接近真實的運動分布。

條件信號有兩種形式，對應兩種不同的使用場景。第一種是"戳點"（poke）：用戶在圖像上指定若干個點，告訴模型"這個點應該從A位置移動到B位置"。這些點被傅里葉嵌入處理并通過交叉注意力注入模型。這種方式非常靈活——可以只給1個戳點，也可以給2個、4個、8個，甚至全圖密集覆蓋。戳點稀少時，模型有更多自由發(fā)揮空間，生成多樣化的運動假設(shè)；戳點密集時，模型被緊緊約束，生成高度貼合指定路徑的運動。第二種是文字描述：通過BERT文本編碼器將任務描述轉(zhuǎn)換為語言特征，同樣通過交叉注意力注入模型。這種方式適用于機器人操作等需要語言指令的場景。

值得注意的是，ZipMo Planner始終以第一幀的視覺特征（由凍結(jié)的DINOv2 ViT-B/14圖像編碼器提取）作為場景上下文。這保證了模型知道"當前場景里有什么"，從而生成符合場景物理約束的運動。例如，它不會預測一只鳥向地面俯沖后穿越地板，因為模型知道地板就在那里。

五、訓練數(shù)據(jù)與工程細節(jié)——一切從大規(guī)模視頻開始

兩個階段的模型均在1000萬個視頻片段上訓練，數(shù)據(jù)來源是開放大規(guī)模視頻數(shù)據(jù)集KOALA-36M。每個視頻片段最長8秒，研究團隊對其進行幀采樣（每隔一幀取一幀），得到12至15幀每秒的序列。隨后用TapNext追蹤器在每個片段中隨機采樣1024個點位，獲得偽真實軌跡作為訓練監(jiān)督信號，并過濾掉不確定性高的軌跡，最終在64幀長度的軌跡上訓練。

VAE的訓練從64塊H200 GPU開始，逐步將批次大小從64擴大到256，總訓練步數(shù)約80萬步，整個訓練過程約3天。ZipMo Planner的訓練規(guī)模與此相近，批次大小從512擴大到2048，總訓練步數(shù)約70萬步，同樣約3天。

兩個模型均使用AdamW優(yōu)化器，學習率為1×10??，動量參數(shù)為(0.9, 0.95)，以bfloat16混合精度訓練以節(jié)省顯存。VAE采用帶預熱的穩(wěn)定衰減學習率調(diào)度，Planner則使用常數(shù)學習率。歸一化層采用RMSNorm，前饋網(wǎng)絡使用SwiGLU激活函數(shù)，這些都是當前高性能語言模型和視覺模型的通用實踐。

六、與其他方法的正面較量——結(jié)果如何？

研究團隊在多個基準上對ZipMo進行了評估，比較對象涵蓋流場預測方法、原始軌跡預測方法，以及最先進的視頻生成大模型。

評估指標的設(shè)計本身就是一個值得講解的細節(jié)。由于真實世界的運動是高度多模態(tài)的——面對同一個場景，有無數(shù)種物理上合理的運動方式——使用單一確定性指標（如平均誤差）會嚴重懲罰那些有創(chuàng)意地預測了"另一種合理運動"的模型。因此團隊采用了三個互補的指標：Min MSE（最小均方誤差，衡量生成的多個樣本中有沒有一個貼近真實運動，反映分布覆蓋能力）、Mean MSE（所有樣本的平均均方誤差，衡量多樣性，太低說明模型崩塌只生成一種運動）、以及EPE（端點誤差，在戳點條件下衡量模型是否真的遵循了用戶指定的運動終點）。所有指標均在[0,128]分辨率下計算。

在戳點條件下的運動生成對比中，ZipMo與Motion-I2V（流場預測方法，每秒21幀）和Track2Act（軌跡預測方法，每秒180幀）進行了比較。ZipMo以每秒2500幀的速度，在所有條件密度設(shè)置下（1個戳點、2個戳點、4個戳點、8個戳點、全圖密集）均大幅領(lǐng)先。以1個戳點的情況為例，ZipMo的Min MSE為41.0，Motion-I2V為135.7，差距超過3倍；EPE（條件遵循誤差）ZipMo僅0.5，Motion-I2V高達19.7。Track2Act只能在密集條件下評估，其Min MSE為138.7，遠高于ZipMo的30.4。

與視頻生成大模型的比較尤為引人關(guān)注。研究團隊選擇了兩個代表性模型：Wan（14B參數(shù)的開源視頻模型）和Veo 3（谷歌DeepMind的閉源頂級視頻模型）。由于視頻模型不能直接輸出運動軌跡，團隊用CoTracker3對生成視頻進行追蹤，從而獲得可比較的運動預測結(jié)果。

在"樣本匹配"評估方式下（雙方各生成8個樣本），ZipMo的Min MSE為27.08，Wan為28.67，Veo 3為36.18。ZipMo略優(yōu)于Wan，明顯優(yōu)于Veo 3。但這個比較條件對ZipMo其實是不利的——ZipMo只有8.6億參數(shù)，Wan有140億參數(shù)，幾乎大了20倍。而且生成8個視頻樣本對Wan來說需要大約1小時，ZipMo只需要1秒。

在"時間匹配"評估方式下（雙方使用相同的計算時間），差距就變得極為懸殊了。Wan在1小時內(nèi)只能生成1個視頻樣本，Veo 3同樣只能生成1個（且時間未知），而ZipMo在相同時間內(nèi)可以生成超過1萬個樣本。結(jié)果是ZipMo的Min MSE降至21.29，Wan和Veo 3仍停留在64上下。這意味著，當ZipMo可以對同一個場景進行大量采樣、覆蓋各種可能的運動模式時，其生成的運動分布質(zhì)量遠超視頻大模型。

七、讓機器人聽話——在機器人操作任務上的表現(xiàn)

研究團隊還在LIBERO機器人操作基準上測試了ZipMo的實際決策能力。LIBERO是一套模擬機器人的操控任務集，包括多個子套件（LIBERO-10、LIBERO-90、LIBERO-Spatial、LIBERO-Goal、LIBERO-Object），任務描述用自然語言給出，如"打開爐灶并把摩卡壺放上去"或"把黃白色馬克杯放進微波爐并關(guān)上門"。

ZipMo的使用方式是：給定場景第一幀和任務文字描述，ZipMo Planner生成一個運動嵌入，預測未來64幀（實際評估時下采樣到16幀）內(nèi)機器人手臂和相關(guān)物體的運動軌跡。然后一個淺層的策略頭（6層Transformer，768維）根據(jù)這個運動嵌入預測機器人的下一步動作（7維關(guān)節(jié)角度向量）。策略頭只能看到運動嵌入，不能直接看到圖像，這確保了真正的場景理解和規(guī)劃工作由ZipMo完成，策略頭只是將運動信號翻譯為機械臂指令。

整個系統(tǒng)采用滾動規(guī)劃策略：每執(zhí)行一步動作后，從當前幀重新規(guī)劃未來的運動軌跡，實現(xiàn)閉環(huán)控制。

在與同類方法的比較中，遵循ATM的評估設(shè)置，ZipMo在五個子套件上的平均成功率為77.5%，優(yōu)于ATM的60.4%和Amplify的71.4%。遵循Tra-MoE的評估設(shè)置，ZipMo平均成功率為80.3%，優(yōu)于Tra-MoE的61.4%。在LIBERO-Object任務（需要精準識別目標物體）上，ZipMo達到了98%的成功率，在LIBERO-Spatial任務上達到91.3%，均遠超其他方法。

在軌跡預測的精度比較上，ZipMo同樣全面領(lǐng)先。與WHN（目前最佳的軌跡生成基準方法）相比，ZipMo在LIBERO-90側(cè)視角的Min MSE為5.96，WHN為10.99；在LIBERO-10側(cè)視角的Min MSE為7.43，WHN為13.86。與ATM、Tra-MoE等判別式方法相比，優(yōu)勢更為明顯——ATM在LIBERO-90側(cè)視角的MSE高達47.82，ZipMo的單次采樣誤差（8.83）已經(jīng)大幅低于它。

八、還能做什么——密集運動推斷與視覺語義對齊

ZipMo還有一些額外能力值得介紹。

第一是密集運動推斷（Track Densification）。追蹤器給出的軌跡是稀疏的，只覆蓋了視頻中部分像素點。但ZipMo可以在任意空間位置查詢運動，因此可以把稀疏追蹤軌跡轉(zhuǎn)換為全圖密集的運動場。具體操作是：將已有的追蹤軌跡作為戳點輸入給ZipMo Planner，生成完整的潛在運動網(wǎng)格，再對全圖每個像素位置進行解碼，得到類似光流的稠密運動表示。這對需要全局運動場的下游任務（如視頻編輯、運動轉(zhuǎn)移）非常有用。

第二是對追蹤器選擇的魯棒性。研究團隊專門測試了用TapNext訓練的模型能否對CoTracker3的軌跡進行準確重建，反之亦然。結(jié)果顯示交叉追蹤器的重建精度（δ^avg約96-97%）與同源追蹤器相當，說明ZipMo學到的是運動的本質(zhì)規(guī)律，而非某個特定追蹤器的特有偏差。即便在訓練時故意丟棄部分軌跡或只使用未遮擋軌跡，重建精度也只有輕微下降（從96.8%降到93-94%），表現(xiàn)出良好的監(jiān)督信號魯棒性。

第三是在DAVIS 2017和PhysicsIQ這兩個額外數(shù)據(jù)集上的泛化測試。DAVIS包含150段帶有顯著相機運動的真實視頻，PhysicsIQ聚焦于固體力學物理場景。ZipMo在兩個數(shù)據(jù)集上均大幅優(yōu)于Motion-I2V：在DAVIS上Min MSE從222.2降至155.1，在PhysicsIQ上從177.8降至90.6，EPE同樣從16.37和12.4大幅降至0.83和0.76。

說到底，ZipMo做的事情可以用一句話概括：用最少的信息，最快的速度，最好地理解"東西是怎么動的"。這項研究的核心洞見是，運動理解不需要綁架在視頻生成的巨型計算開銷上。把運動從外觀中剝離出來，壓縮成高度語義化的潛在向量，然后在這個干凈的空間里做生成和推理，不僅速度提升了萬倍量級，生成質(zhì)量反而超過了擁有數(shù)十倍參數(shù)量的視頻大模型。

對于機器人領(lǐng)域的研究者而言，ZipMo提供了一個高效的運動規(guī)劃前端，可以讓機器人以遠低于當前成本的代價實現(xiàn)從語言指令到運動預測的轉(zhuǎn)化。對于視頻理解研究者，它展示了一條不依賴視頻像素卻能學到強運動語義的新路徑。對于普通用戶，未來某天你的手機相冊應用可能就用上了類似的技術(shù)，讓它真正理解"這段視頻里貓咪跳躍的動作有多優(yōu)雅"，而不只是識別出"這是一只貓"。

歸根結(jié)底，這項工作提醒我們：有時候，解決復雜問題的關(guān)鍵不是把模型做得更大，而是想清楚"我們真正需要的是什么信息"。ZipMo把這個問題的答案壓縮進了一個16×16的網(wǎng)格里，簡潔有力。有興趣深入了解技術(shù)細節(jié)的讀者，可以通過arXiv編號2604.11737找到完整論文，相關(guān)代碼和模型權(quán)重也在論文主頁compvis.github.io/long-term-motion上持續(xù)更新。

Q&A

Q1：ZipMo與普通視頻生成模型（如Wan、Veo 3）的根本區(qū)別是什么？

A：ZipMo只預測運動軌跡，完全不生成視頻畫面，因此它不需要處理顏色、紋理、光照等視覺信息。這使它能把64幀視頻的運動信息壓縮成極小的潛在向量，生成速度比視頻模型快一萬倍以上，而且生成的運動質(zhì)量反而更好，因為運動信息和外觀信息被徹底分離，學習更純粹。

Q2：ZipMo的"戳點"條件控制是如何工作的？

A：戳點是用戶在圖像上指定的若干個"起點到終點"的位移指令，比如告訴模型"圖中這只手應該從左側(cè)移動到右側(cè)"。ZipMo Planner通過交叉注意力機制把這些戳點整合進運動生成過程，戳點越多，生成運動越貼近指定路徑；戳點越少，模型自由發(fā)揮空間越大，會生成多種可能的合理運動。

Q3：ZipMo在機器人控制中是如何使用的？

A：給定場景圖像和文字任務描述，ZipMo預測未來16步內(nèi)機器人手臂及相關(guān)物體的運動軌跡并壓縮為運動嵌入。一個輕量策略頭讀取這個嵌入，預測機器人的關(guān)節(jié)動作。每執(zhí)行一步后重新規(guī)劃，形成閉環(huán)控制。在LIBERO基準測試中，平均任務成功率約77-80%，明顯高于同類方法。