出品 | 網(wǎng)易科技《態(tài)度》欄目

作者 | 紀(jì)川

編輯 | 定西

世界不是由一張張靜態(tài)圖片組成的，而是連續(xù)流動的視頻。

但在過去很長一段時間里，AI 處理視頻的方式卻顯得極其“笨拙”：先把視頻解壓成一幀幀圖片，再像翻連環(huán)畫一樣去理解。這種行業(yè)慣例帶來了巨大的算力浪費(fèi)——畢竟，視頻中90% 的信息都是冗余的背景。

既然視頻本身就是被壓縮過的，為什么非要把它解壓成圖片再分析？這種“多此一舉”的行業(yè)慣例，是不是可以被打破？

帶著這個問題，靈感實(shí)驗室新一代視覺基礎(chǔ)模型Glint-MVT v2.0（以下簡稱MVT v2.0）選擇了一條“少有人走的路”——圖像和視頻統(tǒng)一編碼，通過視頻編碼在壓縮域進(jìn)行高效分析——這正是MVT v2.0的核心突破。

MVT v2.0利用視頻編碼自帶的運(yùn)動矢量（Motion Vector）和殘差（Residual）信息，生成了一張“信息量熱圖”。模型只保留那些包含關(guān)鍵動作或細(xì)節(jié)變化的Patch（圖像塊），而將背景等低信息量的部分直接丟棄。

這一策略直接減少了 90% 的冗余 Token。

“說到底，我們只是利用了視頻編碼的原理，不再把那些冗余找回來�！膘`感實(shí)驗室負(fù)責(zé)人馮子勇解釋道。但這看似簡單的邏輯轉(zhuǎn)換，卻帶來極大的能力提升：在全幀率分析下，MVT v2.0 的推理速度提升了 5 倍；任務(wù)表現(xiàn)方面，將Glint-MVT v2.0用作VideoLLM的視覺編碼器，在MVBench、VideoMME、Percepton Test等視頻基準(zhǔn)上超過Google SigLIP2。

Glint-MVT v2.0任務(wù)的表現(xiàn)

然而，這場突圍并非一蹴而就。

如果把時間軸拉回幾年前，這支專注底層視覺編碼的團(tuán)隊其實(shí)更像是一群在快車道旁默默修路的人。

從 2023 年發(fā)布Glint-MVT v1.0 開始，靈感實(shí)驗室一直在探索視覺和多模態(tài)領(lǐng)域的技術(shù)創(chuàng)新。在 v1.0 階段，為了給4 億張無標(biāo)注圖片打上偽標(biāo)簽，他們采用“標(biāo)簽采樣”方法來解決噪聲問題；到了v1.1，為了突破單標(biāo)簽的限制，他們優(yōu)化了損失函數(shù)，讓模型學(xué)會“一眼看多物”；再到v1.5 版本，通過引入專家模型和OCR，把模型對局部細(xì)節(jié)和文字特征的理解能力拉到了新高度。

Glint-MVT系列論文：

1.0：Unicom: Universal and Compact Representation Learning for Image Retrieval

1.1：Multi-label Cluster Discrimination for Visual Representation Learning

1.5：Region-based Cluster Discrimination for Visual Representation Learning

正是一步步的技術(shù)積累，才讓他們最終在MVT v2.0 階段打破了圖像與視頻的界限，走通了這條高效分析之路。

以下是網(wǎng)易科技與靈感實(shí)驗室團(tuán)隊（以下簡稱“靈感”）的對話，經(jīng)不改變原意的編輯。

統(tǒng)一圖像與視頻：人們看到的世界是視頻，而不是靜態(tài)圖片

網(wǎng)易科技：簡單介紹一下Glint-MVT，從1.0到1.5版本大概是一個什么樣的情況？這次2.0版本最大的升級是什么？

靈感：從1.0、1.1到1.5版本，MVT視覺模型基座的關(guān)注點(diǎn)都在圖片上，1.x系列都定義在圖像領(lǐng)域。

我們在v1.0和v1.1時關(guān)注的是怎么訓(xùn)練一個好的圖像編碼器（Encoder）。到了v1.5，我們的重點(diǎn)方向是細(xì)粒度，也就是提升局部區(qū)域的表征。結(jié)果發(fā)現(xiàn)到2025年三四月份，各種各樣的模型基本上都是針對這個點(diǎn)來做的，競爭非常激烈。再往下做，只能像大廠那樣堆資源，這對我們來說相對困難。

所以，我們決定在v2.0做一次較大升級。MVT v2.0最大的創(chuàng)新性在于統(tǒng)一支持圖像和視頻，把視頻加進(jìn)來，統(tǒng)一在一個Encoder里面。

Glint-MVT v2.0方法示意圖

網(wǎng)易科技：對于你們來說，參與 MVT v2.0 的過程中最興奮的一個瞬間是什么？

靈感：第一次聽到基于 Codec（編解碼）輸入的結(jié)果還可以的時候，那個瞬間最興奮。

因為做統(tǒng)一支持圖像和視頻的視覺編碼器的人還是比較少的，而且我們想顛覆的是“把視頻變成圖片流”這樣一種根深蒂固的觀念。在這條路上，沒有太多前人的工作可借鑒。當(dāng)驗證結(jié)果出來，說明這個路線是可行的，這給了我們很大的鼓舞。

網(wǎng)易科技：當(dāng)前主流做法仍是分別訓(xùn)練圖像和視頻模型。你們選擇研發(fā)“圖像和視頻統(tǒng)一”的視覺編碼器，這個想法是在什么契機(jī)下產(chǎn)生的？是為了解決業(yè)務(wù)痛點(diǎn)，還是純粹的技術(shù)推演？

靈感：這個想法是幾個方向逐步凝聚在一起，慢慢萌生出來的。既有業(yè)務(wù)痛點(diǎn)的驅(qū)動，也有對技術(shù)本質(zhì)的思考。

首先，從業(yè)務(wù)痛點(diǎn)來看，視頻分析在我們的業(yè)務(wù)（如泛安防、銀行、體育動作識別等場景）中占據(jù)重要地位。

長期以來，行業(yè)慣例是把視頻解碼為一幀幀圖片單獨(dú)分析。但這存在一個問題：我們拿到的視頻本來就是被壓縮過的，壓縮后的體積可能只有原來的十分之一，說明大量冗余已經(jīng)被剔除了。但慣有做法是把冗余解壓回來再分析，這不僅浪費(fèi)算力，而且性能強(qiáng)依賴于解碼器性能和內(nèi)存帶寬。既然視頻本身的信息量是滿的，為什么不能直接在壓縮域上做分析？

其次，從技術(shù)推演來看，圖像編碼器這個賽道已經(jīng)卷到基本沒有空間了，技術(shù)發(fā)展必然會轉(zhuǎn)向視頻分析。

最后，從第一性原理來看，我們看到的世界從來都是視頻，不是靜態(tài)圖片。我們的空間推理和事件推理都是構(gòu)建在視頻之上的。圖片本質(zhì)上是靜態(tài)的視頻，所以視頻是可以包含圖片的。MVT v2.0 就是基于這樣的思考。

削減90% 視頻Token：只保留“最有信息量”的 Patch

網(wǎng)易科技：我看到一個數(shù)字，MVT v2.0利用視頻編碼信息減少了90%的token數(shù)量。這意味著什么？請用更通俗的方式解釋，這是如何實(shí)現(xiàn)的？

靈感：這90%的減少，是通過只保留“最有信息量”的Patch（圖像塊）實(shí)現(xiàn)的。

視頻編碼器在壓縮視頻時，會自動產(chǎn)生兩種非常寶貴的信號：

·MV（運(yùn)動矢量）： 告訴我們哪些塊在動、怎么動。

·Residual（殘差）： 告訴我們哪些地方預(yù)測不準(zhǔn)、哪里有細(xì)節(jié)和邊緣的變化。

我們將 MV 和Residual 融合成一張“信息量熱圖”，熱度越高，表示這個區(qū)域越可能包含關(guān)鍵動作或關(guān)鍵細(xì)節(jié)。然后，我們在每幀只保留一個固定預(yù)算的 Top-k 關(guān)鍵Patch，把剩余大部分低信息量的Patch 直接扔掉，不再變成Token 輸入。所以，Token 從全量覆蓋變成了預(yù)算可控的稀疏輸入，90% 的削減就是這樣來的。

比如固定攝像頭的監(jiān)控視頻，很多背景是不動的。說到底，視頻流在傳輸時，冗余部分已經(jīng)被扔掉了，否則帶寬扛不住。我們只是利用這個原理，不再把那些冗余找回來，直接對變化的部分做分析。

網(wǎng)易科技：如此大幅度的 Token 削減，如何保證不丟失關(guān)鍵信息？在實(shí)現(xiàn)效率提升的過程中，你們面臨的最大權(quán)衡是什么？

靈感：我們能在大幅降 Token 的同時盡量保住關(guān)鍵信息，核心在于兩點(diǎn)：

第一，我們刪掉的不是隨機(jī)內(nèi)容，而是“低信息量內(nèi)容”。MV 和Residual 本身就是編碼器為了壓縮而標(biāo)記出的“變化”和“難預(yù)測細(xì)節(jié)”。它天然在提醒我們：哪里更值得花比特，也就更值得讓模型花算力。因此我們優(yōu)先保留的區(qū)域，往往正是主體動作、交互區(qū)域這些理解視頻最關(guān)鍵的地方。

第二，我們做了防止誤選的處理。例如，我們會做全局相機(jī)運(yùn)動補(bǔ)償，把鏡頭平移或抖動造成的整體運(yùn)動扣掉，避免背景因為鏡頭運(yùn)動被誤認(rèn)為“很重要”，從而把有限的預(yù)算更集中在真實(shí)運(yùn)動的主體上。同時MV 和Residual 是互補(bǔ)的，融合后更穩(wěn)。

自左向右分別為：原始視頻、均勻幀采樣（常規(guī)用法）、時間顯著性檢測、類編解碼器風(fēng)格的塊提取

網(wǎng)易科技：在大模型參數(shù)量越來越大的今天，你們似乎在追求一種更輕量、更高效的表達(dá)方式。這是否代表你們對未來視覺模型發(fā)展方向的一種不同判斷？

靈感： 我們覺得參數(shù)量擴(kuò)大是否能帶來更好的性能，或者說能好多少，這才是本質(zhì)。我們其實(shí)是在追求“性價比”。

如果在這個規(guī)模下性能已經(jīng)很不錯了，再往后堆參數(shù)需要耗費(fèi)巨大的資源但提升不顯著，那就不值得。

MVT v2.0 中視頻的表達(dá)直接來源于視頻Codec，這是基于我們對視頻本質(zhì)的理解——圖片流本身就是冗余的。我們不盲目追求大參數(shù)，而是追求更本質(zhì)、更高效的表達(dá)。

網(wǎng)易科技：了解到 MVT v2.0 可以應(yīng)用于VLM（視覺語言模型）。這是否意味著它的目標(biāo)是成為下一代多模態(tài)大模型的“視覺編碼器”？與目前主流的VLM 視覺編碼器相比，優(yōu)勢體現(xiàn)在哪里？

靈感：是的，我們內(nèi)部已經(jīng)驗證了它作為 VLM 視覺底座的效果。與目前主流的模型相比，優(yōu)勢主要體現(xiàn)在：

·性能上：在全幀率分析的情況下，我們能提速 5倍。

·效果上：視頻理解任務(wù)效果超過了 SigLIP2。

·功能上：它原生支持全幀率和高速運(yùn)動分析，這是傳統(tǒng)抽幀方案很難做到的。

技術(shù)好奇心與野心：探索視覺特征表達(dá)的新路徑

網(wǎng)易科技：這項技術(shù)突破，最先會應(yīng)用到哪些產(chǎn)品或解決方案中？

靈感：像安防或銀行的視頻分析產(chǎn)品中，立刻就可以應(yīng)用。因為 MVT v2.0 可以進(jìn)行全幀率分析，像打斗、快速奔跑等這些快速動作的識別，以前因為算力限制很難做全幀率，現(xiàn)在都可以應(yīng)用上了。

此外，我們認(rèn)為凡是涉及快速運(yùn)動、高幀率視頻分析的場景都可以受益，比如具身智能（機(jī)器人需要實(shí)時感知和響應(yīng)動作變化）。

網(wǎng)易科技：回看MVT從1.0到1.5再到現(xiàn)在的2.0，這條技術(shù)路線上，有沒有哪個階段是團(tuán)隊感到最迷茫的？

靈感：是在 1.5 版本推出之前。

在v1.0 和v1.1 的時候，做這個方向的工作還不是很多，我們也就是自己探索，預(yù)期沒那么高，結(jié)果出來得也快。但到了1.5 階段（大概2025年初），我們明顯感覺到同類型的工作不停地發(fā)表，競爭變得非常激烈，同時也有其他訓(xùn)練方法（如 MAE、圖文對比學(xué)習(xí)）的沖擊。那時候壓力很大，只能一點(diǎn)一點(diǎn)往前推。

很幸運(yùn)的是，后來MVT v1.5 被ICCV 2025（國際計算機(jī)視覺大會）錄用了，這給了我們很大的信心，做v2.0 的時候底氣就更足了。

網(wǎng)易科技：現(xiàn)在的AI人才市場非常瘋狂。比較好奇靈感實(shí)驗室的成員是一群什么樣的人？

靈感：我們的團(tuán)隊成員大多覺得視覺特征表達(dá)還有其他的路徑，不一定是大廠所定義的那樣。大家有一種純粹的技術(shù)好奇心，想去探索不一樣的路。這有點(diǎn)像在 GPT-3 出來之前，大家主要用的還是BERT，但最后證明GPT 這條路是對的。

公司也支持我們?nèi)ヌ剿鬟@種非共識的、偏底層的研究。

網(wǎng)易科技：靈感實(shí)驗室的下一步技術(shù)演進(jìn)方向是什么？

靈感：2.0版本只是個開始，剛把這個點(diǎn)做通了，但離做得很好還有很長路要走。我們下一步的方向是：

·第一，要更高效。現(xiàn)在雖然利用了流里的信息，但還要經(jīng)過一步處理，希望能做到直接進(jìn)流、直接分析。

·第二，做流式（Streaming）分析。現(xiàn)在很多VLM是離線分析的，我們希望基于2.0的VLM能像看球賽解說一樣，實(shí)時進(jìn)流、實(shí)時分析。

·第三，兼容3D重建。像Gaussian Splatting或VGGT這種，希望能直接把視頻塞進(jìn)去就生成3D場景或點(diǎn)云。

更大的野心是，視頻的理解和生成能不能一體化？同一個Encoder既能輸出理解的特征，也能輸出生成的特征。

網(wǎng)易科技：如果用一個詞來形容 MVT v2.0 對當(dāng)前視覺領(lǐng)域的意義，你們會選哪個詞？

靈感：啟發(fā)。

我們希望能對其他做視覺的研究者有更多的啟發(fā)，讓大家看到除了堆參數(shù)、解圖片流之外，還有通過視頻編碼在壓縮域進(jìn)行高效分析這條路，歡迎大家跟我們一起探索。