聞樂 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

2025最后幾天，是時(shí)候來看點(diǎn)年度寶藏論文了。

比如，阿里最年輕P10、Qwen大模型技術(shù)負(fù)責(zé)人林俊旸最新轉(zhuǎn)發(fā)了一篇名為《Video models are zero-shot learners and reasoners》的研究。

沒錯(cuò)，就是谷歌DeepMind提出視頻模型“思維鏈”CoF的那篇入選ICCV 2025的論文。

當(dāng)時(shí)，這篇研究還給出了一個(gè)關(guān)鍵信號(hào)：視覺領(lǐng)域的“GPT時(shí)刻”要來了。

該研究用1.8萬組實(shí)驗(yàn)數(shù)據(jù)證明，視頻模型正在跳出任務(wù)專屬的局限，走上LLM的老路——

用一個(gè)模型，通過提示，完成幾乎所有的視覺任務(wù)

并且，推理過程還能被CoF“演”出來。

從NLP到CV

自然語言處理領(lǐng)域的GPT時(shí)刻，核心是實(shí)現(xiàn)了一個(gè)模型通吃所有

在此之前，翻譯、寫作、問答等任務(wù)都各自有專屬的模型，而LLM的出現(xiàn)，靠大規(guī)模數(shù)據(jù)訓(xùn)練和生成式架構(gòu)，讓零樣本學(xué)習(xí)成為可能，模型通過文字提示就能完成各種各樣的任務(wù)。

但計(jì)算機(jī)視覺領(lǐng)域卻還一直深陷于這種碎片化的困境。

比如，要做目標(biāo)檢測得用YOLO，做語義分割依賴SAM，圖像超分要找專門模型，3D重建還得換另一套工具。

這些針對(duì)不同任務(wù)的模型架構(gòu)差異很大，不僅開發(fā)成本高，還嚴(yán)重限制了視覺AI的泛化能力，導(dǎo)致視覺AI的進(jìn)步一直是單點(diǎn)突破。

比如這個(gè)模型在分割任務(wù)上刷新SOTA，另一個(gè)模型在檢測任務(wù)上實(shí)現(xiàn)提速，卻始終沒能解決“多任務(wù)統(tǒng)一”的問題。

而這篇論文詳解了谷歌DeepMind借鑒LLM的成功路徑，讓Veo 3成為了一個(gè)“視覺通才”。

通過大規(guī)模視頻與文本數(shù)據(jù)的生成式訓(xùn)練，打通了視覺感知與語言理解的壁壘，讓模型具備了跨任務(wù)的通用能力

而且Veo 3完美復(fù)刻了LLM的零樣本優(yōu)勢，面對(duì)沒專門訓(xùn)練過的任務(wù)，只要用文字說清需求，模型就能直接輸出結(jié)果，無需額外調(diào)參或數(shù)據(jù)微調(diào)。

這也正是說視覺GPT時(shí)刻到來的核心標(biāo)志。

從生成視頻到用視頻思考

就像林俊旸提到的那樣，這篇論文指出視頻模型一個(gè)非常關(guān)鍵的變化在于——視頻不再只是輸出的形式，也開始體現(xiàn)推理的過程。

模型在生成視頻的過程中，會(huì)逐步展開中間狀態(tài)，這就讓推理不再是完全不可見的黑箱。

論文中將這種現(xiàn)象稱為Chain-of-Frames，也就是CoF，類似于語言模型中的CoT，只不過視頻模型是通過連續(xù)生成的視頻幀，把整個(gè)推理過程“演”出來。

模型在時(shí)間和空間中不斷調(diào)整畫面，用可見的變化替代抽象的符號(hào)推理。

因此，無論是解迷宮、做路徑規(guī)劃，還是進(jìn)行規(guī)則外推，模型都不是一次性輸出結(jié)果，而是在連續(xù)的視覺變化中逐步逼近正確解。

推理過程則被隱含地編碼在視頻序列之中，視頻模型開始在過程中思考

正是這種“逐幀生成即推理”的方式，為通用性提供了基礎(chǔ)。
因?yàn)槟Ｐ筒辉賴@某一個(gè)具體任務(wù)去算結(jié)果，轉(zhuǎn)而在統(tǒng)一的生成過程中，不斷更新對(duì)場景狀態(tài)的理解。

不同任務(wù)之間的差異，不再體現(xiàn)在模型結(jié)構(gòu)或輸出形式上，而是被壓縮成了“生成過程中關(guān)注什么、如何繼續(xù)生成”的差別。

這種框架下，分割、檢測、編輯、路徑規(guī)劃等原本割裂的視覺任務(wù)，可以被統(tǒng)一到同一套生成機(jī)制中。模型始終做的只有一件事：生成下一幀視頻

在逐幀生成過程中，它自然完成了感知、推理與決策的協(xié)同，這就不再需要為每類任務(wù)單獨(dú)設(shè)計(jì)模型或系統(tǒng)。

論文進(jìn)一步觀察到，在無需針對(duì)具體任務(wù)進(jìn)行專門訓(xùn)練、也不引入額外監(jiān)督的前提下，視頻模型已經(jīng)能夠通過不同形式的提示，在多類視覺任務(wù)中展現(xiàn)出一定的零樣本泛化能力。

也正因?yàn)槿绱耍琕eo 3用感知、建模、操控、推理4大核心能力能搞定62種沒學(xué)過的視覺任務(wù)。

現(xiàn)在經(jīng)過a16z投資合伙人Justine Moore和林俊旸一提醒，回看這篇論文發(fā)現(xiàn)，視頻模型在視覺領(lǐng)域的的突破，還真有點(diǎn)當(dāng)年LLM顛覆NLP的味兒了……

論文地址：https://arxiv.org/abs/2509.20328
參考鏈接：https://x.com/venturetwins/status/2005330176977293743

— 完 —