聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

2025最后幾天，是時(shí)候來(lái)看點(diǎn)年度寶藏論文了。

比如，阿里最年輕P10、Qwen大模型技術(shù)負(fù)責(zé)人林俊旸最新轉(zhuǎn)發(fā)了一篇名為《Video models are zero-shot learners and reasoners》的研究。

沒(méi)錯(cuò)，就是谷歌DeepMind提出視頻模型“思維鏈”CoF的那篇入選ICCV 2025的論文。

當(dāng)時(shí)，這篇研究還給出了一個(gè)關(guān)鍵信號(hào)：視覺(jué)領(lǐng)域的“GPT時(shí)刻”要來(lái)了。

該研究用1.8萬(wàn)組實(shí)驗(yàn)數(shù)據(jù)證明，視頻模型正在跳出任務(wù)專屬的局限，走上LLM的老路——

用一個(gè)模型，通過(guò)提示，完成幾乎所有的視覺(jué)任務(wù)

并且，推理過(guò)程還能被CoF“演”出來(lái)。

從NLP到CV

自然語(yǔ)言處理領(lǐng)域的GPT時(shí)刻，核心是實(shí)現(xiàn)了一個(gè)模型通吃所有

在此之前，翻譯、寫(xiě)作、問(wèn)答等任務(wù)都各自有專屬的模型，而LLM的出現(xiàn)，靠大規(guī)模數(shù)據(jù)訓(xùn)練和生成式架構(gòu)，讓零樣本學(xué)習(xí)成為可能，模型通過(guò)文字提示就能完成各種各樣的任務(wù)。

但計(jì)算機(jī)視覺(jué)領(lǐng)域卻還一直深陷于這種碎片化的困境。

比如，要做目標(biāo)檢測(cè)得用YOLO，做語(yǔ)義分割依賴SAM，圖像超分要找專門(mén)模型，3D重建還得換另一套工具。

這些針對(duì)不同任務(wù)的模型架構(gòu)差異很大，不僅開(kāi)發(fā)成本高，還嚴(yán)重限制了視覺(jué)AI的泛化能力，導(dǎo)致視覺(jué)AI的進(jìn)步一直是單點(diǎn)突破。

比如這個(gè)模型在分割任務(wù)上刷新SOTA，另一個(gè)模型在檢測(cè)任務(wù)上實(shí)現(xiàn)提速，卻始終沒(méi)能解決“多任務(wù)統(tǒng)一”的問(wèn)題。

而這篇論文詳解了谷歌DeepMind借鑒LLM的成功路徑，讓Veo 3成為了一個(gè)“視覺(jué)通才”。

通過(guò)大規(guī)模視頻與文本數(shù)據(jù)的生成式訓(xùn)練，打通了視覺(jué)感知與語(yǔ)言理解的壁壘，讓模型具備了跨任務(wù)的通用能力

而且Veo 3完美復(fù)刻了LLM的零樣本優(yōu)勢(shì)，面對(duì)沒(méi)專門(mén)訓(xùn)練過(guò)的任務(wù)，只要用文字說(shuō)清需求，模型就能直接輸出結(jié)果，無(wú)需額外調(diào)參或數(shù)據(jù)微調(diào)。

這也正是說(shuō)視覺(jué)GPT時(shí)刻到來(lái)的核心標(biāo)志。

從生成視頻到用視頻思考

就像林俊旸提到的那樣，這篇論文指出視頻模型一個(gè)非常關(guān)鍵的變化在于——視頻不再只是輸出的形式，也開(kāi)始體現(xiàn)推理的過(guò)程。

模型在生成視頻的過(guò)程中，會(huì)逐步展開(kāi)中間狀態(tài)，這就讓推理不再是完全不可見(jiàn)的黑箱。

論文中將這種現(xiàn)象稱為Chain-of-Frames，也就是CoF，類(lèi)似于語(yǔ)言模型中的CoT，只不過(guò)視頻模型是通過(guò)連續(xù)生成的視頻幀，把整個(gè)推理過(guò)程“演”出來(lái)。

模型在時(shí)間和空間中不斷調(diào)整畫(huà)面，用可見(jiàn)的變化替代抽象的符號(hào)推理。

因此，無(wú)論是解迷宮、做路徑規(guī)劃，還是進(jìn)行規(guī)則外推，模型都不是一次性輸出結(jié)果，而是在連續(xù)的視覺(jué)變化中逐步逼近正確解。

推理過(guò)程則被隱含地編碼在視頻序列之中，視頻模型開(kāi)始在過(guò)程中思考

正是這種“逐幀生成即推理”的方式，為通用性提供了基礎(chǔ)。
因?yàn)槟Ｐ筒辉賴@某一個(gè)具體任務(wù)去算結(jié)果，轉(zhuǎn)而在統(tǒng)一的生成過(guò)程中，不斷更新對(duì)場(chǎng)景狀態(tài)的理解。

不同任務(wù)之間的差異，不再體現(xiàn)在模型結(jié)構(gòu)或輸出形式上，而是被壓縮成了“生成過(guò)程中關(guān)注什么、如何繼續(xù)生成”的差別。

這種框架下，分割、檢測(cè)、編輯、路徑規(guī)劃等原本割裂的視覺(jué)任務(wù)，可以被統(tǒng)一到同一套生成機(jī)制中。模型始終做的只有一件事：生成下一幀視頻

在逐幀生成過(guò)程中，它自然完成了感知、推理與決策的協(xié)同，這就不再需要為每類(lèi)任務(wù)單獨(dú)設(shè)計(jì)模型或系統(tǒng)。

論文進(jìn)一步觀察到，在無(wú)需針對(duì)具體任務(wù)進(jìn)行專門(mén)訓(xùn)練、也不引入額外監(jiān)督的前提下，視頻模型已經(jīng)能夠通過(guò)不同形式的提示，在多類(lèi)視覺(jué)任務(wù)中展現(xiàn)出一定的零樣本泛化能力。

也正因?yàn)槿绱?，Veo 3用感知、建模、操控、推理4大核心能力能搞定62種沒(méi)學(xué)過(guò)的視覺(jué)任務(wù)。

現(xiàn)在經(jīng)過(guò)a16z投資合伙人Justine Moore和林俊旸一提醒，回看這篇論文發(fā)現(xiàn)，視頻模型在視覺(jué)領(lǐng)域的的突破，還真有點(diǎn)當(dāng)年LLM顛覆NLP的味兒了……

論文地址：https://arxiv.org/abs/2509.20328
參考鏈接：https://x.com/venturetwins/status/2005330176977293743

— 完 —