新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】現(xiàn)有的多模態(tài)模型往往被困在「視頻」的孤島里——它們只能回答視頻內(nèi)的問(wèn)題。但在真實(shí)世界中，人類解決問(wèn)題往往是「看視頻找線索 -> 上網(wǎng)搜證 -> 綜合推理」。為了填補(bǔ)這一空白，來(lái)自QuantaAlpha、蘭州大學(xué)、香港科技大學(xué)（廣州）、北京大學(xué)等機(jī)構(gòu)的研究者聯(lián)合推出了首個(gè)視頻深度研究（Video Deep Research）評(píng)測(cè)基準(zhǔn)VideoDR。

在傳統(tǒng)的視頻問(wèn)答（VideoQA）中，答案通常就在視頻里。

然而，真正的智能Video Agent應(yīng)該具備Deep Research的能力。

試想這樣一個(gè)場(chǎng)景：你看到視頻中博物館的一個(gè)展品，想知道「該博物館推薦的展品中，距離這個(gè)展品最近的那個(gè)，其注冊(cè)編號(hào)是多少？」

這不僅僅需要理解視頻（識(shí)別展品、定位位置），還需要跳出視頻，去博物館官網(wǎng)查找地圖、推薦列表和編號(hào)信息。

論文鏈接：https://arxiv.org/abs/2601.06943

代碼鏈接：https://github.com/QuantaAlpha/VideoDR-Benchmark

VideoDR (Video Deep Research) 正是為此而生，它定義了一個(gè)全新的任務(wù)范式：

1. 多幀視覺線索：從多個(gè)視頻幀中準(zhǔn)確識(shí)別連續(xù)的關(guān)鍵信息進(jìn)行推理。

2. 交互式網(wǎng)絡(luò)搜索：在瀏覽器環(huán)境中進(jìn)行交互，執(zhí)行多跳深度搜索。

3. 多跳推理驗(yàn)證：結(jié)合視頻線索和網(wǎng)絡(luò)證據(jù)，提供可驗(yàn)證的事實(shí)性答案。

為了保證評(píng)測(cè)的含金量，VideoDR并沒有采用自動(dòng)化生成，而是進(jìn)行了嚴(yán)格的人工標(biāo)注與質(zhì)檢。

雙重依賴性測(cè)試：剔除了那些「只看視頻就能答」或「只搜文字就能答」的樣本，確保模型必須結(jié)合兩者能力。

六大領(lǐng)域覆蓋：涵蓋日常生活、經(jīng)濟(jì)、科技、文化、歷史、地理。

Workflow vs. Agentic

研究人員對(duì)比了兩種主流范式：

• Workflow（工作流模式）： 將視頻轉(zhuǎn)化為結(jié)構(gòu)化文本線索，再進(jìn)行搜索推理。

• Agentic（代理模式）： 模型直接端到端處理視頻和搜索，自主決定何時(shí)搜索、何時(shí)思考。

評(píng)測(cè)模型：

• 閉源模型： GPT-5.2, GPT-4o, Gemini-3-pro-preview

• 開源模型： Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5

核心發(fā)現(xiàn)與洞察

誰(shuí)是目前的最強(qiáng)王者？

Gemini-3-pro-preview和GPT-5.2處于第一梯隊(duì)，準(zhǔn)確率達(dá)到了69%-76%左右，顯著領(lǐng)先于其他模型。

Agentic 模式一定更強(qiáng)嗎？

答案是：不一定。

雖然 Agentic 模式更靈活，但在長(zhǎng)視頻或高難度任務(wù)中，模型容易出現(xiàn)目標(biāo)漂移（Goal Drift）。

• Workflow 的優(yōu)勢(shì)： 顯式的中間文本充當(dāng)了「外部記憶」，防止模型在漫長(zhǎng)的搜索鏈路中忘記最初視頻里的視覺細(xì)節(jié)。

• Agentic 的短板： 一旦初始的視覺感知出現(xiàn)偏差，且無(wú)法回看視頻，錯(cuò)誤的搜索路徑會(huì)被不斷放大。

長(zhǎng)視頻是「照妖鏡」

在長(zhǎng)視頻場(chǎng)景下，模型保持長(zhǎng)期一致性（Long-horizon Consistency）的能力成為瓶頸。

強(qiáng)如Gemini-3在Agentic模式下能利用長(zhǎng)上下文獲得提升，而部分開源模型在長(zhǎng)視頻下性能反而大幅下降。

總結(jié)

VideoDR將視頻理解的戰(zhàn)場(chǎng)從封閉測(cè)試集延伸到了無(wú)限的開放網(wǎng)絡(luò)。

評(píng)測(cè)結(jié)果深刻揭示了「端到端」并非萬(wàn)能藥：在面對(duì)長(zhǎng)鏈路搜索時(shí)，模型往往會(huì)陷入「記憶衰退」的困境。

未來(lái)的視頻 Agent 只有在保持視覺線索的長(zhǎng)程一致性上取得突破，才能真正勝任真實(shí)世界的復(fù)雜調(diào)研任務(wù)。

參考資料：

https://arxiv.org/abs/2601.06943