本文綜合北京大學(xué)王選計(jì)算機(jī)研究所發(fā)布的 ProactiveVideoQA 和 MMDuet2 兩篇論文，介紹視頻多模態(tài)大模型如何實(shí)現(xiàn) “主動(dòng)交互”—— 在視頻播放過(guò)程中自主決定何時(shí)發(fā)起回復(fù)，而非等待用戶提問(wèn)。ProactiveVideoQA 提出評(píng)估指標(biāo)和 benchmark，MMDuet2 則通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練方法實(shí)現(xiàn)了 SOTA 性能，無(wú)需精確的回復(fù)時(shí)間標(biāo)注即可訓(xùn)練出及時(shí)、準(zhǔn)確的主動(dòng)交互模型。

MMDuet2: Enhancing Proactive Interaction of Video MLLMs with Multi-Turn Reinforcement Learning

• 論文鏈接：https://www.arxiv.org/abs/2512.06810
• 論文主頁(yè)：https://github.com/yellow-binary-tree/MMDuet2

ProactiveVideoQA: A Comprehensive Benchmark Evaluating Proactive Interactions in Video Large Language Models

• 論文鏈接：https://arxiv.org/abs/2507.09313
• 論文主頁(yè)：https://github.com/yellow-binary-tree/ProactiveVideoQA

背景：為什么視頻模型需要 "主動(dòng)交互"

想象這樣一個(gè)場(chǎng)景：你正在使用一個(gè)基于多模態(tài)大模型的語(yǔ)音助手指導(dǎo)你做飯；對(duì)于大多數(shù)已有的多模態(tài)大模型，它只能在你提出問(wèn)題后做出回復(fù)。也就是說(shuō)，你在手忙腳亂地操作廚具的同時(shí)，還要一次一次地提問(wèn) “現(xiàn)在我該怎么做？”。但更理想的體驗(yàn)是，模型可以在看你操作的時(shí)候，不需要你給出指令，就主動(dòng)提供講解。

這就是 "主動(dòng)交互"（Proactive Interaction）要解決的問(wèn)題。如上圖所示，與傳統(tǒng)的離線交互（offline，先提供整個(gè)視頻，然后基于視頻內(nèi)容展開(kāi)對(duì)話）和在線交互（online，用戶每次提問(wèn)后模型回復(fù)）不同，主動(dòng)交互要求模型自主決定何時(shí)回復(fù)，即能根據(jù)視頻的進(jìn)展自主選擇合適的時(shí)機(jī)主動(dòng)向用戶提供信息。

這種能力對(duì)很多真實(shí)場(chǎng)景至關(guān)重要：例如直播管理、智能監(jiān)控、第一人稱(chēng)視角助手等應(yīng)用場(chǎng)景都需要模型能夠主動(dòng)、及時(shí)地響應(yīng)視頻中的關(guān)鍵事件。下面是 MMDuet2 模型在處理游戲直播時(shí)的一個(gè)例子：用戶在視頻開(kāi)始時(shí)提出一個(gè)需要關(guān)注的事件（屏幕上出現(xiàn)表示游戲中重要事件的大字），每次這個(gè)事件發(fā)生時(shí)，MMDuet2 模型就會(huì)及時(shí)給出解釋。

視頻地址：https://mp.weixin.qq.com/s/pGnyUMZmBq0RBD0fAmlQ8A?click_id=36

但目前這個(gè)問(wèn)題仍然沒(méi)有受到足夠的重視；雖然有一些工作訓(xùn)練的多模態(tài)大模型聲稱(chēng)具備主動(dòng)交互能力，他們也并沒(méi)有對(duì)這種能力進(jìn)行定量的評(píng)估。這背后反映的問(wèn)題是：如何評(píng)估主動(dòng)交互能力？如何訓(xùn)練主動(dòng)交互能力？這兩個(gè)基礎(chǔ)問(wèn)題一直缺乏系統(tǒng)性的解決方案。ProactiveVideoQA 和發(fā)表在 ICLR 2026 上的 MMDuet2 這兩篇工作恰好構(gòu)成了一個(gè)完整的方案：前者定義了問(wèn)題和評(píng)估標(biāo)準(zhǔn)，后者提供了訓(xùn)練解決方案并達(dá)到了最佳性能。

ProactiveVideoQA：首個(gè)主動(dòng)交互評(píng)估基準(zhǔn)

ProactiveVideoQA 是首個(gè)專(zhuān)門(mén)評(píng)估視頻多模態(tài)模型主動(dòng)交互能力的綜合基準(zhǔn)測(cè)試。它的核心特征有三個(gè)：

1.多輪開(kāi)放式問(wèn)答：不同于大多數(shù)視頻問(wèn)答基準(zhǔn)使用選擇題，ProactiveVideoQA 要求模型生成多輪、完全開(kāi)放的文本回復(fù)，更接近真實(shí)對(duì)話場(chǎng)景。

2.多樣化的任務(wù)和多模態(tài)輸入：ProactiveVideoQA 涵蓋網(wǎng)絡(luò)視頻、第一人稱(chēng)視角、電視劇、監(jiān)控視頻四大類(lèi)任務(wù)，整合文本、視頻、語(yǔ)音多種模態(tài)，共 1377 個(gè)視頻、1427 個(gè)問(wèn)題。Benchmark 的數(shù)據(jù)示例如下圖所示，每條數(shù)據(jù)含有一個(gè)問(wèn)題和一個(gè)以上的答案，每個(gè)答案對(duì)應(yīng)一個(gè)時(shí)間片段：

3.提出和回復(fù)時(shí)間相關(guān)的評(píng)估指標(biāo) PAUC：提出 Proactive Area Under Curve（PAUC）指標(biāo)，通過(guò)繪制 “時(shí)間 - 質(zhì)量” 曲線并計(jì)算曲線下面積來(lái)評(píng)估模型回復(fù)的及時(shí)性和準(zhǔn)確性，而非僅評(píng)估文本內(nèi)容。

PAUC 的計(jì)算方式如上圖所示：受到人機(jī)交互領(lǐng)域中的用戶旅程地圖（User Journey Map）的啟發(fā)，我們將模型在每個(gè)時(shí)間點(diǎn)的累積回復(fù)質(zhì)量分?jǐn)?shù)繪制成折線圖，并計(jì)算折線下面積與最大可能面積的比值（藍(lán)色面積與黃色面積 + 藍(lán)色面積的比值）：

關(guān)于這個(gè)指標(biāo)為什么可以兼顧回復(fù)的及時(shí)性和準(zhǔn)確性，下圖有一個(gè)直觀的幾何解釋?zhuān)?/p>

MMDuet2：基于強(qiáng)化學(xué)習(xí)的主動(dòng)交互訓(xùn)練方法

MMDuet2 是在 ProactiveVideoQA 基準(zhǔn)上達(dá)到 SOTA 性能的支持主動(dòng)交互的視頻多模態(tài)模型。它的主要貢獻(xiàn)包括：

1.高質(zhì)量訓(xùn)練數(shù)據(jù)：構(gòu)建了包含 52k 條視頻的主動(dòng)交互對(duì)話數(shù)據(jù)集，根據(jù)對(duì)話中問(wèn)題個(gè)數(shù)的不同分為兩種對(duì)話類(lèi)型（1QnA 和 nQnA）。

2.訓(xùn)練和推理框架兼容性：基于 Qwen2.5-VL 模型，每個(gè)回復(fù)輪次輸出回復(fù)內(nèi)容或 "NO REPLY"，無(wú)需額外模塊或手動(dòng)調(diào)整閾值，與主流訓(xùn)練 / 推理框架完全兼容。

3.多輪強(qiáng)化學(xué)習(xí)訓(xùn)練：提出基于 GRPO 的 RL 訓(xùn)練方法，通過(guò)精心設(shè)計(jì)的基于 PAUC 指標(biāo)的復(fù)合獎(jiǎng)勵(lì)函數(shù)，在無(wú)需精確標(biāo)注最佳回復(fù)時(shí)間的情況下訓(xùn)練模型生成及時(shí)、準(zhǔn)確的回復(fù)。

主動(dòng)交互訓(xùn)練數(shù)據(jù)集的構(gòu)建

本文提出的主動(dòng)交互對(duì)話數(shù)據(jù)集的構(gòu)建流程如下：

1.場(chǎng)景分割與描述：將視頻根據(jù) scene 分成多個(gè)片段，為每個(gè)時(shí)間段生成詳細(xì)的視頻 caption。

2.QA 生成：用 LLM 根據(jù)所有片段的 caption 生成問(wèn)題和一組答案（每個(gè)片段對(duì)應(yīng)一個(gè)答案；如果某個(gè)片段中的視頻無(wú)法回答問(wèn)題，則認(rèn)為答案是 "NO REPLY"）。對(duì)于每個(gè)視頻，我們用這種方式可以生成多個(gè)問(wèn)題和多組答案。

3.對(duì)話構(gòu)建：根據(jù)每個(gè)視頻對(duì)應(yīng)的多個(gè)問(wèn)題和多組答案生成兩種類(lèi)型的對(duì)話：

• 1QnA：視頻開(kāi)始時(shí)提出一個(gè)問(wèn)題，模型需要在對(duì)應(yīng)的時(shí)間段中給出對(duì)應(yīng)的答案
• nQnA：視頻中多個(gè)隨機(jī)時(shí)間點(diǎn)每個(gè)時(shí)間點(diǎn)提出一個(gè)問(wèn)題；模型需要在問(wèn)題提出時(shí)立刻給出前面已經(jīng)經(jīng)過(guò)的時(shí)間段對(duì)應(yīng)的答案，并在接下來(lái)的每個(gè)時(shí)間段回復(fù)對(duì)應(yīng)的答案，直到用戶提出下一個(gè)問(wèn)題為止。

純文本 Chat Template

MMDuet2 使用了如下的 chat template 來(lái)表示主動(dòng)交互的過(guò)程：

• 首先，我們使用自定義的 system prompt 作為一個(gè)主動(dòng)交互對(duì)話的開(kāi)頭。這不僅為模型提供了對(duì)話規(guī)則，還通過(guò)不同的 system prompt 來(lái)區(qū)分主動(dòng)和離線視頻任務(wù)。
• user 輸入一條消息，其中包括來(lái)自視頻的少量（本文中為 1 或 2 幀）幀和可選的文本輸入。
• 在 assistant 的回合中，模型可以選擇生成一些文本內(nèi)容作為回復(fù)，或生成 "NO REPLY" 來(lái)表示它不想在這一輪中回復(fù)。
• 隨后，user 重新獲得發(fā)言權(quán)并繼續(xù)輸入包含幀和可選的文本的消息。這個(gè)循環(huán)持續(xù)到視頻中的所有幀都已被輸入完成。

在這個(gè) chat template 中，視頻中每個(gè) user 回合或 assistant 回合的時(shí)間點(diǎn)可以通過(guò)將此回合之前的幀數(shù)乘以幀之間的時(shí)間間隔來(lái)計(jì)算得出。例如，在每秒 1 幀的幀采樣率下，上圖中的對(duì)話表示用戶在第 2 秒說(shuō) "What are the people doing in office?"，模型在第 4 秒回復(fù) "People are working..."，在第 8 秒回復(fù) "A reporter is speaking..."。

MMDuet2 的 SFT 和 RL 兩階段訓(xùn)練

MMDuet2 的訓(xùn)練分為兩個(gè)階段。在監(jiān)督微調(diào)（SFT）階段，模型基于 Qwen2.5-VL 3B 初始化，使用 52k 條主動(dòng)交互對(duì)話數(shù)據(jù)進(jìn)行訓(xùn)練，并混合 25k 離線視頻 QA 和 25k 條 video captioning 數(shù)據(jù)以保持通用視頻理解能力。為了避免模型產(chǎn)生幻覺(jué)，SFT 階段我們將模型回復(fù)的時(shí)間點(diǎn)選為每個(gè)時(shí)間段的末尾，確保相關(guān)內(nèi)容在回復(fù)前已經(jīng)發(fā)生。整個(gè) SFT 階段在 16 張 H800 GPU 上訓(xùn)練 8 小時(shí)。

然而，純監(jiān)督學(xué)習(xí)存在明顯的局限性：因?yàn)槲覀儗⒛Ｐ突貜?fù)的時(shí)間點(diǎn)選在了每個(gè)時(shí)間段的末尾，這導(dǎo)致模型學(xué)會(huì)了看到關(guān)鍵信息出現(xiàn)時(shí)不立刻回復(fù)相關(guān)內(nèi)容而是等這段視頻播放完了再說(shuō)，這造成了一個(gè)我們并不想要的回復(fù)延遲。另外，由于 SFT 數(shù)據(jù)中模型輸出 "NO REPLY" 的頻率遠(yuǎn)高于輸出有實(shí)際意義的回復(fù)內(nèi)容的概率，這導(dǎo)致模型在測(cè)試時(shí)也更傾向于輸出 "NO REPLY"。

通過(guò)這種方式，模型能夠在無(wú)需精確時(shí)間標(biāo)注的情況下學(xué)習(xí)到最優(yōu)的回復(fù)時(shí)機(jī)。整個(gè) RL 階段用了 1900 個(gè)視頻，在 8 張 H800 GPU 上訓(xùn)練 20 小時(shí)，最終在 ProactiveVideoQA 基準(zhǔn)上達(dá)到了 SOTA 性能。

上圖中在 ProactiveVideoQA 的 [WEB] [EGO] 子任務(wù)上的回復(fù)輪數(shù)統(tǒng)計(jì)顯示，RL 訓(xùn)練后模型的回復(fù)次數(shù)明顯提升，解決了 SFT 模型 "回復(fù)過(guò)少" 的問(wèn)題。

實(shí)驗(yàn)結(jié)果

主動(dòng)交互 benchmark 上的 SOTA 表現(xiàn)

上圖中展示了在 StreamingBench Proactive Output 任務(wù)上的表現(xiàn)，以及 ProactiveVideoQA benchmark 上的 PAUC 指標(biāo)和回復(fù)重復(fù)率。我們的 MMDuet2 模型達(dá)到最佳性能且明顯降低回復(fù)重復(fù)率。

和本工作中使用強(qiáng)化學(xué)習(xí)引導(dǎo)模型學(xué)會(huì)回復(fù)時(shí)機(jī)判斷相比，之前的主動(dòng)交互模型 VideoLLM-Online 和 MMDuet 通過(guò)在每幀后預(yù)測(cè)代表回復(fù)概率的分?jǐn)?shù)，并比較分?jǐn)?shù)是否大于閾值來(lái)決定是否在該幀后插入回復(fù)。他們的做法的缺點(diǎn)是測(cè)試時(shí)很難找到合適的閾值，從而導(dǎo)致模型總是不回復(fù)或生成大量重復(fù)回復(fù)。

保持離線視頻理解能力

在 Video-MME、MVBench、LongVideoBench 等離線基準(zhǔn)上，MMDuet2 的性能與訓(xùn)練前的原模型 Qwen2.5-VL 基本持平，說(shuō)明 SFT+RL 訓(xùn)練沒(méi)有損害通用視頻理解能力。

訓(xùn)練和推理階段的幀采樣密度影響

幀采樣密度是影響主動(dòng)交互體驗(yàn)的關(guān)鍵因素。本文在 SFT、RL 和推理三個(gè)階段測(cè)試了不同的幀采樣間距：

• SFT 階段：幀間距設(shè)為 1 秒時(shí)，模型會(huì)坍縮為每輪都輸出 "NO REPLY"，因?yàn)橛?xùn)練數(shù)據(jù)中不回復(fù)（即輸出 "NO REPLY"）的占比過(guò)高。因此后續(xù)實(shí)驗(yàn)中 SFT 使用 2 秒幀間距。
• RL 階段：不同幀間距對(duì)性能影響不大。
• 推理階段：將幀間距從 2 秒降至 1 秒帶來(lái)顯著性能提升。原因是更高的決策頻率讓模型能更早（提前 1 秒）感知到合適的回復(fù)時(shí)機(jī)，這對(duì) PAUC 指標(biāo)（尤其是 ground truth 回復(fù)時(shí)間段很短時(shí)）和用戶體驗(yàn)都更有利。

這一發(fā)現(xiàn)表明 MMDuet2 在 RL 階段對(duì)不同幀采樣策略具有良好的魯棒性，且在推理時(shí)使用更密集的幀采樣能顯著改善交互體驗(yàn)。

總結(jié)與展望

MMDuet2 和 ProactiveVideoQA 共同構(gòu)建了視頻多模態(tài)模型主動(dòng)交互的完整解決方案：

• ProactiveVideoQA提出了 PAUC 評(píng)估指標(biāo)，提供了測(cè)試 benchmark
• MMDuet2通過(guò)無(wú)需精確時(shí)間標(biāo)注的 RL 方法解決了訓(xùn)練問(wèn)題，構(gòu)建了訓(xùn)練數(shù)據(jù)，達(dá)到了 SOTA 性能。

對(duì)多模態(tài)大模型主動(dòng)交互能力的關(guān)注和探索代表了我們關(guān)注從 “用戶驅(qū)動(dòng)” 到 “AI 主動(dòng)” 的多模態(tài)大模型使用范式的轉(zhuǎn)變。本文主要關(guān)注通用領(lǐng)域的視頻問(wèn)答和對(duì)話場(chǎng)景，未來(lái)我們希望通過(guò)構(gòu)建特定領(lǐng)域的訓(xùn)練數(shù)據(jù)的方式將主動(dòng)交互技術(shù)擴(kuò)展到更多實(shí)際應(yīng)用場(chǎng)景中。

作者介紹

本工作的第一作者為北京大學(xué)王選計(jì)算機(jī)研究所博士研究生王越千，研究方向?yàn)槎嗄B(tài)大模型，尤其是視頻對(duì)話、視頻問(wèn)答、多模態(tài)強(qiáng)化學(xué)習(xí)。

導(dǎo)師為王選計(jì)算機(jī)研究所助理教授張輝帥、研究員趙東巖。