• 論文標(biāo)題：AURA: Always-On Understanding and Real-Time Assistance via Video Streams
• 論文地址：https://arxiv.org/pdf/2604.04184
• GitHub鏈接：https://github.com/aurateam2026/AURA

近年來(lái)，視頻多模態(tài)大模型（VideoLLM）發(fā)展迅猛，在視頻描述、視頻問(wèn)答、時(shí)序定位等任務(wù)上不斷刷新性能上限。隨著模型能力持續(xù)增強(qiáng)，業(yè)界也開(kāi)始思考一個(gè)更重要的問(wèn)題：視頻大模型能不能不再只是 “看完一段視頻再回答”，而是真正進(jìn)入實(shí)時(shí)世界，持續(xù)觀察、實(shí)時(shí)理解，并在關(guān)鍵時(shí)刻主動(dòng)給出反饋？

由香港中文大學(xué) MMLab 與華為小藝大模型應(yīng)用實(shí)驗(yàn)室聯(lián)合推出的 AURA，正是對(duì)這一問(wèn)題的一次有力回應(yīng)。論文通訊作者為香港中文大學(xué) MMLab 李鴻升副教授和華為小藝大模型應(yīng)用實(shí)驗(yàn)室主任劉睿博士。小藝大模型應(yīng)用實(shí)驗(yàn)室長(zhǎng)期關(guān)注終端智慧助手從被動(dòng)響應(yīng)走向持續(xù)感知、主動(dòng)服務(wù)與世界交互的演進(jìn)。AURA 的提出，不僅是面向真實(shí)場(chǎng)景的一次重要探索，也讓視頻模型朝著真正理解世界、參與交互邁出了關(guān)鍵一步。

AURA 的全稱(chēng)是Always-On Understanding and Real-Time Assistance via Video Streams，是一套面向?qū)崟r(shí)視頻流的端到端視覺(jué)交互框架。它希望構(gòu)建的不再是一個(gè) “事后分析員”，而是一個(gè)始終在線的視覺(jué)助手：一邊持續(xù)接收視頻流，一邊理解場(chǎng)景變化，在需要的時(shí)候回答問(wèn)題，在應(yīng)該沉默的時(shí)候保持安靜，甚至還能在發(fā)現(xiàn)關(guān)鍵信息時(shí)主動(dòng)提醒用戶(hù)。

為什么傳統(tǒng) VideoLLM 不夠用？

盡管現(xiàn)有 VideoLLM 已經(jīng)在多個(gè)任務(wù)上取得不錯(cuò)成績(jī)，但大多數(shù)方法仍然建立在 “離線視頻理解” 的范式上：先把整段視頻緩存下來(lái)，再交給模型統(tǒng)一處理。這種方式很適合做事后分析，卻不適合實(shí)時(shí)助手、直播理解、機(jī)器人交互、現(xiàn)場(chǎng)監(jiān)控等對(duì)時(shí)效性要求極高的場(chǎng)景。

更進(jìn)一步說(shuō)，流式視頻理解并不是簡(jiǎn)單把 “離線推理” 加快一點(diǎn)就能解決的。它至少帶來(lái)了兩個(gè)新挑戰(zhàn)。第一，視頻流和對(duì)話歷史會(huì)不斷增長(zhǎng)，模型如何在有限上下文里持續(xù)工作；第二，模型不只是要 “會(huì)答題”，還要學(xué)會(huì)判斷什么時(shí)候該說(shuō)、什么時(shí)候不該說(shuō)、什么時(shí)候應(yīng)該等看到更多信息后再說(shuō)。論文認(rèn)為，現(xiàn)有方法要么采用 “觸發(fā)模型 + 主模型” 的分離式架構(gòu)，容易出現(xiàn)觸發(fā)判斷和最終回答不一致的問(wèn)題；要么雖然是統(tǒng)一式架構(gòu)，但更偏連續(xù)描述，對(duì)復(fù)雜開(kāi)放式問(wèn)答和長(zhǎng)時(shí)間交互的魯棒性仍然不足。

AURA 想做什么？

為了解決這些問(wèn)題，論文提出了 AURA：一套基于統(tǒng)一 VideoLLM 的實(shí)時(shí)視覺(jué)交互框架。AURA 的目標(biāo)很明確：

一是讓同一個(gè)模型能夠逐幀處理視頻流，并自主決定是保持沉默，還是輸出合適的回答；

二是讓系統(tǒng)能穩(wěn)定處理無(wú)界增長(zhǎng)的視頻和文本輸入，在長(zhǎng)時(shí)間持續(xù)運(yùn)行時(shí)依然保持可用。

圍繞這兩個(gè)目標(biāo)，AURA 并不是只改了某一個(gè)模塊，而是從上下文管理、數(shù)據(jù)構(gòu)造、訓(xùn)練目標(biāo)到推理部署做了整套協(xié)同設(shè)計(jì)。這也是這篇工作的亮點(diǎn)所在：它不是單點(diǎn)優(yōu)化，而是把 “流式視頻理解” 當(dāng)成一個(gè)完整系統(tǒng)問(wèn)題來(lái)做。

AURA 具有以下幾個(gè)顯著特點(diǎn)

AURA 推理流程

1. 統(tǒng)一式流式視覺(jué)交互

AURA 不再把 “是否響應(yīng)” 和 “如何響應(yīng)” 拆給兩個(gè)不同模型，而是讓統(tǒng)一模型在連續(xù)視頻流中直接完成觀察、判斷和回答。這種方式的好處是，模型的上下文理解和最終響應(yīng)來(lái)自同一套內(nèi)部狀態(tài)，理論上更一致，也更適合復(fù)雜的開(kāi)放式交互。

2. 不只是回答問(wèn)題，還會(huì) “選擇沉默”

AURA 認(rèn)為，實(shí)時(shí)視覺(jué)助手最關(guān)鍵的能力之一，不是一直說(shuō)話，而是知道什么時(shí)候不該說(shuō)話。在真實(shí)流式場(chǎng)景里，大多數(shù)時(shí)間模型都應(yīng)該保持沉默，只有在用戶(hù)提問(wèn)、場(chǎng)景發(fā)生關(guān)鍵變化，或者用戶(hù)預(yù)先設(shè)定的條件被觸發(fā)時(shí)，才需要輸出響應(yīng)。為此，AURA 專(zhuān)門(mén)圍繞 “沉默” 和 “發(fā)聲” 的平衡設(shè)計(jì)了訓(xùn)練目標(biāo)。

三種 QAs 示例

3. 支持三類(lèi)流式問(wèn)答

AURA 把流式交互分成三類(lèi)。

第一類(lèi)是Real-Time QA，也就是實(shí)時(shí)問(wèn)答。用戶(hù)提出問(wèn)題后，模型立刻基于當(dāng)前或已觀察到的畫(huà)面給出回答。

第二類(lèi)是Proactive QA，也就是主動(dòng)式問(wèn)答。用戶(hù)先拋出一個(gè)請(qǐng)求，模型不一定馬上回答，而是等未來(lái)出現(xiàn)足夠證據(jù)時(shí)再給出響應(yīng)。

第三類(lèi)是Multi-Response QA，也就是多次響應(yīng)問(wèn)答。針對(duì)一個(gè)持續(xù)演化的場(chǎng)景，模型可以隨著新信息出現(xiàn)，陸續(xù)給出多個(gè)回答，而不是只答一次。論文明確指出，這三類(lèi)問(wèn)答共同構(gòu)成了 AURA 數(shù)據(jù)構(gòu)造和能力建模的核心。

AURA 的設(shè)計(jì)思路

流式上下文管理

交互式視頻流上下文管理

AURA 首先設(shè)計(jì)了一套Interactive Video Stream Context Management機(jī)制。簡(jiǎn)單理解，它把視頻流切成一個(gè)個(gè)小時(shí)間塊，并把每個(gè)時(shí)間塊對(duì)應(yīng)的用戶(hù)輸入、模型回答、以及 “沉默” 狀態(tài)組織成連續(xù)對(duì)話。

為了避免上下文無(wú)限增長(zhǎng)，AURA 使用了 “雙滑動(dòng)窗口” 策略。一邊保留最近一段視頻窗口，另一邊保留最近若干組問(wèn)答歷史。視頻窗口負(fù)責(zé)保存最新的視覺(jué)證據(jù)，問(wèn)答窗口則保留用戶(hù)意圖和關(guān)鍵歷史信息。這樣既能控制上下文長(zhǎng)度，又能盡可能保留對(duì)交互最有價(jià)值的信息。論文給出的默認(rèn)超參數(shù)是：視頻窗口長(zhǎng)度 30 秒，額外緩沖 15 秒，保留最近 10 組 QA 歷史。

Coarse-to-Fine 數(shù)據(jù)引擎

Coarse-to-Fine 數(shù)據(jù)引擎

流式問(wèn)答的難點(diǎn)，不只是模型結(jié)構(gòu)，更在于訓(xùn)練數(shù)據(jù)怎么構(gòu)造。AURA 為此設(shè)計(jì)了一套五階段數(shù)據(jù)引擎，包括：

視頻預(yù)處理，QA 合成，QA 精煉，流式結(jié)構(gòu)化，質(zhì)量校驗(yàn)

在視頻預(yù)處理階段，團(tuán)隊(duì)從公開(kāi)互聯(lián)網(wǎng)收集了體育、vlog、紀(jì)錄片、百科內(nèi)容、影視、課程、游戲、動(dòng)畫(huà)等多種類(lèi)別的視頻，并統(tǒng)一重采樣到 2 FPS，同時(shí)轉(zhuǎn)碼為 H.264，以提升后續(xù)處理的一致性和穩(wěn)定性。

在QA 合成階段，AURA 分別為不同類(lèi)型的流式問(wèn)答構(gòu)造監(jiān)督信號(hào)。對(duì)于實(shí)時(shí)問(wèn)答和主動(dòng)問(wèn)答，模型會(huì)先做場(chǎng)景分段和描述，再生成帶時(shí)間戳的問(wèn)答對(duì)；對(duì)于多次響應(yīng)問(wèn)答，則會(huì)生成同一問(wèn)題在不同時(shí)間點(diǎn)的多個(gè)有效答案。之后，這些候選樣本還要經(jīng)過(guò)再次驗(yàn)證，確保問(wèn)題合理、答案有依據(jù)、時(shí)間戳準(zhǔn)確。

在QA 精煉階段，AURA 進(jìn)一步增強(qiáng)訓(xùn)練樣本的多樣性。比如對(duì)實(shí)時(shí)問(wèn)答增強(qiáng)難度層級(jí)，對(duì)主動(dòng)問(wèn)答和多響應(yīng)問(wèn)答改寫(xiě)不同表述方式，以更貼近真實(shí)用戶(hù)在流式交互中的提問(wèn)習(xí)慣。

在流式結(jié)構(gòu)化階段，AURA 會(huì)把前面得到的帶時(shí)間戳 QA 標(biāo)注，轉(zhuǎn)換成真正符合流式推理形式的訓(xùn)練樣本。具體來(lái)說(shuō)，系統(tǒng)先按時(shí)間塊組織視頻和對(duì)話，再按雙滑動(dòng)窗口規(guī)則截?cái)嗌舷挛?，最后把同一段連續(xù)交互 “展開(kāi)” 為多個(gè)訓(xùn)練樣本。每個(gè)樣本只對(duì)應(yīng)一個(gè)需要監(jiān)督的目標(biāo)回答，并以前文歷史作為上下文。這樣做的目的，是讓訓(xùn)練過(guò)程盡量貼近真實(shí)在線推理時(shí)的輸入形式。

在質(zhì)量校驗(yàn)階段，AURA 會(huì)進(jìn)一步檢查：經(jīng)過(guò)窗口截?cái)嗪螅?dāng)前保留下來(lái)的視頻內(nèi)容和歷史上下文，是否仍然足以支撐目標(biāo)答案。如果證據(jù)不足，模型就可能學(xué)到 “明明看不到也硬答” 的壞習(xí)慣，增加幻覺(jué)風(fēng)險(xiǎn)。因此，AURA 會(huì)過(guò)濾掉那些視覺(jué)依據(jù)不充分、時(shí)間對(duì)應(yīng)不準(zhǔn)確、或者答案與上下文不一致的樣本，只保留真正可靠的數(shù)據(jù)。對(duì)于實(shí)時(shí)問(wèn)答，重點(diǎn)檢查答案是否有視覺(jué)支撐、是否事實(shí)正確、是否時(shí)間一致；對(duì)于主動(dòng)問(wèn)答和多響應(yīng)問(wèn)答，則重點(diǎn)檢查回答時(shí)機(jī)是否合理、內(nèi)容是否準(zhǔn)確且 grounded。

專(zhuān)門(mén)為 “沉默與發(fā)聲” 設(shè)計(jì)的訓(xùn)練目標(biāo)

AURA 的訓(xùn)練目標(biāo)叫Silent-Speech Balanced Loss。這個(gè)設(shè)計(jì)非常關(guān)鍵。

原因在于：在流式場(chǎng)景里，沉默消息遠(yuǎn)比非沉默回答多得多。如果直接用普通交叉熵訓(xùn)練，模型很可能學(xué)到一個(gè) “最安全策略”—— 盡量一直沉默。與此同時(shí)，由于滑動(dòng)窗口會(huì)截?cái)嗌舷挛?，較早的歷史回答在當(dāng)前窗口中可能已經(jīng)沒(méi)有足夠證據(jù)支撐，如果繼續(xù)把這些回答都當(dāng)作監(jiān)督目標(biāo)，還會(huì)增加模型幻覺(jué)風(fēng)險(xiǎn)。

因此，AURA 采用了兩項(xiàng)策略：

一是只監(jiān)督所有沉默消息和最后一個(gè)非沉默回答；

二是對(duì)沉默類(lèi)目標(biāo)降權(quán)，讓 “沉默” 和 “發(fā)聲” 在訓(xùn)練中保持相對(duì)平衡。

從消融實(shí)驗(yàn)來(lái)看，這個(gè)設(shè)計(jì)非常有效。若改回默認(rèn)交叉熵?fù)p失，AURA 在 OmniMMI 上的總體成績(jī)會(huì)從25.4%降到16.4%，其中主動(dòng)提醒能力 PA 甚至?xí)苯拥舻?0.0%。這說(shuō)明對(duì)于流式智能體來(lái)說(shuō)，“什么時(shí)候不說(shuō)” 確實(shí)和 “說(shuō)什么” 一樣重要。

實(shí)時(shí)部署怎么做？

除了訓(xùn)練，AURA 還專(zhuān)門(mén)設(shè)計(jì)了實(shí)時(shí)推理系統(tǒng)。系統(tǒng)把視頻流、ASR 和 TTS 集成在一起，支持視頻輸入、語(yǔ)音輸入、多模態(tài)推理和語(yǔ)音輸出的完整閉環(huán)。

為了保證長(zhǎng)時(shí)間運(yùn)行時(shí)的低延遲，AURA 在推理階段引入了 KV cache 復(fù)用和帶緩沖區(qū)的浮動(dòng)窗口策略。相比每來(lái)一幀就立刻刪最舊內(nèi)容的簡(jiǎn)單 FIFO 方式，這種設(shè)計(jì)能減少前綴變化頻率，從而更高效地復(fù)用已計(jì)算過(guò)的緩存，顯著降低重復(fù)計(jì)算。論文實(shí)驗(yàn)表明，滑動(dòng)窗口和 prefix caching 兩者結(jié)合，才能同時(shí)控制上下文增長(zhǎng)并維持較低的首 token 延遲。

在部署層面，AURA 以Qwen3-VL-8B-Instruct為底座模型，并集成 ASR 和 TTS，最終實(shí)現(xiàn)了一個(gè)可實(shí)際演示的實(shí)時(shí)系統(tǒng)。部署優(yōu)化后，系統(tǒng)可在兩張 80G 加速卡上以2 FPS實(shí)時(shí)運(yùn)行。

AURA 的訓(xùn)練與實(shí)驗(yàn)結(jié)果

StreamingBench 測(cè)試結(jié)果

OVO-Bench 測(cè)試結(jié)果

OmniMMI 測(cè)試結(jié)果

訓(xùn)練方面，AURA 使用約11.5 萬(wàn)條流式視頻 QA 樣本和約5.9 萬(wàn)條離線視頻 QA 樣本，總計(jì)約17.4 萬(wàn)條樣本、約12 億 token。模型初始化自 Qwen3-VL-8B-Instruct，只微調(diào) LLM 部分，視覺(jué)編碼器和連接模塊保持凍結(jié)。

在基準(zhǔn)測(cè)試上，AURA 在三個(gè)代表性流式視頻理解 benchmark 上都取得了當(dāng)前最優(yōu)結(jié)果：

• StreamingBench上，AURA 總分達(dá)到73.1%
• OVO-Bench上，AURA 總分達(dá)到65.3%
• OmniMMI上，AURA 總分達(dá)到25.4%

更值得注意的是，AURA 不僅超過(guò)了多種開(kāi)源基線，在部分指標(biāo)上也超過(guò)了 GPT-4o 和 Gemini-1.5-Pro 等閉源模型，說(shuō)明它在 “實(shí)時(shí)視覺(jué)理解 + 主動(dòng)交互” 這個(gè)方向上確實(shí)做出了比較完整的系統(tǒng)突破。

當(dāng)然，AURA 也不是完全沒(méi)有代價(jià)。論文報(bào)告顯示，經(jīng)過(guò)流式訓(xùn)練后，模型在傳統(tǒng)離線視頻理解任務(wù)上的表現(xiàn)相比底座模型會(huì)有一定回落，但整體仍然保持了較強(qiáng)競(jìng)爭(zhēng)力。這也說(shuō)明，AURA 并不是簡(jiǎn)單追求 benchmark，而是在離線能力與在線交互能力之間做了一次相對(duì)均衡的工程取舍。

實(shí)時(shí)性能表現(xiàn)如何？

延遲測(cè)試結(jié)果

論文還給出了端到端延遲拆解。

• ASR 轉(zhuǎn)寫(xiě)延遲約84.2 ms
• AURA 主模型 TTFT 約75.0 ms
• 首句解碼時(shí)間約60 ms
• TTS 首塊語(yǔ)音延遲約93.0 ms

綜合估算，從用戶(hù)語(yǔ)音輸入到系統(tǒng)輸出第一段語(yǔ)音回復(fù)的總延遲約為312.2 ms。對(duì)于一個(gè)同時(shí)涉及視頻理解、語(yǔ)音識(shí)別、文本生成和語(yǔ)音合成的系統(tǒng)來(lái)說(shuō)，這個(gè)速度已經(jīng)非常接近實(shí)時(shí)交互體驗(yàn)。

總結(jié)

從這篇論文可以看出，AURA 想解決的并不是傳統(tǒng)的視頻問(wèn)答，而是一個(gè)更接近真實(shí)世界的問(wèn)題：如何讓視頻大模型成為一個(gè)始終在線、持續(xù)觀察、懂得沉默、能夠主動(dòng)響應(yīng)的視覺(jué)助手。

它的核心價(jià)值，不只是提出了一個(gè)新模型，而是把流式視頻理解這件事拆解成了一整套可落地的方法：

有上下文管理，有三類(lèi)流式交互定義，有系統(tǒng)化的數(shù)據(jù)引擎，有專(zhuān)門(mén)為 “沉默 — 發(fā)聲” 平衡設(shè)計(jì)的訓(xùn)練目標(biāo)，還有面向?qū)崟r(shí)部署的高效推理框架。

如果說(shuō)過(guò)去的視頻大模型更像 “看完錄像后寫(xiě)報(bào)告的人”，那么 AURA 想做的，就是一個(gè)真正站在現(xiàn)場(chǎng)、持續(xù)值守、隨時(shí)響應(yīng)的 AI 助手。隨著這類(lèi)工作不斷推進(jìn)，未來(lái)的視覺(jué)智能系統(tǒng)或許不再只是 “回答你問(wèn)了什么”，而是能進(jìn)一步理解場(chǎng)景、理解時(shí)機(jī)，并在真正重要的時(shí)候主動(dòng)開(kāi)口。