針對(duì)端到端全模態(tài)大模型（OmniLLMs）在跨模態(tài)對(duì)齊和細(xì)粒度理解上的痛點(diǎn)，浙江大學(xué)、西湖大學(xué)、螞蟻集團(tuán)聯(lián)合提出 OmniAgent。這是一種基于「音頻引導(dǎo)」的主動(dòng)感知 Agent，通過(guò)「思考 - 行動(dòng) - 觀察 - 反思」閉環(huán)，實(shí)現(xiàn)了從被動(dòng)響應(yīng)到主動(dòng)探詢的范式轉(zhuǎn)變。

在 Daily-Omni 等多個(gè)基準(zhǔn)測(cè)試中，其準(zhǔn)確率超越 Gemini 2.5-Flash 和 Qwen3-Omni 等開(kāi)閉源模型。

• 論文地址：https://arxiv.org/pdf/2512.23646
• 論文主頁(yè)：https://kd-tao.github.io/OmniAgent
• 發(fā)起實(shí)驗(yàn)室ENCODE LAB：https://westlake-encode-lab.github.io/

背景與痛點(diǎn)

1. 端到端全模態(tài)模型雖然實(shí)現(xiàn)了視聽(tīng)統(tǒng)一，但往往受限于高昂的訓(xùn)練成本和困難的跨模態(tài)特征對(duì)齊，導(dǎo)致在細(xì)粒度跨模態(tài)理解上表現(xiàn)不佳；
2. 基于固定 Workflow 的智能體依賴人為設(shè)定僵化的流程，缺乏細(xì)粒度和靈活性，無(wú)法根據(jù)問(wèn)題自主的進(jìn)行規(guī)劃與信息獲??；
3. Caption-based 視頻智能體需要在分析問(wèn)題之前，先針對(duì)整個(gè)視頻構(gòu)建幀 caption 數(shù)據(jù)庫(kù)，隨后基于視頻字幕數(shù)據(jù)庫(kù)來(lái)理解內(nèi)容，但這種方法計(jì)算成本高，難以捕捉細(xì)節(jié)的跨模態(tài)信息。

相比之下，OmniAgent 引入了一種全新的主動(dòng)感知推理范式。通過(guò)在迭代反思循環(huán)中策略性地調(diào)度視頻與音頻理解能力，該方法有效攻克了跨模態(tài)對(duì)齊的難題，從而實(shí)現(xiàn)了對(duì)視聽(tīng)內(nèi)容的細(xì)粒度理解。

方法論

OmniAgent 摒棄了固定的工作流，采用了「思考 - 行動(dòng) - 觀察 - 反思」閉環(huán)機(jī)制 。

1.思考：OmniAgent 會(huì)根據(jù)問(wèn)題進(jìn)行分析，自主決定「聽(tīng)」還是「看」。

2.行動(dòng)：根據(jù)計(jì)劃，OmniAgent 會(huì)從構(gòu)建的多模態(tài)工具中選取合適的工具進(jìn)行調(diào)用：

1. 事件工具：利用音頻能夠高效捕捉全局上下文的特性，首創(chuàng)音頻引導(dǎo)事件定位，快速鎖定關(guān)鍵時(shí)間窗口，避免對(duì)長(zhǎng)視頻進(jìn)行無(wú)效的視覺(jué)掃描 。
2. 視頻工具：包含粗粒度的全局視頻問(wèn)答，以及在特定時(shí)間內(nèi)基于更高幀率進(jìn)行分析的片段問(wèn)答工具。
3. 音頻工具：涵蓋音頻全局描述、細(xì)粒度問(wèn)答，以及支持精確時(shí)間戳的語(yǔ)音轉(zhuǎn)錄 （ASR）。

3.觀察與反思機(jī)制：智能體接受工具結(jié)果，評(píng)估目前已有的證據(jù)能否正確的回答問(wèn)題，并且結(jié)合之前在多步推理中進(jìn)行跨模態(tài)一致性檢查，確保視聽(tīng)證據(jù)互證，解決幻覺(jué)與對(duì)齊問(wèn)題。

效果如何？

OmniAgent 在三個(gè)主流視聽(tīng)理解基準(zhǔn)測(cè)試中均取得了 SOTA 成績(jī)，顯著優(yōu)于現(xiàn)有的開(kāi)源及閉源模型：

1.Daily-Omni Benchmark：準(zhǔn)確率達(dá)到 82.71%，超越 Gemini 2.5-Flash (72.7%) 和 Qwen3-Omni-30B (72.08%)，提升幅度超 10% 。

2.OmniVideoBench：在長(zhǎng)視頻理解任務(wù)中，準(zhǔn)確率達(dá) 59.1%，大幅領(lǐng)先 Qwen3-Omni-30B (38.4%) 。

3.WorldSense:OmniAgent 也保持了領(lǐng)先的準(zhǔn)確度。

未來(lái)愿景

1. OmniAgent 的設(shè)計(jì)理念有很高的擴(kuò)展性，能夠繼續(xù)結(jié)合其他模態(tài)的工具；
2. OmniAgent 能夠幫助生成高質(zhì)量的 COTT 數(shù)據(jù)，用來(lái)構(gòu)建可以自我調(diào)用工具的下一代智能體全模態(tài)模型。

總的來(lái)看，OmniAgent 證明了在全模態(tài)理解任務(wù)中，音頻引導(dǎo)的的主動(dòng)感知策略是解決跨模態(tài)對(duì)齊困難、提升細(xì)粒度推理能力的有效路徑。該工作為未來(lái)的全模態(tài) Agent 算法設(shè)計(jì)提供了新的范式參考。