GUI 智能體最近卷到什么程度了？

Claude、OpenAI Agent 及各類開源模型你方唱罷我登場，但若真想讓 AI 成為 「能在手機和網(wǎng)頁上穩(wěn)定干活的助手」，仍繞不開三大現(xiàn)實難題：

• 「知識缺失」難題：基礎(chǔ)大模型對 GUI 領(lǐng)域的認知依然薄弱 —— 生僻圖標(biāo)、小眾應(yīng)用的操作邏輯等需要補足。
• 「紙上談兵」困境：離線訓(xùn)練數(shù)據(jù)與真實交互環(huán)境存在鴻溝，離線看似合理的動作，一到在線任務(wù)就翻車。
• 「多模型協(xié)同」障礙：盡管視覺定位、任務(wù)規(guī)劃等領(lǐng)域?qū)＜夷Ｐ透饔型黄疲嗄Ｐ蛥f(xié)作往往依賴復(fù)雜框架，協(xié)同成本高。

現(xiàn)在，螞蟻帶來 UI-Venus-1.5：一個遵循「高性能，實戰(zhàn)派」設(shè)計理念的端到端 GUI 智能體。單個模型即可統(tǒng)一處理定位（Grounding）、移動端（Mobile）與網(wǎng)頁端（Web）三大場景，全面支持 40+ 主流中文 App，讓 AI 真正走進用戶生活。

• 報告標(biāo)題：UI-Venus-1.5 Technical Report
• 技術(shù)報告：https://arxiv.org/abs/2602.09082
• 代碼：https://github.com/inclusionAI/UI-Venus
• 模型：https://huggingface.co/collections/inclusionAI/ui-venus
• 主頁鏈接：https://ui-venus.github.io/UI-Venus-1.5/

UI-Venus-1.5 構(gòu)建了一條清晰、系統(tǒng)的訓(xùn)練路徑：

通過中期訓(xùn)練（Mid-Training）系統(tǒng)性補足大模型在 GUI 領(lǐng)域的知識短板；利用在線強化學(xué)習(xí)（Online RL）彌合離線訓(xùn)練與在線執(zhí)行之間的鴻溝；最終采用模型融合（Model Merge）集成多個領(lǐng)域?qū)＜夷Ｐ偷哪芰Α?/p>

01 中期訓(xùn)練（Mid-Training）：

30+ 數(shù)據(jù)源、10B tokens 鍛造 GUI 原生大腦

通用視覺語言模型（VLM/MLLM）并不天然理解 GUI。面對高度結(jié)構(gòu)化、蘊含復(fù)雜交互邏輯的用戶界面，它們往往缺乏「原生表征能力」—— 看得到，卻看不懂；能描述，但不會用。

因此，UI-Venus-1.5 戰(zhàn)略性地引入中期訓(xùn)練（Mid-Training）階段，旨在將通用的 VLM 逐步鍛造為真正「懂 GUI」的原生基礎(chǔ)模型。UI-Venus-1.5 構(gòu)建了一個全面、統(tǒng)一的 GUI 中期訓(xùn)練語料庫：

• 整合30+公開及內(nèi)部數(shù)據(jù)源（包含 Mind2Web、ShowUI、AITW 等），總規(guī)模高達10B tokens
• 精心設(shè)計了任務(wù)策略平衡，覆蓋語義感知、GUI-VQA、元素定位、導(dǎo)航推理等關(guān)鍵維度。

這一階段的目標(biāo)并非追求「看起來會操作」，而是系統(tǒng)性地塑造四項核心基礎(chǔ)能力：

1. 精準(zhǔn)的導(dǎo)航與定位：建立從自然語言指令到界面動作或坐標(biāo)的端到端精確映射。
2. 嚴謹?shù)捻樞蛲评?/strong>：學(xué)習(xí)將高層目標(biāo)分解為邏輯清晰、可執(zhí)行的子步驟。
3. GUI-VQA：理解控件語義、功能描述與復(fù)雜的布局邏輯。
4. 敏銳的精細感知：無需 OCR 即可識別圖標(biāo)、檢測控件狀態(tài)和理解視覺提示。

02 打造領(lǐng)域?qū)＜遥∣ffline RL）：

驅(qū)動 Grounding / Mobile / Web 專項突破

UI-Venus-1.0 通過在高精領(lǐng)域數(shù)據(jù) RFT 技術(shù)路線，在定位（Grounding）和移動端導(dǎo)航（Mobile Navigation）兩大領(lǐng)域達到了 SOTA 水平。UI-Venus-1.5 在繼承該技術(shù)路徑的基礎(chǔ)上，進一步優(yōu)化專家模型的設(shè)計與應(yīng)用方式：

• 定位能力：UI-Venus-1.0 在目標(biāo)元素不存在時會猜測定位，雖在 ScreenSpot-Pro、UI-Vision 等基準(zhǔn)上得分高，但易引發(fā)「幻覺」。為此，UI-Venus-1.5 引入了關(guān)鍵的「拒答」能力。當(dāng)模型判定目標(biāo)元素不存在時，將明確返回[-1, -1]，表示無法定位。
• 通用導(dǎo)航能力：為統(tǒng)一移動端與 Web 端操作，UI-Venus-1.5 擴展動作空間，新增鼠標(biāo)懸停（Hover）、雙擊（DoubleClick）和快捷鍵（Hotkey）以適配 Web 交互，同時提供移動端 - 中 / 英文、Web 端 - 英文等場景的優(yōu)化 Prompt 模板，實現(xiàn)跨語言的高效適配。

03 在線強化學(xué)習(xí)（Online RL）：

從「動作做對」到「任務(wù)完成」

在 Mid-Training 和 Offline-RL 階段，模型在單步動作（Action-level）準(zhǔn)確率上已取得顯著提升。然而，端到端的軌跡級（Trace-level）任務(wù)成功率卻并未同步增長。

根本原因在于，這兩個階段的訓(xùn)練信號聚焦「動作是否正確」，而非直接優(yōu)化「任務(wù)是否完成」—— 兩者通常正相關(guān)，但并不等價。尤其在數(shù)據(jù)有限時，動作準(zhǔn)確率易與任務(wù)成功率脫節(jié)，導(dǎo)致「動作對、任務(wù)錯」的精度錯配現(xiàn)象。Mid-Training 和 Offline-RL 主要優(yōu)化 Action-level 的監(jiān)督信號或回報，缺乏對 Trace-level 成功的直接對齊。因此，單步動作的準(zhǔn)確累積，并不必然導(dǎo)向整體任務(wù)的完成。

UI-Venus-1.5 引入在線強化學(xué)習(xí)（Online RL），聚焦移動端與 Web 端核心場景，借鑒 T-GRPO 等思路，在真實環(huán)境中執(zhí)行完整軌跡 Rollout 與獎勵計算，以「任務(wù)是否成功」作為核心優(yōu)化目標(biāo)。

04 模型融合（Model Merge）：

一個模型，貫通 Grounding / Mobile / Web

當(dāng)前很多 GUI Agent 采用「多模型協(xié)同」路線，即針對不同功能或場景訓(xùn)練獨立的專家模型。雖能短期提升單項性能，一旦落地，往往演變?yōu)閺?fù)雜的協(xié)同框架，成本激增。

UI-Venus-1.5 采用「先分后合」策略：先分別訓(xùn)練 Grounding、Mobile、Web 三個領(lǐng)域的專家模型（基于 Offline-RL 和 Online-RL），將各自能力練至極致，再通過 Model Merge 技術(shù)融合為統(tǒng)一的端到端模型，以降低部署成本，并在合并中最大限度保持各領(lǐng)域性能。

為克服線性合并的局限，UI-Venus-1.5 采用更穩(wěn)健的TIES-Merging技術(shù)，即「先篩選，再合并」。該方法成功融合出統(tǒng)一模型，在ScreenSpot-Pro、AndroidWorld 和 WebVoyager三大跨領(lǐng)域基準(zhǔn)上，實現(xiàn)了更均衡、更高效的多能力整合。

05 DaaS：

一個入口管理所有設(shè)備，構(gòu)建大規(guī)模在線訓(xùn)練環(huán)境

實踐 Online-RL 才發(fā)現(xiàn)：瓶頸往往不在算法，而在異構(gòu)設(shè)備環(huán)境 ——Android、瀏覽器、容器使用不同協(xié)議（ADB/CDP/SSH），疊加網(wǎng)絡(luò)隔離與安全限制，直接對接難以維護。

為此，螞蟻集團搭建了統(tǒng)一的設(shè)備即服務(wù)（DaaS）層：

• 統(tǒng)一協(xié)議：將 ADB、CDP 等封裝為可擴展插件，上層按需調(diào)用。
• 高并發(fā)穩(wěn)態(tài)：基于內(nèi)部二次哈希路由與協(xié)程并發(fā)模型，支撐大規(guī)模設(shè)備長連接與高頻請求。
• 開箱即用：配套多語言 SDK，封裝認證、設(shè)備申請 / 釋放與常用操作。

依托 DaaS 的強大能力，上層訓(xùn)練框架得以像調(diào)用標(biāo)準(zhǔn)服務(wù)一樣靈活使用設(shè)備資源 ——千臺級異構(gòu)設(shè)備穩(wěn)定接入，支持超千并發(fā)的在線強化學(xué)習(xí)任務(wù)，高效支撐 UI-Venus-1.5 的大規(guī)模在線訓(xùn)練與真實場景部署。

06 全方位評測：

真實與標(biāo)準(zhǔn)環(huán)境雙重驗證

為全面評估 UI-Venus-1.5 的通用性與魯棒性，評測覆蓋三大維度：

Grounding 能力（7 個基準(zhǔn)）：

在 VenusBench-GD、ScreenSpot-Pro、UI-Vision 等標(biāo)準(zhǔn)測試集上，UI-Venus-1.5 相比 1.0 版本顯著提升，且全面超越同規(guī)模模型。

Mobile 端 + Web 端 (在線真實環(huán)境):

在 AndroidWorld、AndroidLab、VenusBench-Mobile 真實場景中，UI-Venus-1.5 于多樣化 GUI 智能體任務(wù)上均取得了全面 SOTA 的性能。

07 適配 40+ 主流中文 App，融入日常數(shù)字生活

UI-Venus-1.5 同時深度聚焦中文用戶的真實使用習(xí)慣，全面支持 40 余款主流中文應(yīng)用，涵蓋出行、社交、娛樂、購物、生活服務(wù)等核心場景，真正實現(xiàn)「聽得懂指令、看得清界面、做得對操作」。

無論是「在高德里叫一輛去景區(qū)的快車」、「在攜程訂明天北京到上海的機票」、「把這條微博轉(zhuǎn)發(fā)并附評論」，還是「在網(wǎng)易云播放陳奕迅的最熱歌曲」，UI-Venus-1.5 均能在真實設(shè)備環(huán)境中精準(zhǔn)理解用戶意圖，并流暢、準(zhǔn)確地完成各類操作。不依賴虛構(gòu)演示，而是直接運行于用戶每日高頻使用的 App 中，直面現(xiàn)實場景中的任務(wù)挑戰(zhàn)。這標(biāo)志著 UI-Venus-1.5 向成為真正「可用的智能助手」邁出了關(guān)鍵一步。

https://mp.weixin.qq.com/s/pl4PlAtz5bjDXRrzCzTDkg

Task 1: 打開七貓免費小說，將小說腦洞榜前三名都加入書架

https://mp.weixin.qq.com/s/pl4PlAtz5bjDXRrzCzTDkg

Task 2: 打開微博，搜索杭州天氣，并根據(jù)天氣進行評論

https://mp.weixin.qq.com/s/pl4PlAtz5bjDXRrzCzTDkg

Task 3: 打開喜馬拉雅，幫我播放瘋狂動物城2，設(shè)置列表循環(huán)播放

結(jié)語：UI-Venus-1.5 的路線更像「產(chǎn)品化 GUI Agent」的正確打開方式

UI-Venus-1.5 的價值不在單項指標(biāo)的炫技，而在于構(gòu)建了一個更可訓(xùn)練、可部署、可擴展的端到端系統(tǒng)：

• 中期訓(xùn)練夯實 GUI 原生能力
• 領(lǐng)域后訓(xùn)練專精 Grounding/Mobile/Web
• 在線強化學(xué)習(xí)提升最終任務(wù)成功率
• 模型融合實現(xiàn)單模型跨域通用

UI-Venus-1.5 致力于打造能在手機 / 網(wǎng)頁上穩(wěn)定干活的 AI 助手！