ClawGUI團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

沒(méi)有人工干預(yù)，沒(méi)有預(yù)設(shè)腳本，AI自己看屏幕、判斷局面、規(guī)劃消除路徑、點(diǎn)擊執(zhí)行。

看著它一步步把方塊消掉，莫名有種解壓感。

這不是游戲外掛，而是一個(gè)通用GUI智能體在「認(rèn)真工作」：它用的是和操作手機(jī)App、填寫(xiě)表單、瀏覽網(wǎng)頁(yè)完全相同的視覺(jué)理解與操控能力。能玩消消樂(lè)，只是因?yàn)樗娴膶W(xué)會(huì)了「看懂屏幕并操作」這件事。

那么問(wèn)題來(lái)了：一個(gè)能自己玩消消樂(lè)的AI，離替你完成日常手機(jī)操作還有多遠(yuǎn)？不是那種「幫我設(shè)個(gè)鬧鐘」的語(yǔ)音助手，而是真正像人一樣，看屏幕、理解界面、滑動(dòng)點(diǎn)擊、逐步完成復(fù)雜任務(wù)的智能體。

當(dāng)前GUI智能體研究普遍面臨一個(gè)結(jié)構(gòu)性挑戰(zhàn)：訓(xùn)練、評(píng)測(cè)、部署三個(gè)環(huán)節(jié)彼此割裂，難以形成閉環(huán)。模型在仿真環(huán)境里訓(xùn)練完成后，往往缺乏配套的工程路徑遷移到真實(shí)設(shè)備；評(píng)測(cè)體系標(biāo)準(zhǔn)不一，不同框架下的數(shù)字難以橫向比較；而部署到真實(shí)設(shè)備，又需要獨(dú)立搭建一套工程基礎(chǔ)設(shè)施。三個(gè)環(huán)節(jié)各自為戰(zhàn)，整體推進(jìn)的成本極高。

今天，來(lái)自ZJU-REAL的團(tuán)隊(duì)帶來(lái)了ClawGUI，一個(gè)覆蓋GUI智能體在線RL訓(xùn)練、標(biāo)準(zhǔn)化評(píng)測(cè)、真機(jī)部署完整生命周期的開(kāi)源框架。不是三個(gè)獨(dú)立工具的簡(jiǎn)單拼接，而是一條打通的流水線：用ClawGUI-RL訓(xùn)練，用ClawGUI-Eval評(píng)測(cè)，用OpenClaw-GUI部署，端到端驗(yàn)證。

基于這套流水線，一個(gè)僅2B參數(shù)的小模型ClawGUI-2B，在MobileWorld基準(zhǔn)上取得17.1 SR，大幅超越基線的11.1，達(dá)到了接近8B模型的水平。

△ClawGUI系統(tǒng)架構(gòu)總覽

ClawGUI-RL：讓GUI模型在環(huán)境中穩(wěn)步提升

GUI Agent的RL訓(xùn)練需要與真實(shí)設(shè)備進(jìn)行持續(xù)交互，截屏、解析、操作、獲得反饋，形成完整的episode。這意味著訓(xùn)練基礎(chǔ)設(shè)施不僅需要模型訓(xùn)練框架，還需要大規(guī)模環(huán)境仿真和設(shè)備管理能力。ClawGUI-RL是目前開(kāi)源社區(qū)中為數(shù)不多的、經(jīng)過(guò)端到端驗(yàn)證的GUI Agent Online RL解決方案。

具體來(lái)說(shuō)，ClawGUI-RL將整個(gè)訓(xùn)練基礎(chǔ)設(shè)施拆解為三層：環(huán)境管理、獎(jiǎng)勵(lì)設(shè)計(jì)、策略?xún)?yōu)化。

環(huán)境層面，所有設(shè)備后端（Docker虛擬機(jī)和物理手機(jī)）被統(tǒng)一抽象為同一套接口，訓(xùn)練代碼無(wú)需區(qū)分底層是模擬器還是真機(jī)。每個(gè)環(huán)境遵循「重置→執(zhí)行→評(píng)估→回收」的標(biāo)準(zhǔn)生命周期，配合Spare Server輪轉(zhuǎn)和周期性重啟，保證長(zhǎng)時(shí)間訓(xùn)練的穩(wěn)定性。

獎(jiǎng)勵(lì)層面，ClawGUI-RL采用二元結(jié)果獎(jiǎng)勵(lì)+PRM逐步獎(jiǎng)勵(lì)的雙層設(shè)計(jì)。結(jié)果獎(jiǎng)勵(lì)在episode結(jié)束時(shí)給出成功/失敗的0/1信號(hào)，PRM則在每一步操作后根據(jù)前后截圖和歷史動(dòng)作判斷當(dāng)前操作是否有效推進(jìn)了任務(wù)，兩者相加構(gòu)成最終獎(jiǎng)勵(lì)。這種稠密的逐步反饋極大緩解了GUI長(zhǎng)序列決策中獎(jiǎng)勵(lì)稀疏的問(wèn)題，讓優(yōu)化器能夠區(qū)分哪些中間步驟是有價(jià)值的、哪些是無(wú)效繞路。

策略?xún)?yōu)化層面，ClawGUI-RL支持GRPO、GiGPO等主流強(qiáng)化學(xué)習(xí)算法，并提供統(tǒng)一的訓(xùn)練接口，方便研究者根據(jù)任務(wù)特性靈活切換和對(duì)比不同優(yōu)化策略。

△ClawGUI-RL架構(gòu)圖

虛擬環(huán)境與真機(jī)訓(xùn)練

基于Docker的Android虛擬環(huán)境，ClawGUI-RL支持大量虛擬Android環(huán)境同時(shí)并行運(yùn)行。內(nèi)置的Spare Server輪轉(zhuǎn)機(jī)制保證了訓(xùn)練的魯棒性，當(dāng)某個(gè)容器截圖失敗或設(shè)備不健康時(shí)，系統(tǒng)自動(dòng)切換至備用服務(wù)器，訓(xùn)練不中斷。團(tuán)隊(duì)提供了經(jīng)過(guò)驗(yàn)證的端到端真機(jī)RL訓(xùn)練流程，物理手機(jī)和云手機(jī)均可接入。真機(jī)訓(xùn)練的交互協(xié)議與虛擬環(huán)境完全一致，為后續(xù)大規(guī)模云手機(jī)訓(xùn)練鋪平了道路。

PRM逐步獎(jiǎng)勵(lì)：不止看結(jié)果，每一步都給分

標(biāo)準(zhǔn)GRPO為整個(gè)Episode分配一個(gè)單一的優(yōu)勢(shì)分?jǐn)?shù)，成功了就是1，失敗了就是0，中間步驟好不好完全不管。這就像考試只看總分，不知道哪道題做對(duì)了哪道做錯(cuò)了。ClawGUI-RL通過(guò)引入過(guò)程獎(jiǎng)勵(lì)模型（PRM）改變了這一點(diǎn)，對(duì)每一步操作進(jìn)行評(píng)估，提供更密集的梯度信號(hào)，實(shí)現(xiàn)更精細(xì)的策略?xún)?yōu)化。

實(shí)驗(yàn)結(jié)果

以MAI-UI-2B為基座，ClawGUI-2B在MobileWorld基準(zhǔn)上的表現(xiàn)：

幾個(gè)關(guān)鍵數(shù)字：ClawGUI-2B達(dá)到17.1 SR，大幅超越MAI-UI-2B基線（11.1），提升幅度達(dá)6%。一個(gè)2B小模型，達(dá)到了接近8B模型的水平。

ClawGUI-Eval：95.8%復(fù)現(xiàn)率，讓評(píng)測(cè)結(jié)果可信

GUI模型評(píng)測(cè)領(lǐng)域長(zhǎng)期面臨復(fù)現(xiàn)一致性的挑戰(zhàn)：不同框架、不同實(shí)現(xiàn)細(xì)節(jié)下，同一模型的評(píng)測(cè)數(shù)字往往存在明顯差異。差個(gè)prompt格式、搞混坐標(biāo)系、調(diào)錯(cuò)分辨率，結(jié)果就可能偏差數(shù)個(gè)百分點(diǎn)。

ClawGUI-Eval通過(guò)標(biāo)準(zhǔn)化的Infer→Judge→Metric三階段流水線系統(tǒng)性地解決了這個(gè)問(wèn)題。

△ClawGUI-Eval評(píng)測(cè)框架

覆蓋6大Benchmark（ScreenSpot-Pro、ScreenSpot-V2、UIVision、MMBench-GUI、OSWorld-G、AndroidControl），支持11+模型（Qwen3-VL、Qwen2.5-VL、UI-TARS、MAI-UI、GUI-G2、UI-Venus、Gemini、Seed 1.8等）。48個(gè)有官方基準(zhǔn)的格子中成功復(fù)現(xiàn)46個(gè)，總體復(fù)現(xiàn)率95.8%。前沿模型Gemini 3.0 Pro和Seed 1.8在ScreenSpot-Pro上實(shí)現(xiàn)100%復(fù)現(xiàn)，并首次評(píng)測(cè)了Gemini 3.1 Pro（85.01）。

踩坑踩出來(lái)的復(fù)現(xiàn)Tips

比數(shù)字更有價(jià)值的，是團(tuán)隊(duì)總結(jié)的關(guān)鍵復(fù)現(xiàn)經(jīng)驗(yàn)，每一條都是用準(zhǔn)確率換來(lái)的教訓(xùn)：

1. 坐標(biāo)系統(tǒng)不匹配=準(zhǔn)確率歸零。Qwen2.5-VL輸出絕對(duì)像素坐標(biāo)，Qwen3-VL輸出[0,1000]歸一化，StepGUI用[0,999]，搞混一個(gè)就是災(zāi)難。

2. 圖文輸入順序（tv vs. vt）可導(dǎo)致數(shù)個(gè)百分點(diǎn)差異。大部分模型需要圖片在前（vt），MAI-UI需要文本在前（tv），用錯(cuò)直接崩盤(pán)。

3. 哪怕一句”You are a helpful assistant.”也能帶來(lái)約1%的提升。System prompt必須嚴(yán)格對(duì)齊官方。

4. Prompt格式必須逐字對(duì)齊。措辭微小差異就可能影響結(jié)果。

5. 溫度建議設(shè)為0.0。非零溫度影響坐標(biāo)精度。

所有推理結(jié)果已全部開(kāi)源，歡迎下載驗(yàn)證。

OpenClaw-GUI：一句話控制手機(jī)

GUI智能體真正的價(jià)值，在于能夠在用戶(hù)手邊的真實(shí)設(shè)備上運(yùn)行、幫人完成實(shí)際任務(wù)。OpenClaw-GUI正是為此而生，把GUI智能體帶到真機(jī)上落地。

基于nanobot框架構(gòu)建，OpenClaw-GUI實(shí)現(xiàn)了通過(guò)自然語(yǔ)言控制真實(shí)手機(jī)。接入飛書(shū)、QQ、Telegram、Discord、Slack、釘釘?shù)?2+聊天平臺(tái)，用戶(hù)在聊天窗口發(fā)一句指令，Agent就能截屏理解界面、規(guī)劃操作路徑、執(zhí)行點(diǎn)擊和輸入。

更關(guān)鍵的是，OpenClaw-GUI把評(píng)測(cè)也集成進(jìn)來(lái)了。說(shuō)一句「幫我測(cè)一下qwen3vl在screenspot-pro上的指標(biāo)」，Agent會(huì)自動(dòng)完成環(huán)境檢測(cè)→多GPU推理→判分→指標(biāo)計(jì)算→結(jié)果對(duì)比。這本身就是CLI+GUI協(xié)作的絕佳例證，計(jì)算密集型工作由CLI高效完成，人機(jī)交互和結(jié)果呈現(xiàn)依賴(lài)GUI。

核心能力：跨平臺(tái)支持Android（ADB）、鴻蒙（HDC）、iOS（XCTest）；多模型接入AutoGLM、MAI-UI、GUI-Owl、Qwen-VL、UI-TARS；個(gè)性化記憶，自動(dòng)學(xué)習(xí)用戶(hù)偏好，跨任務(wù)持續(xù)復(fù)用；Episode記錄，每次執(zhí)行以結(jié)構(gòu)化Episode保存，支持回放與數(shù)據(jù)集構(gòu)建；Web UI基于Gradio，支持設(shè)備管理、任務(wù)執(zhí)行與記憶查看。

展望：GUI的故事遠(yuǎn)未結(jié)束

2026年，CLI Agent無(wú)疑是最火的賽道。Claude Code、Gemini CLI、CodeBuddy……一個(gè)自然的問(wèn)題浮現(xiàn)：GUI智能體還有必要嗎？

研究團(tuán)隊(duì)傾向于認(rèn)為：GUI的故事遠(yuǎn)沒(méi)有結(jié)束，CLI+GUI的融合或許是通往通用Agent的一條重要路徑。

人類(lèi)短期內(nèi)離不開(kāi)GUI。從文字到圖片到視頻，越容易被感知的媒介越具備傳播優(yōu)勢(shì)。外賣(mài)、打車(chē)、社交、購(gòu)物，移動(dòng)互聯(lián)網(wǎng)絕大多數(shù)的交互發(fā)生在圖形界面上。至少在可見(jiàn)的未來(lái)，GUI仍將是數(shù)字世界的主要入口。

不是所有App都有API。微信、銀行、大量企業(yè)內(nèi)部系統(tǒng)只有圖形界面。CLI面向Agent執(zhí)行，高效干活；GUI面向人類(lèi)理解，感知和交互。兩者更像是互補(bǔ)關(guān)系而非替代關(guān)系。

GUI的「可見(jiàn)性」提供了一種獨(dú)特的信任機(jī)制。假如Agent在執(zhí)行任務(wù)時(shí)涉及支付操作，CLI以用戶(hù)看不見(jiàn)的方式直接完成了付款，造成的損失誰(shuí)來(lái)承擔(dān)？GUI操作到關(guān)鍵步驟時(shí)，用戶(hù)可以看到屏幕上正在發(fā)生什么、隨時(shí)介入。這種可控性可能是純CLI方案較難提供的。

Online RL的工程挑戰(zhàn)遠(yuǎn)未被解決。GUI Agent的RL訓(xùn)練需要與真實(shí)App交互，登錄驗(yàn)證、反爬機(jī)制、動(dòng)態(tài)UI變化，大規(guī)模RL Scaling的穩(wěn)定性仍是行業(yè)難題。ClawGUI-RL的Spare Server輪轉(zhuǎn)和周期性重啟機(jī)制是一個(gè)初步的探索，距離大規(guī)模生產(chǎn)級(jí)訓(xùn)練還有很長(zhǎng)的路要走。

路線圖

ClawGUI的規(guī)劃不止于此：OpenClaw-GUI支持自然語(yǔ)言手機(jī)操控與評(píng)測(cè)；ClawGUI-RL可擴(kuò)展的Mobile Online RL訓(xùn)練基礎(chǔ)設(shè)施，支持PRM逐步獎(jiǎng)勵(lì)；ClawGUI-Eval標(biāo)準(zhǔn)化評(píng)測(cè)套件，6個(gè)Benchmark，95%+復(fù)現(xiàn)率；ClawGUI-2B達(dá)到17.1 SR（基線11.1）；后續(xù)將推進(jìn)真機(jī)部署OpenClaw-GUI，直接部署在手機(jī)上避免云端隱私泄露；Desktop / Web Online RL，將在線RL擴(kuò)展至桌面和網(wǎng)頁(yè)環(huán)境；以及基于OPD算法的實(shí)時(shí)強(qiáng)化學(xué)習(xí)。

總結(jié)

ClawGUI不是要證明GUI比CLI更好，而是想探索一種可能性：訓(xùn)練、評(píng)測(cè)、部署打通之后，GUI智能體能走多遠(yuǎn)？CLI和GUI的協(xié)作又能釋放出怎樣的潛力？

ClawGUI-RL讓GUI Agent的在線訓(xùn)練從虛擬環(huán)境走向真機(jī)，ClawGUI-Eval為社區(qū)提供了一套可信賴(lài)的評(píng)測(cè)標(biāo)準(zhǔn)，OpenClaw-GUI把GUI智能體從研究帶到了真實(shí)設(shè)備。

項(xiàng)目已開(kāi)源，歡迎Star支持，讓更多人看到GUI Agent的可能性。

項(xiàng)目地址：
https://github.com/ZJU-REAL/ClawGUI

項(xiàng)目主頁(yè)：
https://zju-real.github.io/ClawGUI-Page/