這項由浙江大學(xué)、蘋果公司及騰訊公司聯(lián)合開展的研究發(fā)表于2026年（預(yù)印本編號arXiv:2604.13822v1，2026年4月15日公開），提出了一套名為UI-Copilot的智能手機操作輔助系統(tǒng)，以及配套的訓(xùn)練方法Tool-Integrated Policy Optimization（TIPO）。有興趣深入了解的讀者可以通過arXiv編號2604.13822查詢完整論文。

手機已經(jīng)成了我們?nèi)粘Ｉ畹难由?。打開購物應(yīng)用、查快遞、比價格、填表格、記賬單——這些事我們每天都在做，已經(jīng)熟悉到不需要思考。但換個角度：如果這些事都要一個人工智能助手來替你完成，而且任務(wù)可能跨越十幾個應(yīng)用、需要記住幾十步前看到的數(shù)字，AI還能應(yīng)付得來嗎？

這正是研究團隊想解決的問題。他們的出發(fā)點，是當(dāng)前最先進的AI手機助手在面對"長任務(wù)"時暴露出的三個根本性缺陷，而這三個缺陷，幾乎會讓任何一個普通人也感同身受。

一、AI助手為什么會"記性差"、"算錯數(shù)"、"迷失方向"？

以一個具體例子來理解這三個問題：假設(shè)你讓AI助手完成這樣一個任務(wù)——"在必應(yīng)App里查NVIDIA和蘋果的股價，然后告訴我50股NVIDIA加上75股蘋果一共值多少錢。"這個任務(wù)表面上簡單，實際上要求AI分別打開應(yīng)用查詢兩支股票的價格，記住這兩個數(shù)字，再進行乘法和加法運算，最后給出答案。

研究團隊測試了多個當(dāng)前最先進的7B規(guī)模（70億參數(shù)）AI助手，發(fā)現(xiàn)失敗率極高。第一種失敗叫**記憶衰退**：任務(wù)走到第15步時，AI早就把第9步看到的蘋果股價"忘了"，反而憑空捏造了一個錯誤數(shù)字繼續(xù)往下算。第二種失敗叫**進度混亂**：AI在浩繁的操作歷史里迷路了，明明已經(jīng)查完了所有股價，卻不知道自己到了哪一步，要么重復(fù)操作，要么莫名其妙地提前宣告完成，要么任務(wù)還沒做完就停下來。第三種失敗叫**數(shù)學(xué)幻覺**：AI在心算乘法和加法時出錯，算出來的結(jié)果和正確答案差了幾千塊。

這三種失敗有一個共同根源，研究團隊把它概括得很簡潔：**AI被要求做的事情已經(jīng)超出了它本身的能力范圍**。當(dāng)歷史記錄越堆越長，AI的"工作臺"就越來越亂，判斷力隨之下降。就像一個廚師，如果讓他同時記住三十道菜的配方、各自的進度、每個鍋里的火候，他遲早也會搞錯。

統(tǒng)計數(shù)據(jù)很能說明問題：在專門針對"記憶密集型"任務(wù)設(shè)計的評測基準(zhǔn)MemGUI-Bench上，現(xiàn)有7B規(guī)模的AI助手的平均性能，相比短任務(wù)下降了整整**90.9%**。換句話說，短任務(wù)能做對的事，放到長任務(wù)里幾乎全部失敗。

二、解決方案：給AI助手配一個"隨身小秘書"

研究團隊的應(yīng)對思路，可以用一個工作場景來類比。假設(shè)你是一位經(jīng)理，需要完成一個復(fù)雜項目。過去的做法是讓你把所有資料、所有筆記、所有計算都裝在腦子里，同時還要指揮執(zhí)行。這當(dāng)然容易出錯。新的做法是：**經(jīng)理只管做決策和執(zhí)行，而查資料、做計算這兩件事，隨時可以交給一位隨叫隨到的助理來完成。**

UI-Copilot正是這個思路的技術(shù)實現(xiàn)。系統(tǒng)由兩個角色組成：一個是負責(zé)實際操控手機的**主控AI**（基于Qwen2.5VL-7B模型），另一個是輕量級的**副駕駛模型**（Qwen3-4B），隨時待命。主控AI負責(zé)理解任務(wù)、規(guī)劃步驟、點擊屏幕，而副駕駛模型承擔(dān)兩項具體職責(zé)：一是**Retriever（檢索者）**，當(dāng)主控AI需要回想之前看到的信息時，它可以主動調(diào)用檢索者去翻閱之前記錄下來的"筆記"，精準(zhǔn)取回所需內(nèi)容；二是**Calculator（計算者）**，當(dāng)任務(wù)涉及數(shù)字運算時，它調(diào)用計算者生成并執(zhí)行Python代碼，直接返回精確結(jié)果，繞過AI自身不可靠的心算能力。

關(guān)鍵在于，副駕駛模型不是每一步都被調(diào)用，而是**按需啟用**。主控AI在每一步都要自己判斷：這一步我需要檢索歷史信息嗎？需要做數(shù)學(xué)運算嗎？還是我直接操作就好？這種"自主決定何時求助"的能力，正是整個系統(tǒng)設(shè)計的核心。

與此同時，研究團隊還引入了一個叫**記憶解耦**的設(shè)計。傳統(tǒng)的AI助手把所有思考過程和操作歷史都堆在"對話記錄"里，久而久之這份記錄就變得極其臃腫，AI讀起來費力，理解質(zhì)量也隨之下降。記憶解耦的做法是把"記錄"分成兩層：**對話歷史只保留簡潔的進度摘要**，比如"我已經(jīng)查完了蘋果的股價"，而詳細的觀察內(nèi)容（比如具體是多少錢、看到了什么界面）則單獨存在一個本地文件里。當(dāng)AI需要某條具體信息時，再調(diào)用檢索者去文件里精準(zhǔn)取回，而不是讓AI自己在一份幾千字的歷史記錄里艱難搜尋。

這個設(shè)計的比喻是：一個人在做項目時，不需要把所有資料都攤在桌子上，只需要在桌上放一張進度便簽，資料本身整整齊齊歸檔在文件柜里，需要時隨時取用。桌面清爽，思路自然清晰。

三、訓(xùn)練方法：怎么讓AI學(xué)會"知道自己什么時候需要幫助"

光有這套框架還不夠，關(guān)鍵問題是：**怎么訓(xùn)練主控AI，讓它既能準(zhǔn)確判斷何時調(diào)用工具，又能在多步驟任務(wù)中穩(wěn)定執(zhí)行？**

研究團隊設(shè)計了一套叫做Tool-Integrated Policy Optimization（TIPO，工具集成策略優(yōu)化）的訓(xùn)練方法。這個方法的核心思想是**把兩件事分開訓(xùn)練**：學(xué)習(xí)"什么時候調(diào)用哪個工具"是一件事，學(xué)習(xí)"怎么完成多步驟任務(wù)"是另一件事，兩者分別優(yōu)化，互不干擾。

訓(xùn)練數(shù)據(jù)從AndroidControl數(shù)據(jù)集出發(fā)，其中包含人工標(biāo)注的手機操作軌跡。研究團隊用GPT-4o對這些軌跡進行了"加工"：為每一步生成了應(yīng)當(dāng)調(diào)用的工具、思考內(nèi)容以及進度摘要，形成專家示范數(shù)據(jù)集。此外，他們還用GPT-4o為同一批任務(wù)生成了記憶密集型查詢和計算型查詢，專門用來訓(xùn)練工具調(diào)用能力。

訓(xùn)練分三個階段進行。第一階段是**冷啟動**，通過監(jiān)督式微調(diào)讓AI先學(xué)會基本的輸出格式和行為規(guī)范，建立一個穩(wěn)定的起點。第二階段是**工具調(diào)用強化學(xué)習(xí)**：對于每一個工具調(diào)用預(yù)測，系統(tǒng)給出一個即時獎勵——格式正確時得一部分分，工具選擇正確時再得另一部分分，兩部分加權(quán)合并。這一步采用單步預(yù)測的方式進行，歷史記錄由專家數(shù)據(jù)提供（所謂"離線策略"），因為工具調(diào)用的訓(xùn)練不需要完整地走完整個任務(wù)流程。第三階段是**多步驟行動強化學(xué)習(xí)**：這一步讓AI在自己生成的歷史記錄上進行訓(xùn)練，也就是"在線策略"，每一步的歷史都是AI自己走出來的，而不是專家寫好的。這樣做的理由在于，實際使用時AI也是在自己的歷史上操作，訓(xùn)練和使用環(huán)境一致，訓(xùn)練效果才能真正反映到部署表現(xiàn)上。

獎勵計算也有巧思。行動步驟的獎勵分三層：格式正確獎勵、動作類型正確獎勵、坐標(biāo)或文字內(nèi)容正確獎勵，三層依次加權(quán)疊加，鼓勵A(yù)I既做對"做什么"，也做對"怎么做"。此外系統(tǒng)還引入了折扣未來獎勵，讓AI不僅關(guān)注當(dāng)前這一步走得好不好，也關(guān)注整個任務(wù)后續(xù)的走向。為了確保訓(xùn)練信號足夠豐富，系統(tǒng)還設(shè)置了一個最低優(yōu)勢方差閾值，如果一批樣本的分?jǐn)?shù)差異太小（說明AI對這批任務(wù)已經(jīng)掌握得差不多了，沒什么可學(xué)的），就繼續(xù)采樣更有挑戰(zhàn)性的樣本，直到滿足閾值為止。

理論分析也為這套方法提供了支撐。研究團隊用數(shù)學(xué)推導(dǎo)證明：如果在訓(xùn)練時用專家提供的歷史記錄，而不是AI自己走出來的歷史，那么訓(xùn)練的梯度方向和實際部署時的優(yōu)化目標(biāo)之間存在系統(tǒng)性的偏差，用學(xué)術(shù)語言說就是"訓(xùn)練與推理不對齊"。而用自己生成的歷史訓(xùn)練，這種偏差就會大幅消減。這個道理用日常經(jīng)驗來理解也直接明了：如果你練習(xí)駕駛時，每次都坐在別人開的車?yán)镏豢床粍邮?，那真正上路時一定會手生；只有自己開過足夠多，才算真正掌握。

四、實驗結(jié)果：數(shù)字說明了什么

在MemGUI-Bench這個專門評測記憶密集型和計算密集型長任務(wù)的基準(zhǔn)上，UI-Copilot-7B取得了**pass@1準(zhǔn)確率16.4%、pass@3準(zhǔn)確率20.3%**的成績，在所有7B規(guī)模的模型中排名第一，明顯超過了此前最強的GUI-Owl-7B和UI-TARS-1.5-7B（兩者最好成績?yōu)?0.2%）。

MemGUI-Bench之所以難，數(shù)字足以說明：這個基準(zhǔn)的任務(wù)里有70.3%是記憶密集型，19.5%是計算密集型，平均每個任務(wù)需要36步才能完成，遠高于AndroidWorld的8.4步均值。換個說法，它要求AI助手記住三十多步前看到的信息，還要在中途做計算，這對傳統(tǒng)方法來說幾乎是一道無法逾越的障礙。

與此同時，在更常規(guī)的動態(tài)任務(wù)基準(zhǔn)AndroidWorld上，UI-Copilot-7B達到了**39.1%的準(zhǔn)確率**，比基礎(chǔ)Qwen2.5VL-7B模型提升了整整**17.1個百分點**，與閉源的GPT-4o（34.5%）相比也有明顯優(yōu)勢。在MiniWob++上，UI-Copilot-7B達到61.2%，同樣保持了強勁水準(zhǔn)。

單步任務(wù)（不需要歷史記憶的靜態(tài)任務(wù)）上，UI-Copilot-7B同樣表現(xiàn)穩(wěn)?。涸贏ndroidControl-High上，動作準(zhǔn)確率達到82.9%，坐標(biāo)定位準(zhǔn)確率72.2%，步驟成功率71.8%；在GUI Odyssey上，坐標(biāo)定位63.8%，步驟成功率57.2%。與基礎(chǔ)模型相比，動作成功率提升了約19個百分點。這說明TIPO的訓(xùn)練不僅提升了長任務(wù)能力，也沒有損害基礎(chǔ)操作能力。

從訓(xùn)練動態(tài)來看，準(zhǔn)確率在大約40步訓(xùn)練后趨于收斂，說明訓(xùn)練過程足夠高效。工具調(diào)用頻率在訓(xùn)練過程中穩(wěn)步降低，說明AI逐漸學(xué)會了更加精準(zhǔn)地判斷"需不需要求助"，而不是無差別地頻繁調(diào)用。平均每個任務(wù)的執(zhí)行步數(shù)也隨訓(xùn)練推進而減少，這是進度混亂問題得到緩解的直接體現(xiàn)。

五、消融實驗：拆開看，每一塊都有用

為了驗證各個設(shè)計選擇是否真的有必要，研究團隊做了大量的消融實驗——也就是把系統(tǒng)里的某個部件拔掉或換掉，看看效果是否下降。

首先比較了三種歷史管理方式：只保留動作和思考內(nèi)容的傳統(tǒng)方式（AT）、保留完整多輪上下文的方式（MC），以及只保留簡潔進度摘要的新方式（MS）。結(jié)果表明，MS方式在準(zhǔn)確率和執(zhí)行步數(shù)上都優(yōu)于前兩者，驗證了記憶解耦的有效性。

在工具組合上，只用Retriever或只用Calculator，效果都不如兩者同時使用。同時使用時，在MemGUI-Bench上準(zhǔn)確率達到36.4%、平均步數(shù)19.3步，在AndroidWorld上準(zhǔn)確率66.7%、平均步數(shù)13.8步，綜合表現(xiàn)最優(yōu)。與每一步都強制調(diào)用副駕駛模型的"多智能體流程"相比，UI-Copilot的按需調(diào)用策略取得了相近甚至更好的準(zhǔn)確率，同時步數(shù)更少，效率更高。

在副駕駛模型的選擇上，Qwen3-4B的表現(xiàn)優(yōu)于更小的Qwen3-0.6B和Qwen3-1.7B，也優(yōu)于視覺語言模型Qwen2.5VL-7B。研究團隊認為，Qwen3-4B的強項在于上下文理解和摘要能力，這正是檢索任務(wù)的核心需求。

在訓(xùn)練范式上，監(jiān)督微調(diào)（SFT冷啟動）是必要的，去掉后性能下降明顯。工具調(diào)用強化學(xué)習(xí)和行動強化學(xué)習(xí)缺一不可：前者提升工具使用準(zhǔn)確率，后者穩(wěn)定多步執(zhí)行能力。在線策略（自生成歷史）相比離線策略（專家歷史）有顯著優(yōu)勢，印證了理論分析的結(jié)論。

在訓(xùn)練數(shù)據(jù)比例上，行動數(shù)據(jù)與工具數(shù)據(jù)的比例定在600:2000時綜合效果最好，進一步增大任何一方都不再帶來明顯提升，說明兩類數(shù)據(jù)的比例有其最優(yōu)區(qū)間。

六、哪些地方還沒做好

研究團隊在論文末尾也坦誠指出了當(dāng)前系統(tǒng)的局限。目前副駕駛模型只包含Retriever和Calculator兩種工具，而真實世界的手機操作任務(wù)往往還需要網(wǎng)絡(luò)搜索、圖像裁剪、文件管理等更多類型的輔助能力。如何將框架擴展到更豐富的工具集，是下一步研究的方向。

從失敗案例來看，系統(tǒng)仍然存在三類典型問題：視覺感知和空間推理上的偏差（比如面對有障礙的迷宮，AI看不出障礙而反復(fù)執(zhí)行錯誤操作）、任務(wù)進度判斷的混淆（誤以為某個子任務(wù)無法完成而提前終止整個任務(wù)）、以及計劃與執(zhí)行之間的不一致（AI在思考中說要繼續(xù)，實際操作卻選擇了停止）。這三類問題揭示了當(dāng)前AI助手在視覺理解、狀態(tài)感知和執(zhí)行一致性上仍有較大的提升空間。

歸根結(jié)底，這項研究做的事情，是給AI手機助手配備了一套更合理的"分工"機制。過去是一個人扛所有，記憶、計算、操作全靠自己，壓力大了就容易出錯?，F(xiàn)在是經(jīng)理只管執(zhí)行，遇到需要翻資料時叫一聲檢索者，遇到需要算數(shù)時叫一聲計算者，整個流程清晰、專注、高效。

這對普通用戶意味著，未來的手機AI助手在處理"查多個信息再綜合計算"這類現(xiàn)實任務(wù)時，將變得更可靠。不只是幫你打開應(yīng)用、點擊按鈕，而是真正理解你的意圖、記住過程中收集到的信息、計算出準(zhǔn)確結(jié)果，然后告訴你答案。

當(dāng)然，這個領(lǐng)域依然在快速演進。工具種類的擴展、視覺感知能力的提升、執(zhí)行一致性的改善，都是擺在研究者面前的真實挑戰(zhàn)。感興趣的讀者可以通過arXiv編號2604.13822閱讀完整論文，深入了解技術(shù)細節(jié)。

Q&A

Q1：UI-Copilot和普通AI手機助手的區(qū)別是什么？

A：普通AI助手把所有記憶、計算、操作都壓在同一個模型上，任務(wù)步驟一多就容易出錯。UI-Copilot把職責(zé)分開，主控AI只負責(zé)操作，需要查歷史信息時調(diào)用Retriever，需要計算時調(diào)用Calculator，各司其職，不互相干擾。對話歷史也只保留簡潔進度摘要，詳細內(nèi)容另外存檔，避免上下文過長導(dǎo)致的混亂。

Q2：TIPO訓(xùn)練方法和普通強化學(xué)習(xí)訓(xùn)練有什么不同？

A：普通強化學(xué)習(xí)通常用專家提供的歷史數(shù)據(jù)訓(xùn)練，但實際部署時AI面對的是自己走出來的歷史，兩者不匹配會導(dǎo)致性能下降。TIPO把工具調(diào)用和行動執(zhí)行分開訓(xùn)練，工具調(diào)用用離線數(shù)據(jù)，行動執(zhí)行用AI自己生成的在線歷史，確保訓(xùn)練和部署環(huán)境一致。研究團隊還用數(shù)學(xué)推導(dǎo)證明了這種對齊的必要性。

Q3：MemGUI-Bench評測基準(zhǔn)測的是什么類型的任務(wù)？

A：MemGUI-Bench專門針對記憶密集型和計算密集型的長流程手機操作任務(wù)，其中約70%的任務(wù)要求AI記住多個步驟前獲取的信息，約20%需要做數(shù)學(xué)計算，平均每個任務(wù)需要36步才能完成。相比AndroidWorld的8.4步均值，難度大幅提升，是目前評測AI手機助手長任務(wù)能力最具挑戰(zhàn)性的基準(zhǔn)之一。