2026 年央視春晚展示的機(jī)器人甚至可以夾烤腸和用竹簽串烤腸了，還有一臺登上本次春晚的機(jī)器人的價格甚至已經(jīng)下探到萬元以下，距離進(jìn)入尋常百姓家真的不遠(yuǎn)了。可是，有一天真的來了一個機(jī)器人到你家里幫忙，結(jié)果它卡在了沒法幫你回微信的第一步？

這聽起來像是一個笑話，但其實是目前機(jī)器人進(jìn)家門遇到的真實問題?，F(xiàn)在許多事情都離不開手機(jī)：智能門鎖需要授權(quán)密碼、刷個抖音都得用手指滑動解鎖。如果機(jī)器人不會操作手機(jī)，那么當(dāng)它干完掃地擦窗的活兒，碰到這些需要依賴手機(jī)的任務(wù)就只能干瞪眼。

英國倫敦大學(xué)學(xué)院汪軍教授團(tuán)隊趙皓宇博士生和合作者打造了一個名為 See-Control（視控）的框架，讓機(jī)器人像人一樣看屏幕和思考，然后使用機(jī)械手指戳點屏幕操控手機(jī)，徹底繞開了過去智能手機(jī)助手必須給手機(jī)插數(shù)據(jù)線以及使用系統(tǒng)開發(fā)者工具才能操控的老路子。

圖 | 趙皓宇（來源：受訪者）

趙皓宇告訴 DeepTech：“我們解決了現(xiàn)在大部分廠家都存在的一個痛點：自動化手機(jī)助手操作手機(jī)必須要通過系統(tǒng)開發(fā)者工具配合數(shù)據(jù)線來與電腦連接，并且只能操控單一手機(jī)操作系統(tǒng)。想象一下你家里有一臺機(jī)器人。也許是家務(wù)機(jī)器人，或者你桌上的機(jī)械臂。通過我們完全純視覺的方案，不依賴任何平臺開發(fā)軟件，可以擴(kuò)展到任意的觸屏設(shè)備且不需要任何線接。同時用戶可以保證隱私不會有任何泄露，因為手機(jī)完完全全是機(jī)械臂物理點擊交互，不需要開放任何權(quán)限、開發(fā)者協(xié)議，也不需要下載任何軟件。用戶完全不用擔(dān)心手機(jī)會不會泄露隱私。包括部分不會用智能手機(jī)的老人、不會用開發(fā)者選項在內(nèi)的非專業(yè)用戶也可以通過這套系統(tǒng)來受益?！?/p>

（來源：https://arxiv.org/pdf/2512.08629）

通常，當(dāng)我們希望使用電腦控制智能手機(jī)時，會使用一種叫做 ADB（Android Debug Bridge，安卓調(diào)試橋）的工具。它就像一根“數(shù)字電纜”，讓程序員可以直接向手機(jī)系統(tǒng)發(fā)送指令。

但問題就在這里，使用 ADB 的方式與人類使用手機(jī)的方式并不一樣，我們不會把一根線插進(jìn)大腦來打開應(yīng)用，而是通過看屏幕、用手指輕觸來完成操作。另外，ADB 只支持 Android 平臺，還需要開啟特殊的開發(fā)者模式，這本身就可能帶來一定的安全風(fēng)險，就像給系統(tǒng)留了一扇沒有上鎖的后門。

而基于物理交互方式的 See-Control 的工作原理特別像我們教老人使用智能手機(jī)：機(jī)器人盯著屏幕截圖，腦子里的大模型分析這是微信紅包還是詐騙鏈接，然后決定到底是點一下、劃一下還是打幾個字。整個過程完全不碰手機(jī)核心部分，就像使用指尖操作一樣自然。

為了讓它真正靠譜，該團(tuán)隊專門設(shè)計了 155 個日常任務(wù)讓機(jī)器人練習(xí)，從最簡單的打開設(shè)置，到復(fù)雜的在小紅書搜索攻略、截圖、發(fā)給微信好友，難度步步升級。測試結(jié)果雖然不算完美，簡單任務(wù)的成功率還行（大于 90%），跨越多個 APP 的任務(wù)還有點手忙腳亂。但是，方向已經(jīng)十分清晰，那就是未來的家用機(jī)器人可以通過觀察和觸摸來接管你的手機(jī)雜活。

該團(tuán)隊將手機(jī)操作問題建模為部分可觀測馬爾可夫決策過程（POMDP），并且將多模態(tài)大模型能力裝進(jìn)了機(jī)器人里，使用了 GPT-4o、QwenVL 這樣的視覺語言模型，讓機(jī)器人不僅能夠看見屏幕上的圖標(biāo)和文字，還能理解點擊某個頭像背后的社交意圖。

有個特別有意思的設(shè)計是視覺提示：在智能體發(fā)出要對圖標(biāo)進(jìn)行定位的指令時，機(jī)器人先是用一個名為 Grounding DINO 的目標(biāo)檢測模型，把屏幕上可交互的按鈕全部框出來，標(biāo)上數(shù)字 123，假如用戶要點披薩，這時機(jī)器人就會問大模型用戶讓點披薩應(yīng)該點哪一個，大模型一看 3 號是某披薩品牌的圖標(biāo)，OK 就它了。這套流程模仿了人類掃一眼屏幕、鎖定目標(biāo)的本能反應(yīng)。

（來源：https://arxiv.org/pdf/2512.08629）

當(dāng)然，要讓機(jī)器人真的在你的手機(jī)屏幕上戳來戳去，還需要解決幾個頭疼的技術(shù)難題。最典型的是返回、退出和打字這三個動作。以前使用電腦上的系統(tǒng)開發(fā)者工具例如 Android Debug Bridge（ADB）調(diào)試手機(jī)，一條指令就能搞定；現(xiàn)在機(jī)器人只能使用物理手勢，想返回就得從左向右滑，想退回到桌面就得從底部向上推，特別是打字，還需要對虛擬鍵盤的每一個鍵的位置都有準(zhǔn)確的認(rèn)知。這也是目前復(fù)雜任務(wù)的成功率較低的原因。

但是該團(tuán)隊留了一個后手。他們把機(jī)器人每次操作的思考過程和動作記錄全部保存下來，做成一個數(shù)據(jù)集公開分享。這里既有成功的經(jīng)驗，也有失敗的教訓(xùn)，甚至標(biāo)注了“這一步點對了嗎”“整個任務(wù)完成沒”等信息，讓其他研究者也可以依靠這些數(shù)據(jù)訓(xùn)練出更聰明的機(jī)器人。

（來源：https://arxiv.org/pdf/2512.08629）

應(yīng)用場景當(dāng)然距離我們非常近。比如，未來你在沙發(fā)上喊一聲“幫我交話費”，機(jī)器人就會晃晃悠悠地走過來，看著手機(jī)屏幕點開支付寶和輸入密碼；再比如，當(dāng)你出門忘記帶手機(jī)，遠(yuǎn)程讓家里的機(jī)器人幫你截圖快遞二維碼發(fā)到你的智能手表上進(jìn)行閃送；再再比如，家里有老人不會使用打車軟件，機(jī)器人可以代勞叫車，送到醫(yī)院還能幫忙掛號。

趙皓宇表示：“我們做的用戶測試顯示，很多人都認(rèn)為這種形式能夠極大程度上幫助到老年人、殘障人士，或者一些沒有時間用手機(jī)的人，極大減緩工作時間，提高工作效率。想象一位重度運動障礙患者或年邁的老人：他們可能無法握持手機(jī)，或者因為手抖而難以精準(zhǔn)點擊細(xì)小的圖標(biāo)。有了 See-Control，只需對語音助手說一句：‘給我孫子打微信電話。’機(jī)器人就會自動在手機(jī)屏幕上操作——打開應(yīng)用、找到聯(lián)系人、點擊呼叫按鈕，一氣呵成。它像一座橋梁，把數(shù)字世界與用戶的身體限制連接起來，讓原本困難甚至不可能完成的操作，變得簡單而可及。”

正常生活中我們可能要搶券、點外賣，這一切都會通過手機(jī)助手解決掉。通過賦能機(jī)器人使用手機(jī)，我們可以幻想不只是讓手機(jī)助手點外賣，機(jī)器人甚至可以完成點外賣到幫你直接將外賣拿到你的身邊的全流程。同時也有商業(yè)可能性，比如在小紅書自動尋找商機(jī)、回復(fù)評論、找到相應(yīng)帖子，這都能便利日常生活，極大減緩工作流程?！耙驗槲覀冞@個解決方案是全部物理接觸，避開了應(yīng)用本身存在的限制。”他說。

這種操作方式可以天然地保護(hù)隱私。過去用系統(tǒng)開發(fā)者工具，等于給機(jī)器人開了一扇后門，聯(lián)系人、相冊、聊天記錄等一覽無余?，F(xiàn)在它只能看到屏幕，讓它點啥就點啥，絕不多看一眼。

當(dāng)然，目前的原型機(jī)還比較簡單，只有一根手指，做不了放大和縮小這種雙指操作，反應(yīng)速度也有所延遲。據(jù)了解，該團(tuán)隊刻意使用最簡單的機(jī)械臂做測試，就是為了先把最難的問題暴露出來，比如怎么在反光的屏幕上精準(zhǔn)定位，怎么理解五花八門的 UI 設(shè)計，怎么從錯誤中學(xué)習(xí)。這些問題一旦解決，未來搭配更靈活的機(jī)械手、更快的本地推理芯片，也許過不了幾年真的只需動動嘴就能讓機(jī)器人干活了。

（來源：https://arxiv.org/pdf/2512.08629）

趙皓宇表示：“我們的愿景是通過 See-Control 這套系統(tǒng)，實現(xiàn)一個統(tǒng)一的解決方案。這套方案不存在任何平臺限制，就是用一套純視覺的方案，通過手機(jī)屏幕畫面，讓機(jī)器人像模擬人類那樣去操縱手機(jī)。全部都是擬真的、物理的操作，不限于任何手機(jī)、任何平臺。在未來，我們也希望這套純視覺方案可以無縫銜接到不同的觸摸設(shè)備上面，通過機(jī)械臂完成一切需要像人類一樣交互的邏輯?！?/p>

在未來，其希望機(jī)器人不只是家中的掃地機(jī)器人，而是能夠作為一個中樞、一個全面的助手來幫助人類生活。可以想象，未來可能有殘障人士通過我們這套具身智能體來點外賣，機(jī)器人就可以去拿外賣、下訂單，完全實現(xiàn)自動交互。

參考資料：

相關(guān)論文 https://arxiv.org/pdf/2512.08629

趙皓宇主頁 https://haoyu-zhao.github.io/

排版：劉雅坤