2026 年央視春晚展示的機(jī)器人甚至可以夾烤腸和用竹簽串烤腸了，還有一臺(tái)登上本次春晚的機(jī)器人的價(jià)格甚至已經(jīng)下探到萬元以下，距離進(jìn)入尋常百姓家真的不遠(yuǎn)了?？墒?，有一天真的來了一個(gè)機(jī)器人到你家里幫忙，結(jié)果它卡在了沒法幫你回微信的第一步？

這聽起來像是一個(gè)笑話，但其實(shí)是目前機(jī)器人進(jìn)家門遇到的真實(shí)問題?，F(xiàn)在許多事情都離不開手機(jī)：智能門鎖需要授權(quán)密碼、刷個(gè)抖音都得用手指滑動(dòng)解鎖。如果機(jī)器人不會(huì)操作手機(jī)，那么當(dāng)它干完掃地擦窗的活兒，碰到這些需要依賴手機(jī)的任務(wù)就只能干瞪眼。

英國(guó)倫敦大學(xué)學(xué)院汪軍教授團(tuán)隊(duì)趙皓宇博士生和合作者打造了一個(gè)名為 See-Control（視控）的框架，讓機(jī)器人像人一樣看屏幕和思考，然后使用機(jī)械手指戳點(diǎn)屏幕操控手機(jī)，徹底繞開了過去智能手機(jī)助手必須給手機(jī)插數(shù)據(jù)線以及使用系統(tǒng)開發(fā)者工具才能操控的老路子。

圖 | 趙皓宇（來源：受訪者）

趙皓宇告訴 DeepTech：“我們解決了現(xiàn)在大部分廠家都存在的一個(gè)痛點(diǎn)：自動(dòng)化手機(jī)助手操作手機(jī)必須要通過系統(tǒng)開發(fā)者工具配合數(shù)據(jù)線來與電腦連接，并且只能操控單一手機(jī)操作系統(tǒng)。想象一下你家里有一臺(tái)機(jī)器人。也許是家務(wù)機(jī)器人，或者你桌上的機(jī)械臂。通過我們完全純視覺的方案，不依賴任何平臺(tái)開發(fā)軟件，可以擴(kuò)展到任意的觸屏設(shè)備且不需要任何線接。同時(shí)用戶可以保證隱私不會(huì)有任何泄露，因?yàn)槭謾C(jī)完完全全是機(jī)械臂物理點(diǎn)擊交互，不需要開放任何權(quán)限、開發(fā)者協(xié)議，也不需要下載任何軟件。用戶完全不用擔(dān)心手機(jī)會(huì)不會(huì)泄露隱私。包括部分不會(huì)用智能手機(jī)的老人、不會(huì)用開發(fā)者選項(xiàng)在內(nèi)的非專業(yè)用戶也可以通過這套系統(tǒng)來受益。”

（來源：https://arxiv.org/pdf/2512.08629）

通常，當(dāng)我們希望使用電腦控制智能手機(jī)時(shí)，會(huì)使用一種叫做 ADB（Android Debug Bridge，安卓調(diào)試橋）的工具。它就像一根“數(shù)字電纜”，讓程序員可以直接向手機(jī)系統(tǒng)發(fā)送指令。

但問題就在這里，使用 ADB 的方式與人類使用手機(jī)的方式并不一樣，我們不會(huì)把一根線插進(jìn)大腦來打開應(yīng)用，而是通過看屏幕、用手指輕觸來完成操作。另外，ADB 只支持 Android 平臺(tái)，還需要開啟特殊的開發(fā)者模式，這本身就可能帶來一定的安全風(fēng)險(xiǎn)，就像給系統(tǒng)留了一扇沒有上鎖的后門。

而基于物理交互方式的 See-Control 的工作原理特別像我們教老人使用智能手機(jī)：機(jī)器人盯著屏幕截圖，腦子里的大模型分析這是微信紅包還是詐騙鏈接，然后決定到底是點(diǎn)一下、劃一下還是打幾個(gè)字。整個(gè)過程完全不碰手機(jī)核心部分，就像使用指尖操作一樣自然。

為了讓它真正靠譜，該團(tuán)隊(duì)專門設(shè)計(jì)了 155 個(gè)日常任務(wù)讓機(jī)器人練習(xí)，從最簡(jiǎn)單的打開設(shè)置，到復(fù)雜的在小紅書搜索攻略、截圖、發(fā)給微信好友，難度步步升級(jí)。測(cè)試結(jié)果雖然不算完美，簡(jiǎn)單任務(wù)的成功率還行（大于 90%），跨越多個(gè) APP 的任務(wù)還有點(diǎn)手忙腳亂。但是，方向已經(jīng)十分清晰，那就是未來的家用機(jī)器人可以通過觀察和觸摸來接管你的手機(jī)雜活。

該團(tuán)隊(duì)將手機(jī)操作問題建模為部分可觀測(cè)馬爾可夫決策過程（POMDP），并且將多模態(tài)大模型能力裝進(jìn)了機(jī)器人里，使用了 GPT-4o、QwenVL 這樣的視覺語言模型，讓機(jī)器人不僅能夠看見屏幕上的圖標(biāo)和文字，還能理解點(diǎn)擊某個(gè)頭像背后的社交意圖。

有個(gè)特別有意思的設(shè)計(jì)是視覺提示：在智能體發(fā)出要對(duì)圖標(biāo)進(jìn)行定位的指令時(shí)，機(jī)器人先是用一個(gè)名為 Grounding DINO 的目標(biāo)檢測(cè)模型，把屏幕上可交互的按鈕全部框出來，標(biāo)上數(shù)字 123，假如用戶要點(diǎn)披薩，這時(shí)機(jī)器人就會(huì)問大模型用戶讓點(diǎn)披薩應(yīng)該點(diǎn)哪一個(gè)，大模型一看 3 號(hào)是某披薩品牌的圖標(biāo)，OK 就它了。這套流程模仿了人類掃一眼屏幕、鎖定目標(biāo)的本能反應(yīng)。

（來源：https://arxiv.org/pdf/2512.08629）

當(dāng)然，要讓機(jī)器人真的在你的手機(jī)屏幕上戳來戳去，還需要解決幾個(gè)頭疼的技術(shù)難題。最典型的是返回、退出和打字這三個(gè)動(dòng)作。以前使用電腦上的系統(tǒng)開發(fā)者工具例如 Android Debug Bridge（ADB）調(diào)試手機(jī)，一條指令就能搞定；現(xiàn)在機(jī)器人只能使用物理手勢(shì)，想返回就得從左向右滑，想退回到桌面就得從底部向上推，特別是打字，還需要對(duì)虛擬鍵盤的每一個(gè)鍵的位置都有準(zhǔn)確的認(rèn)知。這也是目前復(fù)雜任務(wù)的成功率較低的原因。

但是該團(tuán)隊(duì)留了一個(gè)后手。他們把機(jī)器人每次操作的思考過程和動(dòng)作記錄全部保存下來，做成一個(gè)數(shù)據(jù)集公開分享。這里既有成功的經(jīng)驗(yàn)，也有失敗的教訓(xùn)，甚至標(biāo)注了“這一步點(diǎn)對(duì)了嗎”“整個(gè)任務(wù)完成沒”等信息，讓其他研究者也可以依靠這些數(shù)據(jù)訓(xùn)練出更聰明的機(jī)器人。

（來源：https://arxiv.org/pdf/2512.08629）

應(yīng)用場(chǎng)景當(dāng)然距離我們非常近。比如，未來你在沙發(fā)上喊一聲“幫我交話費(fèi)”，機(jī)器人就會(huì)晃晃悠悠地走過來，看著手機(jī)屏幕點(diǎn)開支付寶和輸入密碼；再比如，當(dāng)你出門忘記帶手機(jī)，遠(yuǎn)程讓家里的機(jī)器人幫你截圖快遞二維碼發(fā)到你的智能手表上進(jìn)行閃送；再再比如，家里有老人不會(huì)使用打車軟件，機(jī)器人可以代勞叫車，送到醫(yī)院還能幫忙掛號(hào)。

趙皓宇表示：“我們做的用戶測(cè)試顯示，很多人都認(rèn)為這種形式能夠極大程度上幫助到老年人、殘障人士，或者一些沒有時(shí)間用手機(jī)的人，極大減緩工作時(shí)間，提高工作效率。想象一位重度運(yùn)動(dòng)障礙患者或年邁的老人：他們可能無法握持手機(jī)，或者因?yàn)槭侄抖y以精準(zhǔn)點(diǎn)擊細(xì)小的圖標(biāo)。有了 See-Control，只需對(duì)語音助手說一句：‘給我孫子打微信電話。’機(jī)器人就會(huì)自動(dòng)在手機(jī)屏幕上操作——打開應(yīng)用、找到聯(lián)系人、點(diǎn)擊呼叫按鈕，一氣呵成。它像一座橋梁，把數(shù)字世界與用戶的身體限制連接起來，讓原本困難甚至不可能完成的操作，變得簡(jiǎn)單而可及?！?/p>

正常生活中我們可能要搶券、點(diǎn)外賣，這一切都會(huì)通過手機(jī)助手解決掉。通過賦能機(jī)器人使用手機(jī)，我們可以幻想不只是讓手機(jī)助手點(diǎn)外賣，機(jī)器人甚至可以完成點(diǎn)外賣到幫你直接將外賣拿到你的身邊的全流程。同時(shí)也有商業(yè)可能性，比如在小紅書自動(dòng)尋找商機(jī)、回復(fù)評(píng)論、找到相應(yīng)帖子，這都能便利日常生活，極大減緩工作流程。“因?yàn)槲覀冞@個(gè)解決方案是全部物理接觸，避開了應(yīng)用本身存在的限制?！彼f。

這種操作方式可以天然地保護(hù)隱私。過去用系統(tǒng)開發(fā)者工具，等于給機(jī)器人開了一扇后門，聯(lián)系人、相冊(cè)、聊天記錄等一覽無余?，F(xiàn)在它只能看到屏幕，讓它點(diǎn)啥就點(diǎn)啥，絕不多看一眼。

當(dāng)然，目前的原型機(jī)還比較簡(jiǎn)單，只有一根手指，做不了放大和縮小這種雙指操作，反應(yīng)速度也有所延遲。據(jù)了解，該團(tuán)隊(duì)刻意使用最簡(jiǎn)單的機(jī)械臂做測(cè)試，就是為了先把最難的問題暴露出來，比如怎么在反光的屏幕上精準(zhǔn)定位，怎么理解五花八門的 UI 設(shè)計(jì)，怎么從錯(cuò)誤中學(xué)習(xí)。這些問題一旦解決，未來搭配更靈活的機(jī)械手、更快的本地推理芯片，也許過不了幾年真的只需動(dòng)動(dòng)嘴就能讓機(jī)器人干活了。

（來源：https://arxiv.org/pdf/2512.08629）

趙皓宇表示：“我們的愿景是通過 See-Control 這套系統(tǒng)，實(shí)現(xiàn)一個(gè)統(tǒng)一的解決方案。這套方案不存在任何平臺(tái)限制，就是用一套純視覺的方案，通過手機(jī)屏幕畫面，讓機(jī)器人像模擬人類那樣去操縱手機(jī)。全部都是擬真的、物理的操作，不限于任何手機(jī)、任何平臺(tái)。在未來，我們也希望這套純視覺方案可以無縫銜接到不同的觸摸設(shè)備上面，通過機(jī)械臂完成一切需要像人類一樣交互的邏輯?！?/p>

在未來，其希望機(jī)器人不只是家中的掃地機(jī)器人，而是能夠作為一個(gè)中樞、一個(gè)全面的助手來幫助人類生活?？梢韵胂?，未來可能有殘障人士通過我們這套具身智能體來點(diǎn)外賣，機(jī)器人就可以去拿外賣、下訂單，完全實(shí)現(xiàn)自動(dòng)交互。

參考資料：

相關(guān)論文 https://arxiv.org/pdf/2512.08629

趙皓宇主頁 https://haoyu-zhao.github.io/

排版：劉雅坤