在上月底舉辦的三星 Galaxy S26 發(fā)布會(huì)上，三星和谷歌官宣將在 Galaxy S26 上首發(fā)基于 Gemini 的 Screen Automation（屏幕自動(dòng)化）的能力。

簡(jiǎn)單來(lái)說(shuō)，就是 Gemini 可以直接在手機(jī)屏幕上操作應(yīng)用：打開(kāi) APP、識(shí)別屏幕、點(diǎn)擊滑動(dòng)、輸入文字……完成一連串 UI 操作，最后再把確認(rèn)步驟交給用戶。

圖片來(lái)源：三星

沒(méi)錯(cuò)，聽(tīng)起來(lái)就和努比亞 M153（坊間俗稱「豆包手機(jī)」）上的豆包手機(jī)助手一樣，都是能替代人類在手機(jī)上進(jìn)行「代理」操作，實(shí)現(xiàn)一句話點(diǎn)外賣、叫車、網(wǎng)購(gòu)等需求。

從海外媒體和論壇的反饋來(lái)看，這項(xiàng)功能終于在最近的測(cè)試版更新中上線了。

不過(guò)我們也發(fā)現(xiàn)，谷歌并沒(méi)有全盤(pán)學(xué)習(xí)豆包手機(jī)助手的做法。雖然在技術(shù)實(shí)現(xiàn)路徑上同樣基于 GUI 的 Agent，但 Gemini 會(huì)基于 Android 開(kāi)啟一個(gè)本地的虛擬沙盒，同時(shí)還主動(dòng)限制了首批開(kāi)放 Gemini「操作」的 APP，僅限少數(shù)一批應(yīng)用。

這種處理方式與國(guó)內(nèi)廠商顯然不太一樣。甚至可以對(duì)比字節(jié)的豆包手機(jī)助手和阿里的千問(wèn)，谷歌選擇了一條看起來(lái)既激進(jìn)、又保守的路線。

讓 AI 操作系統(tǒng)，而不是接管手機(jī)

只看功能表面，Gemini 的「屏幕自動(dòng)化」很容易被理解為另一種「豆包手機(jī)助手」。它同樣可以替你點(diǎn)外賣、叫車、下單，看起來(lái)也像一個(gè)能替人操作手機(jī)的 AI 代理。

但如果把視角往下再挖一層，就會(huì)發(fā)現(xiàn)谷歌的方案其實(shí)完全不是一回事。

豆包手機(jī)助手的邏輯很簡(jiǎn)單：AI 讀取屏幕像素，像人眼一樣識(shí)別按鈕和輸入框，然后模擬手指點(diǎn)擊。這種方式最大的優(yōu)點(diǎn)就是通用——理論上任何 APP 都能操作，因?yàn)?AI 看到的只是屏幕。

Gemini 明顯更「保守」。在實(shí)際執(zhí)行任務(wù)時(shí)，Gemini 并不會(huì)直接在你的手機(jī)桌面上操作應(yīng)用，而是會(huì)在 Android 系統(tǒng)里開(kāi)啟一個(gè)本地的虛擬沙盒窗口，讓 AI 在這個(gè)環(huán)境里運(yùn)行目標(biāo) APP。

整個(gè)過(guò)程是可見(jiàn)的，用戶可以隨時(shí)終止任務(wù)，也可以在任何一步接管操作。

圖片來(lái)源：Android Central

簡(jiǎn)單來(lái)說(shuō)，Gemini「屏幕自動(dòng)化」在產(chǎn)品定位上并不是一個(gè)可以隨意操控手機(jī)的萬(wàn)能代理，而是一個(gè)被系統(tǒng)嚴(yán)格約束的自動(dòng)化能力。

谷歌還主動(dòng)限制了第一批支持自動(dòng)化的應(yīng)用數(shù)量。目前開(kāi)放的主要是打車、外賣和餐飲類服務(wù)，僅支持 Lyft、Uber、GrubHub、DoorDash、Uber Eats 和星巴克。

也限制了「用戶范圍」。目前除了三星 Galaxy S26 系列已經(jīng)可以在測(cè)試版中體驗(yàn)，谷歌也僅規(guī)劃了 Pixel 10 系列支持，同時(shí) Gemini 免費(fèi)用戶每天僅有 5 次使用額度、Plus 會(huì)員 12 次、Pro 會(huì)員 20 次、Ultra 會(huì)員 120 次。

這里既有算力的考量，也在于用戶對(duì) AI「亂動(dòng)手機(jī)」的擔(dān)憂，尤其是在歐美市場(chǎng)。所以谷歌做了權(quán)限隔離、關(guān)鍵步驟必須要用戶手動(dòng)操作、可以實(shí)時(shí)中斷 AI 操作等。

但說(shuō)到底，這只是過(guò)渡階段，谷歌的野心絕不止是讓 Gemini 僅僅能夠操作幾個(gè)特定 APP。

圖片來(lái)源：谷歌

很多人注意到 Gemini 的 GUI 操作能力，卻忽略了 Android 在系統(tǒng)層面正在發(fā)生的一件事情。

就在三星 Galaxy S26 系列發(fā)布會(huì)前夕，谷歌官方發(fā)布了一篇博文名為《智能操作系統(tǒng)：讓 AI 代理對(duì)安卓應(yīng)用更有幫助》，并正式推出了一套新的應(yīng)用能力接口體系——AppFunctions，允許 APP 主動(dòng)向系統(tǒng)聲明自己可以被 AI 調(diào)用的功能。

舉個(gè)例子，一個(gè)外賣 APP 可以告訴系統(tǒng)：支持搜索餐廳、添加商品、提交訂單這些能力。當(dāng)用戶對(duì) Gemini 說(shuō)「幫我點(diǎn)一份披薩」時(shí)，AI 并不一定需要逐步點(diǎn)擊界面，它可以直接調(diào)用這些能力完成任務(wù)。

如果把這套機(jī)制理解成 AI 的「函數(shù)調(diào)用」，事情就變得非常清晰了。在谷歌的設(shè)計(jì)里，AI 代理其實(shí)有兩條路徑可以執(zhí)行任務(wù)，一種是通過(guò)系統(tǒng)接口直接調(diào)用應(yīng)用能力，另一種才是通過(guò)識(shí)別屏幕界面來(lái)進(jìn)行 GUI 自動(dòng)化。

前者效率更高、穩(wěn)定性更好；后者則是為了兼容那些沒(méi)有適配新接口的應(yīng)用。

這意味著 Gemini 未來(lái)的設(shè)備自動(dòng)化能力，本質(zhì)上并不是單純的「AI 看屏幕操作手機(jī)」，而是一種系統(tǒng) API 與 GUI 混合的架構(gòu)。

AppFunctions 的應(yīng)用示例，圖片來(lái)源：雷科技

這個(gè)差異聽(tīng)起來(lái)有點(diǎn)技術(shù)化，但它背后的產(chǎn)品邏輯其實(shí)非常簡(jiǎn)單。相比豆包手機(jī)助手讓 AI 像人一樣使用手機(jī)，谷歌想做的事情是讓 AI 像系統(tǒng)一樣調(diào)度應(yīng)用。

當(dāng) AI 只是讀取屏幕像素時(shí)，它始終站在系統(tǒng)之外，只能模仿人的操作邏輯；但一旦 AI 被放進(jìn)操作系統(tǒng)內(nèi)部，它就可以直接協(xié)調(diào)應(yīng)用之間的能力。

從這個(gè)角度看，Gemini Screen Automation 的真正目標(biāo)或許并不是點(diǎn)外賣、叫車這些場(chǎng)景。谷歌真正想建立的，是一種新的 Android 運(yùn)行邏輯和生態(tài)。從這里出發(fā)，我們也能在一定程度上明白，為什么谷歌要和高通聯(lián)手推動(dòng)「安卓電腦」（非 Chromebook）。

也解釋了為什么 Gemini 的方案看起來(lái)既激進(jìn)又保守。

激進(jìn)的地方在于，它試圖把 AI 變成 Android 的調(diào)度中心；保守在于，谷歌并不打算讓 AI 隨意接管整個(gè)手機(jī)，而是通過(guò)系統(tǒng)接口、權(quán)限控制和應(yīng)用白名單，一步一步推進(jìn)這種變化。

相比「萬(wàn)能 AI 代理」的想象，這種路線顯然更慢，也更克制。但對(duì)于一個(gè)擁有數(shù)十億設(shè)備的操作系統(tǒng)來(lái)說(shuō)，谷歌可能也沒(méi)有太多激進(jìn)試錯(cuò)的空間。

豆包向左，千問(wèn)向右，Gemini 走中間

相比谷歌在手機(jī)上的做法，去年底亮相的豆包手機(jī)助手選擇了最簡(jiǎn)單、也最激進(jìn)的一種方式：讓 AI 像人一樣使用手機(jī)。

在這套方案里，AI 讀取屏幕像素，識(shí)別按鈕、輸入框和頁(yè)面結(jié)構(gòu)，然后模擬手指點(diǎn)擊完成操作。無(wú)論是點(diǎn)外賣、比價(jià)購(gòu)物還是下單支付，AI 都是在手機(jī)界面上一步步執(zhí)行。

這種方式最大的優(yōu)勢(shì)就是通用。因?yàn)?AI 看到的只是屏幕，它不需要任何 APP 的接口支持，也不需要平臺(tái)授權(quán)。理論上，只要是人能操作的應(yīng)用，AI 都可以完成同樣的操作。

這也是為什么很多人第一次體驗(yàn)豆包手機(jī)助手時(shí)，會(huì)覺(jué)得它像一種「真正的 AI 手機(jī)」。

圖片來(lái)源：豆包

但問(wèn)題也同樣明顯。當(dāng) AI 可以讀取整個(gè)屏幕并操作所有應(yīng)用時(shí)，權(quán)限和安全問(wèn)題就不可避免。同時(shí)，很多互聯(lián)網(wǎng)平臺(tái)也并不歡迎這種自動(dòng)化行為，因?yàn)樗@過(guò)了平臺(tái)自身的入口和推薦體系。

簡(jiǎn)單說(shuō)，豆包的路線技術(shù)上非常直接，但也天然會(huì)和應(yīng)用生態(tài)產(chǎn)生摩擦。

相比之下，阿里的千問(wèn)走的是另一條思路，利用阿里自己的服務(wù)生態(tài)，讓 AI 成為一個(gè)調(diào)度中心。在這套體系里，用戶的一句話會(huì)被拆解成具體任務(wù)，然后分別調(diào)用淘寶、支付寶、高德、飛豬等服務(wù)來(lái)完成。

比如搜索商品、下單支付、規(guī)劃路線，都是直接調(diào)用真實(shí)業(yè)務(wù)能力，而不是模擬界面操作。因?yàn)樗胁僮鞫及l(fā)生在生態(tài)內(nèi)部，AI 不需要繞過(guò)應(yīng)用權(quán)限，也不會(huì)觸發(fā)平臺(tái)風(fēng)控，又因?yàn)橹苯诱{(diào)用服務(wù)接口，執(zhí)行效率往往也更高。

圖片來(lái)源：雷科技

但問(wèn)題同樣清晰：生態(tài)邊界。千問(wèn)能夠調(diào)度的服務(wù)，本質(zhì)上還是阿里系應(yīng)用。一旦用戶需求涉及其他平臺(tái)，能力就會(huì)明顯下降。

從這個(gè)角度看，豆包和千問(wèn)其實(shí)代表了兩種非常典型的 AI 代理路徑。前者試圖讓 AI 接管手機(jī)本身，追求的是通用能力；后者則通過(guò)生態(tài)整合，讓 AI 接管服務(wù)流程，追求的是業(yè)務(wù)深度。

而谷歌的 Gemini，某種程度上站在二者之間。在當(dāng)前階段，Gemini 依然保留了 GUI 自動(dòng)化能力，這意味著它在必要時(shí)也可以像豆包一樣，通過(guò)識(shí)別界面來(lái)操作應(yīng)用。但與此同時(shí)，谷歌又在 Android 系統(tǒng)里引入了新的應(yīng)用能力接口，讓 APP 主動(dòng)向系統(tǒng)開(kāi)放可以被 AI 調(diào)用的功能。

如果應(yīng)用支持這些接口，Gemini 就不需要再逐步點(diǎn)擊界面，而是可以直接調(diào)用應(yīng)用能力完成任務(wù)。換句話說(shuō)，谷歌的方案其實(shí)是一種混合路徑：

系統(tǒng)接口優(yōu)先，GUI 自動(dòng)化兜底。

從短期來(lái)看，這種方式顯然沒(méi)有豆包那樣驚艷，也不像千問(wèn)那樣能夠迅速整合成熟生態(tài)。但它的好處在于，既避免了和應(yīng)用生態(tài)的正面沖突，又保留了足夠的通用性。

寫(xiě)在最后

把視角再拉遠(yuǎn)一點(diǎn)，其實(shí)不難理解三種路線為什么會(huì)分化成現(xiàn)在這樣。

字節(jié)沒(méi)有操作系統(tǒng)，也沒(méi)有本地生活生態(tài)，所以只能讓 AI 直接接管手機(jī)；阿里擁有龐大的服務(wù)體系，于是讓 AI 去調(diào)度自己的業(yè)務(wù)網(wǎng)絡(luò)；而谷歌真正擁有的，則是 Android 這個(gè)覆蓋數(shù)十億設(shè)備的操作系統(tǒng)。

因此，Gemini 的目標(biāo)從一開(kāi)始就不是做一個(gè)更強(qiáng)的手機(jī)助手，而是把 AI 變成系統(tǒng)的一部分，讓 Android 從「運(yùn)行應(yīng)用的平臺(tái)」慢慢變成「調(diào)度應(yīng)用的智能系統(tǒng)」。從這個(gè)角度看，Gemini 的克制并不是保守，而更像是一種平臺(tái)級(jí)公司的必然選擇。