字節(jié)正和多家手機(jī)廠商談合作。

文丨賀乾明

“對(duì)比一下京東、美團(tuán)外賣、淘寶上的肯德基香辣雞腿堡哪個(gè)更便宜，選價(jià)格最低的下單，送到三里屯 SOHO A 座的地址，下單的時(shí)候備注 ‘放前臺(tái)’，下單后把訂單截圖微信上發(fā)給小明，告訴他外賣點(diǎn)完了。”

整個(gè)過(guò)程，只有付款階段需要人工介入，其他操作全部由 AI 在后臺(tái)自動(dòng)完成。

12 月 1 日，字節(jié)發(fā)布豆包手機(jī)助手預(yù)覽版。這是一個(gè)面向手機(jī)廠商的系統(tǒng)級(jí)服務(wù)，它將豆包大模型深度融入操作系統(tǒng)，讓用戶只需動(dòng)嘴（或動(dòng)一下手指），就能指揮手機(jī)去執(zhí)行那些原本需要點(diǎn)擊幾十次屏幕的繁瑣操作。

我們第一時(shí)間拿到了豆包與中興合作開發(fā)的搭載豆包手機(jī)助手的手機(jī)，挑選數(shù)十個(gè)日常場(chǎng)景，測(cè)試了其能力。

作為預(yù)覽版，它還有一些不足，但確實(shí)提供了與市面量產(chǎn)手機(jī)截然不同的交互體驗(yàn)，相對(duì)流暢地實(shí)現(xiàn)了不少手機(jī)廠商曾在發(fā)布會(huì)上描繪過(guò)、卻難以落地的設(shè)想。

豆包手機(jī)助手的主力研發(fā)團(tuán)隊(duì)，是字節(jié)負(fù)責(zé) AI 硬件的 Ocean，它隸屬于字節(jié) AI 產(chǎn)品大部門 Flow，主要成員來(lái)自字節(jié)多年來(lái)先后收購(gòu)的一些硬件產(chǎn)品團(tuán)隊(duì)，如錘子手機(jī)、VR 頭顯 PICO、智能耳機(jī) Ola Dance 等，以及近年加入字節(jié)的手機(jī)、硬件從業(yè)者。

這款豆包與中興合作的手機(jī)已在豆包手機(jī)助手官網(wǎng)及中興商城上架，售價(jià) 3499 元。我們了解到，這款手機(jī)只是豆包手機(jī)助手的 “打樣”。字節(jié)正和多家手機(jī)廠商談合作。

跨平臺(tái)比價(jià)點(diǎn)外賣、搜小紅書做攻略，像人一樣操作手機(jī)

豆包手機(jī)助手最大的突破，在于它是一個(gè) Agent（智能體）。它不僅提供信息，還能跨應(yīng)用執(zhí)行復(fù)雜操作。

它有系統(tǒng)級(jí)的操作權(quán)限，能夠識(shí)別手機(jī)屏幕上的 UI 元素，配合豆包大模型的能力，可以理解用戶需求，然后模擬點(diǎn)擊、滑動(dòng)和輸入等動(dòng)作，像人一樣去操作手機(jī)中的應(yīng)用。

外賣大戰(zhàn)中，淘寶、美團(tuán)和京東投入千億元資金補(bǔ)貼。它們的側(cè)重點(diǎn)不同，同一門店、同一餐品的價(jià)格在不同平臺(tái)會(huì)有差異。如果想極致地薅羊毛，每次點(diǎn)外賣都要打開三個(gè)應(yīng)用、搜索，挨個(gè)對(duì)比價(jià)格。

這個(gè)活可以交給豆包手機(jī)助手干，告訴它 “幫我看看京東秒送、美團(tuán)外賣、淘寶閃購(gòu)上的肯德基吮指原味雞哪個(gè)更便宜?！?/p>

它會(huì)在后臺(tái)自動(dòng)打開美團(tuán)外賣，搜索肯德基，找到商家，進(jìn)去搜索吮指原味雞，找到后記錄價(jià)格信息。

然后它切到京東，點(diǎn)擊秒送頁(yè)面，搜索 “肯德基 吮指原味雞”，直接收集在搜索結(jié)果頁(yè)面顯示出來(lái)的價(jià)格信息；最后跳轉(zhuǎn)至淘寶，點(diǎn)擊閃購(gòu)頁(yè)面搜索商品，獲取信息。

在這個(gè)過(guò)程中，你同樣可以拿著手機(jī)刷抖音、回微信或者做其他事情。最后，豆包手機(jī)助手會(huì)發(fā)送一個(gè)簡(jiǎn)報(bào)，列出幾個(gè)平臺(tái)上肯德基吮指原味雞的價(jià)格和結(jié)論：兩塊裝的吮指原味雞，京東秒送的到手價(jià) 14 元最低。

找到最便宜的外賣平臺(tái)后，你可以讓豆包手機(jī)助手幫忙下單。等到最后付款的時(shí)候，它會(huì)讓你手動(dòng)操作。

如果你信得過(guò)它，也可以讓豆包手機(jī)助手一次性完成比價(jià)、寫備注下單的流程。

類似的，你可以讓它 “去小紅書上多搜索幾篇北京到大同的旅游攻略，根據(jù)這些內(nèi)容，整理出一個(gè)周五晚上出發(fā)、周日晚上返回的方案”，然后讓它在微信上發(fā)給朋友，問問意見。

它會(huì)像人刷小紅書那樣，去搜索北京到大同的周末旅游攻略，挑點(diǎn)贊高的帖子看，先左右滑動(dòng)看圖片，然后再上滑看文字信息。

然后它會(huì)把小紅書上收集到的信息，整理成一個(gè)大概的方案，打開微信發(fā)送給你指定的朋友。

或者讓豆包定時(shí)執(zhí)行任務(wù)：“7 點(diǎn)的時(shí)候看一下微博熱搜，截個(gè)圖存到備忘錄里”。到時(shí)間之后，它會(huì)在后臺(tái)打開微博，找到微博熱搜頁(yè)面，把它截圖，然后打開手機(jī)備忘錄，上傳到里面。同樣，你也可以讓它每天定時(shí)去滴滴里面領(lǐng)優(yōu)惠券。

現(xiàn)在的豆包手機(jī)助手，不是每次都能完美執(zhí)行任務(wù)。不過(guò)我們發(fā)現(xiàn)豆包手機(jī)助手有比較強(qiáng)的 “糾錯(cuò)機(jī)制”，能讓任務(wù)執(zhí)行下去。

比如我們讓它點(diǎn)完外賣，把訂單截圖發(fā)給朋友。在這個(gè)任務(wù)中，它點(diǎn)完外賣，就被彈窗困住了。剛開始，它嘗試關(guān)掉彈窗，結(jié)果進(jìn)入另一個(gè)頁(yè)面，退出時(shí)又觸發(fā)另一個(gè)彈窗。它沒有直接報(bào)錯(cuò)，或者提示讓我們接管，而是反復(fù)嘗試 50 秒，最終找到了查看訂單頁(yè)面。

專屬按鍵和語(yǔ)音隨時(shí)喚起，提取屏幕信息回答問題

這款搭載豆包手機(jī)助手的設(shè)備，在機(jī)身左側(cè)配備了一顆獨(dú)立的、專屬的物理按鍵。

不論你是刷抖音、回微信，還是手機(jī)處于鎖屏狀態(tài)，按下這個(gè)按鈕，豆包手機(jī)助手會(huì)以 “疊加層（Overlay）” 的形式出現(xiàn)——它是一個(gè)半屏卡片或懸浮氣泡，不打斷當(dāng)前正在進(jìn)行的 app 進(jìn)程。

豆包手機(jī)助手有 “屏幕感知” 能力。你在微信上與朋友聊天，看到朋友發(fā)來(lái)一句 “這周末又得加班，好煩啊”，不知道怎么回復(fù)，可以讓豆包安慰朋友。

按下側(cè)邊鍵，豆包會(huì)自動(dòng)讀取當(dāng)前的聊天記錄上下文，據(jù)此自動(dòng)生成回復(fù)內(nèi)容——你不需要復(fù)制粘貼，點(diǎn)擊確認(rèn)后，它會(huì)直接發(fā)過(guò)去。

它不只能提供言語(yǔ)上的安慰，還能上手幫朋友處理工作。比如朋友發(fā)來(lái)語(yǔ)音，配上了一張圖片。

按下按鈕，你可以讓豆包手機(jī)助手看朋友說(shuō)了什么，幫他解決問題。它把語(yǔ)音轉(zhuǎn)成文字，提煉出需求：“朋友的老板讓把圖片中的鞋子顏色改成藍(lán)色的”。

接著它自動(dòng)執(zhí)行操作：先嘗試用微信自帶的圖片編輯功能改色，發(fā)現(xiàn)不行，便把圖片保存下來(lái)，打開豆包 app，發(fā)送圖片請(qǐng)求改色，最后把改好的圖片存下來(lái)，通過(guò)微信回給朋友。

物理按鍵也能讓你迅速喚出豆包的不同形態(tài)。按兩下，可以調(diào)出豆包語(yǔ)音通話，讓它給你講冷笑話或陪聊；或者調(diào)出視頻通話功能，讓它幫忙看面前的植物是什么，是否需要澆水。

在設(shè)置中，你可以將 “按兩下” 定義為調(diào)出豆包相機(jī)，拍一張凌亂的工位照片，讓它給出整理建議。它會(huì)分析圖片中有哪些東西，規(guī)劃出方案。

你刷手機(jī)看到有價(jià)值的信息，可以按這個(gè)特定的實(shí)體按鍵與音量加鍵，把它存下來(lái)，供豆包處理任務(wù)的時(shí)候參考。這是豆包手機(jī)助手全局記憶功能的一部分。

除了手動(dòng)記憶，你也可以授權(quán)讓豆包獲取特定 app 中的收藏內(nèi)容，自動(dòng)記憶喜好，以便后續(xù)提供個(gè)性化的回應(yīng)。比如它記住你常用的地址后，點(diǎn)外賣時(shí)就不會(huì)經(jīng)常讓你確認(rèn)地址了。

當(dāng)然，你也可以用語(yǔ)音喚出豆包手機(jī)助手，完成以上提到的所有任務(wù)。

語(yǔ)音交互在一些場(chǎng)景下更方便。比如你開車的時(shí)候，朋友發(fā)來(lái)消息問 “到哪了”，你可以喊豆包幫你回復(fù)：路上有點(diǎn)堵，要晚 10 分鐘才能到，讓他稍微等一會(huì)兒。它會(huì)自動(dòng)打開微信，把你說(shuō)的話轉(zhuǎn)成文字發(fā)送給朋友。

能力還需提升，但新的可能已經(jīng)出現(xiàn)

豆包手機(jī)助手展現(xiàn)出的跨應(yīng)用操作（Agent）等能力，在各大手機(jī)廠商的發(fā)布會(huì) PPT 上屢見不鮮，但在實(shí)際量產(chǎn)的手機(jī)中，能夠落地并執(zhí)行如此復(fù)雜鏈路的產(chǎn)品依然罕見。

最典型的例子是蘋果，他們 2024 年 6 月就全面介紹了系統(tǒng)級(jí)的大模型 AI 能力 Apple Intelligence，到現(xiàn)在還沒有完全兌現(xiàn)。

大模型的技術(shù)還在迅速發(fā)展，資源、算法和數(shù)據(jù)壁壘越來(lái)越高，僅靠手機(jī)廠商組建團(tuán)隊(duì)自研，已經(jīng)越來(lái)越難跟上節(jié)奏。

手機(jī)行業(yè)開始接受新的模式：與外部實(shí)力強(qiáng)勁的模型供應(yīng)商合作。11 月初，有市場(chǎng)消息稱，蘋果打算每年花 10 億美元購(gòu)買 Google 的 Gemini 模型服務(wù)，用來(lái)強(qiáng)化 Siri 助手。在此之前，三星等手機(jī)公司也選擇與 Gemini 深入合作。

豆包手機(jī)助手與中興等廠商的合作，也是這一新模式的體現(xiàn)：模型公司提供能力領(lǐng)先的模型，手機(jī)廠商提供載體，共同為用戶提供交互更便捷、能力更強(qiáng)的 AI 手機(jī)體驗(yàn)。

客觀來(lái)說(shuō)，豆包手機(jī)助手還有提升空間。比如它打開各個(gè)外賣平臺(tái)比較肯德基吮指原味雞的價(jià)格，一共耗時(shí) 1 分 56 秒，比我們手動(dòng)操作慢了將近一分鐘。畢竟它執(zhí)行每一步動(dòng)作，都要先理解屏幕信息。

它依靠讀取屏幕信息、模擬人操作手機(jī)的邏輯來(lái)工作，目前還不能合理地解決長(zhǎng)尾需求。比如我刷抖音時(shí)，想讓它等到每個(gè)視頻播放完后、幫我上滑看下一個(gè)。它執(zhí)行上滑的動(dòng)作沒有問題，但無(wú)法識(shí)別出視頻什么時(shí)候播放完。

它解決問題的范圍，也受限于底層大模型的能力。比如它不能在你用手機(jī)下象棋或斗地主的時(shí)候當(dāng)軍師，實(shí)際水平還比不上新手。

我們讓它對(duì)比三家外賣平臺(tái)的肯德基價(jià)格時(shí)，如果不指定 “淘寶閃購(gòu)”，它有時(shí)會(huì)在淘寶里搜索 “肯德基 吮指原味雞”，最后給一個(gè)代下單商品的價(jià)格。

底層模型能力的持續(xù)迭代能解決一部分問題。字節(jié)還在吸引第三方開發(fā)者將服務(wù)和應(yīng)用集成到豆包手機(jī)助手。這能讓豆包手機(jī)助手獲得應(yīng)用級(jí)別的底層權(quán)限，解決剩下的多數(shù)問題。這必然是一個(gè)充滿挑戰(zhàn)的過(guò)程，說(shuō)服應(yīng)用開發(fā)者開放權(quán)限普遍困難，說(shuō)服大型互聯(lián)網(wǎng)公司則更難。

一種新可能被擺了出來(lái)：用手機(jī)處理復(fù)雜的跨應(yīng)用任務(wù)時(shí)，人可以不用緊盯屏幕、一步步上手操作。就像掃地機(jī)器人一樣，它掃得沒有人干凈，也沒有人快，但它有希望解放人的時(shí)間。

題圖來(lái)源：晚點(diǎn)