文/VR陀螺 萬里

近日，Oculus聯(lián)合創(chuàng)始人之一Nate Mitchell在Linkedin宣布將加入一家名為Sesame的初創(chuàng)公司，并擔(dān)任首席產(chǎn)品官。

這一消息引起了業(yè)內(nèi)廣泛關(guān)注：一是Sesame是業(yè)內(nèi)小有名氣的AI初創(chuàng)公司，二是因為這家公司創(chuàng)始成員中“Oculus派系”達(dá)2/3，看起來就像是Oculus元老集體再創(chuàng)業(yè)。

不過，這一次，他們所瞄準(zhǔn)的不再是VR，而是基于AI驅(qū)動下的智能眼鏡平臺。

圖源：Sesame

Oculus原班人馬相聚于AI眼鏡賽道

Sesame成立于2023年，如果簡單描述，這是一家致力于開發(fā)個性化對話式AI以及配套的智能眼鏡硬件終端的廠商。

根據(jù)網(wǎng)絡(luò)信息，Sesame團(tuán)隊目前約有50人，企業(yè)曾在2023年10月獲得A16z所領(lǐng)投的4750萬美元A輪融資。

此外，今年3月，有消息傳出企業(yè)正在謀求2億美元的新一輪融資，紅杉資本以及Spark領(lǐng)投，投后估值將超過10億美元。只不過由于當(dāng)時具體交易尚未正式敲定，不排除后續(xù)有變化的可能。

圖源：網(wǎng)絡(luò)

• Sesame創(chuàng)始團(tuán)隊

從團(tuán)隊成員來看，Sesame無疑具有很高“Oculus含量”。企業(yè)共有三名聯(lián)合創(chuàng)始人：Brendan Iribe（CEO）、Ryan Brown（工程師）以及Ankit Kumar（CTO）。

先來簡單看一下Brendan Iribe的簡歷，他出生于1979年，職業(yè)起點是一名游戲程序員，后來創(chuàng)辦了游戲界面技術(shù)公司Scaleform，后被Autodesk收購。

Iribe于2012年擔(dān)任Oculus CEO一職，并領(lǐng)導(dǎo)了開發(fā)套件、Rift、Quest等產(chǎn)品的開發(fā)。他被很多人譽(yù)為Oculus商業(yè)化的最重要推手，因為他讓Oculus初代產(chǎn)品在Kickstarter平臺大獲成功并且成功主導(dǎo)了Facebook的收購案。

Iribe在2018年離開Facebook，有傳言稱他辭職的原因在于他傾向于PC VR，但這與Facebook當(dāng)時的VR一體機(jī)戰(zhàn)略不一致。

在創(chuàng)辦Sesame之前，他曾參與過一些投資以及汽車錦標(biāo)賽事，如他曾在2023年投資了AR初創(chuàng)公司Brilliant Labs。

Brendan Iribe，圖源：網(wǎng)絡(luò)

Ryan Brown與Oculus同樣具有很深的淵源，他曾在2013年加入Oculus并擔(dān)任硬件架構(gòu)師，在2019-2023年間，他調(diào)往Reality Labs并擔(dān)任工程總監(jiān)。

最后一個聯(lián)合創(chuàng)始人Ankit Kumar曾創(chuàng)辦了AR多人在線平臺Ubiquity6，并擔(dān)任CTO一職，該企業(yè)于2021年被Discord收購。

• Nate Mitchell加盟

這里再介紹一下剛?cè)肼毜腘ate Mitchell的簡歷：他同為Oculus的聯(lián)合創(chuàng)始人，也是在Oculus任職時間最長的聯(lián)合創(chuàng)始人之一，在公司擔(dān)任了多年VR產(chǎn)品副總裁一職。

2019年，Mitchell宣布離開Facebook，該事件被外界視為Oculus創(chuàng)始團(tuán)隊的終結(jié)。2020年，Mitchell創(chuàng)辦了游戲工作室Mountaintop Studios并擔(dān)任CEO一職。工作室曾發(fā)布了一款戰(zhàn)術(shù)設(shè)計游戲《Spectre Divide》不過反響平平。

今年6月，Mitchell更新了Linkedin簡歷并宣布加入Sesame，后續(xù)將擔(dān)任企業(yè)的首席產(chǎn)品官一職。他在社交平臺上寫到，其致力于“幫助讓計算機(jī)煥發(fā)生機(jī)，并將與與Brendan Iribe、Ryan Brown以及Oculus的眾多原班人馬重聚，再次攜手共創(chuàng)未來。”

也就是說，Oculus共計有6名聯(lián)合創(chuàng)始人，Sesame現(xiàn)如今就占據(jù)了兩席：Brendan Iribe、Nate Mitchell。再說個題外話，Oculus另外四名聯(lián)合創(chuàng)始人中，Palmer Luckey于2017年創(chuàng)辦了國防公司Anduril Industries；Michael Antonov于2022年創(chuàng)辦生物技術(shù)公司Deep Origin；Andrew Reisse于2013年因車禍不幸離世；Jack McCauley現(xiàn)如今擔(dān)任加州大學(xué)伯克利分校董事會董事一職。也就是說他們均已離開了VR賽道。

Nate Mitchell，圖源：網(wǎng)絡(luò)

軟件今年取得重要突破，旨在開發(fā)比肩真人的AI語音助手

從業(yè)務(wù)布局來看，Sesame是一家試圖以軟件切入再逐步打通智能眼鏡硬件的廠商。關(guān)于軟件，企業(yè)所瞄準(zhǔn)的是對標(biāo)真人的AI語音助手。

至于為何會從語音助手切入，Sesame官網(wǎng)給出過以下解釋：

聲音是我們?nèi)祟愖钣H密的媒介，它通過音調(diào)、音高、節(jié)奏和情感的無數(shù)變化，承載著層層含義。
如今的數(shù)字語音助手缺乏真正發(fā)揮作用的必要素質(zhì)。如果不能充分釋放語音的力量，它們就無法與我們有效地協(xié)作。一個只用平淡語氣說話的私人助理，在最初的新鮮感消退后，很難在我們的日常生活中找到一席之地。

Sesame的企業(yè)愿景是“讓計算機(jī)煥發(fā)生機(jī)”，而團(tuán)隊認(rèn)為聲音會是關(guān)鍵的鑰匙所在。在Sesame看來，未來的數(shù)字伴侶應(yīng)該具備解讀并回應(yīng)情感背景（情商）、自然的時間、停頓、打斷與強(qiáng)調(diào)（對話動態(tài)）、調(diào)整語氣和風(fēng)格以適應(yīng)情況（情境意識）以及保持一致的個性四大屬性。

今年2月，團(tuán)隊在語音助手方面取得了較大進(jìn)展，并對外開源了其對話語音模型（CSM）。普通用戶也可以基于其官網(wǎng)“https://app.sesame.com/”免費體驗企業(yè)所開發(fā)的Maya以及Miles兩大語音助手。

圖源：Sesame

Sesame的模型具有以下幾大特點：

一、可以聯(lián)系上下文，因而它可以記住用戶的名字、愛好等背景信息；

二、端到端與多模態(tài)。與傳統(tǒng)的LLM+語音轉(zhuǎn)文本方案不同，它的輸入輸出由同一神經(jīng)網(wǎng)絡(luò)處理，這樣的好處在于響應(yīng)速度更快，并且還能夠“理解”用戶交流過程中的一些語音語調(diào)等文本以外的情緒信息。

筆者近期也體驗了一番，總的來看，除了Sesame AI助手不支持中文，網(wǎng)絡(luò)不太穩(wěn)定等小問題外，與它對話其實充滿了不少驚喜，因為它的響應(yīng)很快，并且支持打斷，就跟與普通人聊天一般，有時候你甚至?xí)杏X它真的帶有自己的情緒在里面。

此前團(tuán)隊曾進(jìn)行過一次主觀指標(biāo)測試：80名受邀者分別對Sesame AI生成語音以及真人錄音進(jìn)行盲聽，結(jié)果在沒有背景信息的情況下誤認(rèn)為AI是真人的比例達(dá)到了52.9%；不過，當(dāng)實驗中進(jìn)一步提供語境信息，誤認(rèn)為AI是真人的比例會降至33.3%。

圖源：Sesame

三、Sesame對話模型號稱采用了雙Transformer架構(gòu)，主干模型用于理解文本和對話上下文，而解碼器是一個小模型，專注于音頻輸出。

值得一提的是，今年6月，Meta重金挖走了Sesame的機(jī)器學(xué)習(xí)主管Johan Schalkwyk，外界猜測這可能是為了改善Llama大模型的語音和個性化功能體驗。

圖源：Sesame

硬件聚焦于眼鏡形態(tài)，眼動追蹤或是標(biāo)配

關(guān)于硬件，Sesame團(tuán)隊并沒有公布過太多進(jìn)展，不過可以肯定的是這是一副智能眼鏡，官網(wǎng)表示它“設(shè)計為全天佩戴，為您提供高品質(zhì)音頻，并方便與您的同伴一起觀察世界?！贝送猓琒esame官網(wǎng)也在醒目的地方貼出了幾張智能眼鏡開發(fā)圖片。

圖源：Sesame

從專利來看，目前Google Patent可以搜出企業(yè)9條專利，這些專利核心聚焦于眼動追蹤、視覺檢索，此處略舉幾例：《使用眼動追蹤功能確定注視深度》、《基于眼瞼追蹤信息監(jiān)測心理運動表現(xiàn)》、《使用帶有共線光源組件的差分相機(jī)的跟蹤系統(tǒng)》......

其中一項名為《凝視輔助搜索查詢》（US20240419721A1）的專利提到，頭戴式設(shè)備會基于相機(jī)捕獲圖像，并基于眼動相機(jī)洞悉用戶所注視的區(qū)域?qū)D片進(jìn)行再加工，如用戶關(guān)注的是桌子上的花瓶，系統(tǒng)會將花瓶截取下來再進(jìn)行后續(xù)檢索等操作。

圖源：網(wǎng)絡(luò)

此外，該專利還展示了VR/AR兩款產(chǎn)品的簡單構(gòu)造信息，如對于一款眼鏡，里面將會集成屏幕、相機(jī)、眼動追蹤傳感器、位置傳感器、聲學(xué)傳感器等組件。

值得注意的是，Sesame已經(jīng)公開的專利大部分來自眼動技術(shù)團(tuán)隊Zinn Labs的轉(zhuǎn)讓，相關(guān)介紹指出，Zinn Labs一直致力于開發(fā)注視和注意力追蹤技術(shù)，以在極小尺寸上實現(xiàn)新型用戶界面。今年2月，Zinn Labs團(tuán)隊已經(jīng)整體并入Sesame。

圖源：網(wǎng)絡(luò)

伴隨著6月底Nate Mitchell的加入，企業(yè)也開始加大了招聘力度。目前Sesame官網(wǎng)共有14個崗位空缺，硬件相關(guān)崗位有6個，涵蓋硬件產(chǎn)品經(jīng)理、電氣工程師、嵌入式操作系統(tǒng)架構(gòu)師、機(jī)械工程師等，此舉應(yīng)該是為了加速硬件產(chǎn)品上市所做的準(zhǔn)備。

嵌入式系統(tǒng)工程師崗位需求，圖源：Sesame

如果橫向?qū)Ρ龋琒esame的愿景其實跟OpenAI比較類似，基于大模型出發(fā)并試圖構(gòu)建AI硬件。此外，兩家企業(yè)都想要打造科幻電影《Her》里面所呈現(xiàn)的AI智能終端：AI可以與用戶親切交流，并且洞察用戶需求。

為了開發(fā)硬件，OpenAI曾于今年5月斥資65億美元收購了前蘋果首席設(shè)計師Jony Ive的初創(chuàng)公司io，外界猜測OpenAI的新硬件可能是一個類似于iPod shuffle或者AI耳機(jī)之類的產(chǎn)品，它內(nèi)置SLM，沒有顯示功能，分析師郭明錤表示該產(chǎn)品有可能會在2027年量產(chǎn)。

再來看Sesame，企業(yè)已經(jīng)毫不掩飾表明這是一款智能眼鏡，眼動功能會是眼鏡的核心之一，暫未明確初代產(chǎn)品是否會搭配屏幕?？紤]到當(dāng)前AI眼鏡井噴的市場現(xiàn)狀，產(chǎn)品2026年發(fā)布會是一個可能性比較大的時間節(jié)點。

圖源：Sesame

結(jié)語

2012年，Oculus創(chuàng)立，其最初愿景是“讓每個人都能體驗到虛擬現(xiàn)實”。十年后，ChatGPT發(fā)布，市場上關(guān)注到了基于AI驅(qū)動的新的計算時代的廣闊前景。Sesame團(tuán)隊在這個背景下成立，愿景也有了很大的不同。

由于Sesame團(tuán)隊具有較強(qiáng)的VR、AR背景，加之團(tuán)隊與Oculus有著很深的淵源，外界不少人都期望它們能在智能眼鏡市場開創(chuàng)新的“Oculus時代”。得益于Sesame真實聲音驅(qū)動的理念，Sesame是否能作為一匹黑馬脫穎而出？這值得我們持續(xù)關(guān)注。