前Meta工程師創(chuàng)業(yè)Memories AI：讓AI擁有視覺記憶

前Meta工程師創(chuàng)業(yè)，獲英偉達(dá)、高通力挺，打造AI的"眼睛"

當(dāng)ChatGPT能夠記住對(duì)話歷史，當(dāng)Siri可以識(shí)別你的聲音，AI正在獲得越來越多的"記憶"能力。但有一個(gè)領(lǐng)域仍是一片藍(lán)?！曈X記憶。前Meta工程師Shawn Shen創(chuàng)立的Memories.ai，正致力于填補(bǔ)這一空白，為可穿戴設(shè)備和機(jī)器人構(gòu)建視覺記憶基礎(chǔ)設(shè)施。

在周一的GTC大會(huì)上，Memories.ai宣布與英偉達(dá)達(dá)成戰(zhàn)略合作。通過這一合作，Memories.ai將使用英偉達(dá)的Cosmos-Reason 2推理視覺語(yǔ)言模型和Metropolis視頻搜索與摘要平臺(tái)，加速其視覺記憶技術(shù)的開發(fā)。

Shen和聯(lián)合創(chuàng)始人Ben Zhou的創(chuàng)業(yè)靈感源于他們?cè)贛eta開發(fā)Ray-Ban智能眼鏡的經(jīng)歷。"當(dāng)我們?yōu)镸eta做Ray-Ban眼鏡的AI系統(tǒng)時(shí)，我們開始思考：如果用戶無法回憶他們錄制的視頻數(shù)據(jù)，這項(xiàng)技術(shù)在實(shí)際生活中有什么用？"Shen回憶道。

經(jīng)過市場(chǎng)調(diào)研，他們發(fā)現(xiàn)雖然文本記憶的AI技術(shù)已經(jīng)相當(dāng)成熟，但視覺記憶領(lǐng)域幾乎還是一片空白。于是兩人決定從Meta離職，創(chuàng)立Memories.ai，專注于這一細(xì)分領(lǐng)域。

"AI在數(shù)字世界已經(jīng)做得很好了。但物理世界呢？可穿戴設(shè)備、機(jī)器人也需要記憶，"Shen表示，"最終，AI需要擁有視覺記憶。我們相信這個(gè)未來。"

Memories.ai的技術(shù)核心是其大型視覺記憶模型（LVMM）。與文本記憶不同，視覺記憶需要處理海量的非結(jié)構(gòu)化視頻數(shù)據(jù)，這對(duì)模型的嵌入、索引和檢索能力提出了極高要求。Shen將LVMM比作谷歌本月發(fā)布的Gemini Embedding 2的多模態(tài)版本。

為了訓(xùn)練模型，Memories.ai開發(fā)了專用硬件設(shè)備LUCI，由公司的"數(shù)據(jù)收集員"佩戴以錄制訓(xùn)練視頻。Shen強(qiáng)調(diào)，公司不會(huì)成為硬件廠商，LUCI只是因?yàn)樗麄儗?duì)市面上的視頻錄制設(shè)備不滿意而自行開發(fā)的工具。

Memories.ai的發(fā)展勢(shì)頭強(qiáng)勁。公司成立于2024年，迄今已完成兩輪融資，總計(jì)1600萬美元。投資方包括Susa Ventures、Seedcamp、Fusion Fund和Crane Venture Partners等知名機(jī)構(gòu)。

除了英偉達(dá)，Memories.ai還獲得了高通的青睞。公司已與高通簽署合作協(xié)議，LVMM將從今年晚些時(shí)候開始在高通處理器上運(yùn)行。

盡管目前主要與可穿戴設(shè)備廠商合作，但Shen認(rèn)為機(jī)器人市場(chǎng)才是真正的藍(lán)海。"就商業(yè)化而言，我們更專注于模型和基礎(chǔ)設(shè)施，因?yàn)樽罱K我們認(rèn)為可穿戴設(shè)備和機(jī)器人市場(chǎng)會(huì)來，但可能不是現(xiàn)在。"

隨著AI從數(shù)字世界走向物理世界，視覺記憶將成為智能設(shè)備的必備能力。Memories.ai正在為這個(gè)未來奠定基礎(chǔ)。