3月10日，谷歌DeepMind推出Gemini Embedding 2，這是該公司首個(gè)原生多模態(tài)嵌入模型，將文本、圖像、視頻、音頻及文檔統(tǒng)一映射至單一嵌入空間，標(biāo)志著AI嵌入技術(shù)邁入全模態(tài)融合的新階段。

Gemini Embedding 2支持超100種語(yǔ)言的語(yǔ)義理解，并在文本、圖像及視頻任務(wù)的基準(zhǔn)測(cè)試中超越現(xiàn)有主流模型，同時(shí)引入了此前嵌入模型所欠缺的語(yǔ)音處理能力。

該模型現(xiàn)已通過Gemini API及Vertex AI進(jìn)入公開預(yù)覽階段，開發(fā)者可即時(shí)接入。

對(duì)于企業(yè)用戶而言，該模型的發(fā)布直接降低了構(gòu)建多模態(tài)檢索增強(qiáng)生成（RAG）、語(yǔ)義搜索及數(shù)據(jù)分類系統(tǒng)的技術(shù)門檻，有望簡(jiǎn)化此前需跨模態(tài)分別處理的復(fù)雜數(shù)據(jù)管道。

全模態(tài)統(tǒng)一：從文本擴(kuò)展至五類媒體形式

Gemini Embedding 2基于Gemini架構(gòu)構(gòu)建，將嵌入能力從純文本擴(kuò)展至五類輸入形式：

• 文本支持最多8192個(gè)輸入token；
• 圖像每次請(qǐng)求最多處理6張，支持PNG及JPEG格式；
• 視頻支持最長(zhǎng)120秒的MP4和MOV文件；
• 音頻可直接攝入并生成嵌入向量，無需經(jīng)過中間文本轉(zhuǎn)錄步驟；
• 文檔則支持最多6頁(yè)的PDF文件直接嵌入。

區(qū)別于逐一處理單一模態(tài)的傳統(tǒng)方式，該模型支持交錯(cuò)輸入，即在單次請(qǐng)求中同時(shí)傳入圖像與文本等多種模態(tài)組合，使模型能夠捕捉不同媒體類型之間復(fù)雜而細(xì)微的語(yǔ)義關(guān)聯(lián)。

Gemini Embedding 2延續(xù)了谷歌此前嵌入模型中采用的Matryoshka表示學(xué)習(xí)（MRL）技術(shù)。該技術(shù)通過"嵌套"方式動(dòng)態(tài)壓縮向量維度，使輸出維度可從默認(rèn)的3072靈活縮減，幫助開發(fā)者在模型性能與存儲(chǔ)成本之間取得平衡。

基準(zhǔn)測(cè)試領(lǐng)先，語(yǔ)音能力為新亮點(diǎn)

谷歌表示，Gemini Embedding 2在文本、圖像及視頻任務(wù)的基準(zhǔn)測(cè)試中均優(yōu)于當(dāng)前主流競(jìng)品模型，并將其定位為多模態(tài)嵌入領(lǐng)域的新性能標(biāo)桿。

谷歌建議開發(fā)者根據(jù)應(yīng)用場(chǎng)景選擇3072、1536或768三檔維度，以獲得最優(yōu)質(zhì)的嵌入效果。這一設(shè)計(jì)對(duì)于需要大規(guī)模部署嵌入向量的企業(yè)尤為重要，可在不顯著犧牲精度的前提下有效控制基礎(chǔ)設(shè)施成本。

在能力覆蓋方面，該模型引入了此前同類模型普遍缺失的原生語(yǔ)音嵌入能力，無需借助語(yǔ)音轉(zhuǎn)文字的中間環(huán)節(jié)即可直接處理音頻數(shù)據(jù)。

谷歌指出，嵌入技術(shù)已廣泛應(yīng)用于其多款產(chǎn)品之中，覆蓋RAG場(chǎng)景下的上下文工程、大規(guī)模數(shù)據(jù)管理以及傳統(tǒng)搜索與分析場(chǎng)景。

目前已有部分早期訪問合作伙伴開始基于Gemini Embedding 2構(gòu)建多模態(tài)應(yīng)用，谷歌稱這些用例正在兌現(xiàn)該模型在高價(jià)值場(chǎng)景中的實(shí)際潛力。