編輯｜冷貓、澤南

本周四晚，谷歌開源了當(dāng)前開源世界最強的模型家族 Gemma 4 系列。

基于和 Gemini 3 相同的研究成果，新模型在 Arena AI 排行榜上拿到了全球第三的位置，而且超越了參數(shù)量比它大 20 倍的模型。更重要的是，這一代 Gemma 使用 Apache 2.0 開源許可證，可實現(xiàn)完全的商用自由。

Gemma 4 是 Google DeepMind 構(gòu)建的最新開放模型系列，它們是多模態(tài)模型，用于處理文本和圖片輸入（小型模型支持音頻輸入）以及生成文本輸出。此版本包含預(yù)訓(xùn)練和指令調(diào)優(yōu)的開放權(quán)重模型。Gemma 4 的上下文窗口最多可容納 25.6 萬 token，并支持 140 多種語言。

谷歌表示，Gemma 4 同時采用密集型架構(gòu)和混合專家 (MoE) 架構(gòu)，非常適合文本生成、編碼和推理等任務(wù)。這些模型有四種不同的規(guī)模：E2B、E4B、26B A4B 和 31B。這些模型的大小各異，因此可部署在從高端手機到筆記本電腦和服務(wù)器的各種環(huán)境中，從而讓更多人能夠使用最先進(jìn)的 AI。

其中，體量最大的 31B 版本使用一塊 80GB H100 就能實現(xiàn)完整精度推理，可見其能力水平已經(jīng)與 Qwen 3.5 397B 相當(dāng)了。

體量最小的 E4B 和 E2B 專為手機、平板等端側(cè)設(shè)備本地推理設(shè)計，谷歌也與高通、聯(lián)發(fā)科進(jìn)行了聯(lián)合優(yōu)化。

總的來說，Gemma 4 引入的功能和架構(gòu)改進(jìn)包括：

• 推理 - 該系列中的所有模型都設(shè)計為高能力推理器，具有可配置的思考模式。
• 擴(kuò)展的多模態(tài)功能 - 處理文本、支持可變寬高比和分辨率的圖片（所有型號）、視頻和音頻（在 E2B 和 E4B 型號上原生支持）。
• 多樣化且高效的架構(gòu) - 提供不同大小的密集型和混合專家 (MoE) 變體，以實現(xiàn)可伸縮的部署。
• 針對設(shè)備端進(jìn)行了優(yōu)化 - 較小的模型專為在筆記本電腦和移動設(shè)備上高效本地執(zhí)行而設(shè)計。
• 更大的上下文窗口 - 小型模型的上下文窗口為 12.8 萬個 token，中型模型的上下文窗口為 25.6 萬個 token。
• 增強的編碼和智能體功能 - 在編碼基準(zhǔn)方面取得了顯著改進(jìn)，同時支持原生函數(shù)調(diào)用，可打造功能強大的自主代理。
• 原生系統(tǒng)提示支持 - Gemma 4 引入了對 system 角色的原生支持，從而實現(xiàn)更結(jié)構(gòu)化和可控的對話。

模型概覽

Gemma 4 模型旨在在各種規(guī)模下提供前沿性能，目標(biāo)部署場景涵蓋移動設(shè)備和邊緣設(shè)備 (E2B、E4B) 到消費類 GPU 和工作站 (26B A4B、31B)。它們非常適合推理、智能體工作流、編碼和多模態(tài)理解。

這些模型采用混合注意力機制，將局部滑動窗口注意力和全局注意力交織在一起，確保最后一層始終是全局的。這種混合設(shè)計可提供輕量級模型的處理速度和低內(nèi)存占用空間，同時不會犧牲復(fù)雜長上下文任務(wù)所需的深度感知能力。為了優(yōu)化長上下文的內(nèi)存，全局層采用統(tǒng)一的鍵和值，并應(yīng)用比例 RoPE (p-RoPE)。

E2B 和 E4B 中的「E」表示「有效」形參。較小的模型采用 Per-Layer Embeddings (PLE)，以最大限度提高設(shè)備端部署中的參數(shù)效率。PLE 不會向模型添加更多層或參數(shù)，而是為每個詞法單元的每個解碼器層提供自己的小型嵌入。這些嵌入表很大，但僅用于快速查找，因此激活參數(shù)的數(shù)量遠(yuǎn)小于總數(shù)。

26B A4B 中的「A」表示「有效參數(shù)」，與模型包含的參數(shù)總數(shù)相對。通過在推理期間僅激活 40 億個參數(shù)子集，混合專家模型運行速度比其 260 億個總參數(shù)所暗示的速度快得多。與密集型 310 億參數(shù)模型相比，該模型幾乎與 40 億參數(shù)模型一樣快，因此是快速推理的絕佳選擇。

谷歌展示了一些 Gemma 4 的模型能力，比如測試它檢測和指向 GUI 元素的能力：「圖像中查看配方元素的邊界框是什么？」

檢測日常物體：

如果要求 Gemma 4 編寫 HTML 代碼來重建用 Gemini 3 創(chuàng)建的頁面，Gemini 生成的網(wǎng)站是這樣的：

Gemma 4 重建的頁面：

參數(shù)大小和量化

Gemma 4 模型提供 4 種參數(shù)大小：E2B、E4B、31B 和 26B A4B。 這些模型可以采用默認(rèn)精度（16 位），也可以通過量化采用較低的精度。不同的尺寸和精度代表著 AI 應(yīng)用的一系列權(quán)衡。參數(shù)和位數(shù)（精度）較高的模型通常功能更強大，但在處理周期、內(nèi)存成本和功耗方面運行成本更高。參數(shù)和位數(shù)（精度）較低的模型功能較少，但可能足以滿足您的 AI 任務(wù)的需求。

Gemma 4 推理內(nèi)存要求

下表詳細(xì)列出了使用各種大小的 Gemma 4 模型版本運行推理所需的大致 GPU 或 TPU 內(nèi)存。

表 1. 加載 Gemma 4 模型所需的大致 GPU 或 TPU 內(nèi)存，具體取決于參數(shù)數(shù)量和量化級別。

內(nèi)存規(guī)劃的行動要點

• 高效架構(gòu)（E2B 和 E4B）： 「E」代表「有效」參數(shù)。較小的模型采用每層嵌入 (PLE) 技術(shù)，以最大限度地提高設(shè)備端部署中的參數(shù)效率。PLE 不會向模型添加更多層，而是為每個詞法單元的每個解碼器層提供自己的小型嵌入。這些嵌入表很大，但僅用于快速查找，因此加載靜態(tài)權(quán)重所需的總內(nèi)存高于有效參數(shù)數(shù)量所暗示的內(nèi)存。
• MoE 架構(gòu)（26B A4B）： 26B 是混合專家模型。雖然在生成期間每個詞法單元僅激活 40 億個參數(shù)，但所有 260 億個參數(shù) 都必須加載到內(nèi)存中，以保持快速路由和推理速度。因此，其基準(zhǔn)內(nèi)存要求比 4B 模型更接近于密集型 26B 模型。
• 僅基準(zhǔn)權(quán)重： 上表中的估算值 僅 考慮了加載靜態(tài)模型權(quán)重所需的內(nèi)存。它們不包括支持軟件或上下文窗口所需的額外 VRAM。
• 上下文窗口（KV 緩存）： 內(nèi)存消耗將根據(jù)提示和生成的響應(yīng)中的詞法單元總數(shù)動態(tài)增加。除了基準(zhǔn)模型權(quán)重之外，更大的上下文窗口還需要顯著更多的 VRAM。
• 微調(diào)開銷： 微調(diào) Gemma 模型的內(nèi)存要求遠(yuǎn)高于標(biāo)準(zhǔn)推理。您的確切占用空間將很大程度上取決于開發(fā)框架、批次大小，以及您是使用全精度調(diào)優(yōu)還是使用參數(shù)高效微調(diào) (PEFT) 方法（例如低秩適應(yīng) (LoRA)）。

基準(zhǔn)測試結(jié)果

我們針對大量不同的數(shù)據(jù)集和指標(biāo)對這些模型進(jìn)行了評估，以涵蓋文本生成的各個方面。表格中標(biāo)記的評估結(jié)果適用于指令調(diào)優(yōu)模型。

核心功能

Gemma 4 模型可處理文本、視覺和音頻方面的各種任務(wù)。主要功能包括：

• 思考 - 內(nèi)置推理模式，可讓模型在回答之前進(jìn)行分步思考。
• 長上下文 - 上下文窗口最多可容納 12.8 萬個 token (E2B/E4B) 和 25.6 萬個 token (26B A4B/31B)。
• 圖片理解 - 對象檢測、文檔 / PDF 解析、屏幕和界面理解、圖表理解、OCR（包括多語言）、手寫識別和視覺定位?？梢蕴幚砭哂胁煌瑢捀弑群头直媛实膱D片。
• 視頻理解 - 通過處理幀序列來分析視頻。
• 交織的多模態(tài)輸入 - 在單個提示中，可以按任意順序自由混合文本和圖片。
• 函數(shù)調(diào)用 - 原生支持結(jié)構(gòu)化工具使用，可實現(xiàn)智能體工作流。
• 編碼 - 代碼生成、補全和更正。
• 多語言 - 開箱即用，支持 35 種以上的語言，預(yù)訓(xùn)練了 140 種以上的語言。
• 音頻（僅限 E2B 和 E4B）- 自動語音識別 (ASR) 和語音轉(zhuǎn)譯文翻譯（支持多種語言）。

訓(xùn)練數(shù)據(jù)集

谷歌使用的預(yù)訓(xùn)練數(shù)據(jù)集是一個大規(guī)模、多樣化的數(shù)據(jù)集合，涵蓋廣泛的領(lǐng)域和模態(tài)，包括網(wǎng)頁文檔、代碼、圖片、音頻，截止日期為 2025 年 1 月。以下是關(guān)鍵組成部分：

• 網(wǎng)頁文檔：各種各樣的網(wǎng)頁文本可確保模型接觸到廣泛的語言風(fēng)格、主題和詞匯。訓(xùn)練數(shù)據(jù)集包含 140 多種語言的內(nèi)容。
• 代碼：讓模型接觸代碼有助于其學(xué)習(xí)編程語言的語法和模式，從而提高其生成代碼和理解代碼相關(guān)問題的能力。
• 數(shù)學(xué)：通過數(shù)學(xué)文本訓(xùn)練，模型可以學(xué)習(xí)邏輯推理、符號表示，并能夠回答數(shù)學(xué)問題。
• 圖片：各種各樣的圖片可讓模型執(zhí)行圖片分析和視覺數(shù)據(jù)提取任務(wù)。

這些多樣化數(shù)據(jù)源的組合對于訓(xùn)練強大的模型至關(guān)重要，該模型能夠處理各種不同的任務(wù)和數(shù)據(jù)格式。

數(shù)據(jù)預(yù)處理

以下是應(yīng)用于訓(xùn)練數(shù)據(jù)的主要數(shù)據(jù)清理和過濾方法：

• CSAM 過濾：在數(shù)據(jù)準(zhǔn)備流程的多個階段應(yīng)用了嚴(yán)格的 CSAM（兒童性虐待內(nèi)容）過濾，以確保排除有害和非法內(nèi)容。
• 敏感數(shù)據(jù)過濾：為了確保 Gemma 預(yù)訓(xùn)練模型的安全性和可靠性，谷歌使用了自動化技術(shù)來過濾掉訓(xùn)練集中的某些個人信息和其他敏感數(shù)據(jù)。
• 其他方法：根據(jù)內(nèi)容質(zhì)量和安全性進(jìn)行過濾。

參考內(nèi)容：

https://deepmind.google/models/gemma/gemma-4/

https://x.com/Google/status/2039736220834480233

https://huggingface.co/blog/gemma4