新智元報道

編輯：定慧

【新智元導(dǎo)讀】參數(shù)越小，智商越高？Gemini 3 Flash用百萬級長上下文、白菜價成本，把自家大哥Pro按在地上摩擦。谷歌到底掏出了什么黑魔法，讓整個大模型圈開始懷疑人生？

Gemini 3 Flash發(fā)布已經(jīng)有段時間了，速度快3倍的同時智力反超Pro。

但是目前依然沒人能夠說明白：為啥Flash能比Pro還要「聰明」。

為何一個在參數(shù)規(guī)模上顯著縮減的模型，能夠在更大規(guī)模的模型擅長的領(lǐng)域?qū)崿F(xiàn)超越？

長期以來，業(yè)界奉行著「參數(shù)即正義」的信條，認(rèn)為更大的模型（更多的參數(shù)量）必然帶來更強(qiáng)的智能表現(xiàn)。

然而，Gemini 3 Flash的出現(xiàn)打破了這一線性邏輯，它不僅在成本和速度上保持了「Flash」系列的輕量級特征，更在多項關(guān)鍵基準(zhǔn)測試中，尤其是涉及復(fù)雜推理和超長上下文的任務(wù)上，擊敗了前一代甚至當(dāng)代的「Pro」級模型。

而且最近有人發(fā)現(xiàn)，在長下文測試中，Gemini 3 Flash更是遙遙領(lǐng)先！

在OpenAI的MRCR基準(zhǔn)測試中，Gemini 3 Flash在100萬上下文長度下達(dá)到了90%的準(zhǔn)確率！

這一表現(xiàn)在所有模型中均屬最先進(jìn)水平，大多數(shù)頂尖模型甚至無法突破256k的上下文長度。

那么谷歌到底用了什么黑魔法？

Gemini 3 Flash憑什么在百萬長文本與低成本間實現(xiàn)「降維打擊」？

知名AI研究員@bycloudai在深入評測后指出，谷歌可能在模型架構(gòu)研究上已處于「遙遙領(lǐng)先」的隱形地位。

這一表現(xiàn)打破了行業(yè)常規(guī)認(rèn)知：它既沒有像標(biāo)準(zhǔn)注意力機(jī)制那樣產(chǎn)生高昂算力成本，也沒有像常見的線性注意力或SSM混合模型那樣導(dǎo)致知識推理能力下降。

Gemini 3 Flash似乎掌握了某種未知的「高效注意力機(jī)制」，令外界對其背后的技術(shù)原理直呼「看不懂」但大受震撼。

再挖掘Gemini 3 Flash的黑魔法錢，有必要先介紹一下這個評測標(biāo)準(zhǔn)。

在2023年至2024年間，評估大語言模型長上下文能力的主流方法是「大海撈針」（Needle In A Haystack，NIAH）。

該測試將一個特定的事實（針）插入到長篇文檔（大海）的隨機(jī)位置，要求模型將其檢索出來。

然而，隨著模型上下文窗口擴(kuò)展至128k甚至1M token，NIAH測試迅速飽和。

Gemini 1.5 Pro、GPT-4 Turbo等早期模型在該測試中均能達(dá)到近乎100%的準(zhǔn)確率。

NIAH本質(zhì)上測試的是檢索能力，而非推理能力。

它要求模型找到信息，但不要求模型理解信息之間的復(fù)雜依賴關(guān)系。

這導(dǎo)致了一種錯覺：似乎所有模型都完美掌握了長上下文。

但在實際的企業(yè)級應(yīng)用（如法律文檔分析、代碼庫理解）中，用戶不僅需要模型找到「條款A(yù)」，還需要模型理解「條款A(yù)」與「條款B」在特定條件下的沖突，這種高階能力是NIAH無法覆蓋的。

正是在這種背景下，Context Arena應(yīng)運(yùn)而生。

這是一個由獨立研究者（如Dillon Uzar等人）維護(hù)的、專注于長上下文理解能力評估的基準(zhǔn)平臺。

Context Arena不僅僅是一個排行榜，它是一個針對大模型「注意力缺陷」的診斷工具看，衡量模型「智商」和長程記憶穩(wěn)定性的試煉場。

Context Arena最具殺傷力的武器是MRCR(Multi-Round Co-Reference Resolution)基準(zhǔn)測試。

OpenAI受到Gemini的啟發(fā)，也搞了一個OpenAI-MRCR，就是一開始上面所說的評測基準(zhǔn)。

這是一個設(shè)計精巧的壓力測試，旨在擊穿那些使用近似注意力機(jī)制（如線性注意力或稀疏注意力）的模型的防線。

測試機(jī)制是這樣的，MRCR會生成一段極長的、多輪次的合成對話或文本。

在這些文本中，系統(tǒng)會植入多個高度相似的「針」（Needles）。

例如，文本中可能包含8首關(guān)于「貘」（tapir）的詩，每首詩的風(fēng)格略有不同但主題一致。

挑戰(zhàn)點在于系統(tǒng)會向模型提出極其刁鉆的指令，如：「請復(fù)述關(guān)于貘的第二首詩」或「找出第四次提到貘時的具體描述」。

在Context Arena的MRCR榜單上，Gemini 3 Flash展現(xiàn)出了驚人的統(tǒng)治力。

這直接證明了Gemini 3 Flash并未為了速度而犧牲核心的「注意力精度」。

猜猜谷歌用了什么技術(shù)

我們來對比一下常見的注意力機(jī)制。

標(biāo)準(zhǔn)注意力是指數(shù)級的，所以誕生了一種新技術(shù)叫做線性注意力。

另外一種還有稀疏注意力。

稀疏注意力保留了標(biāo)準(zhǔn)注意力的高精度，但通過只計算「重要」的部分來降低計算量。

比如，DeepSeek的DSA(DeepSeek SparseAttention)。

DeepSeek認(rèn)為，對于任何一個查詢，絕大多數(shù)歷史信息都是無關(guān)的。因此，沒必要計算全量的注意力。

DSA使用一種啟發(fā)式算法（如Lightning Indexer），快速篩選出最相關(guān)的Top-K個 token或塊（Block），只對這些部分進(jìn)行精細(xì)計算。

此外還有一些混合架構(gòu)，比如Gemini的策略。

雖然谷歌未公開細(xì)節(jié)，但業(yè)界推測Gemini 3 Flash也是一種高度復(fù)雜的混合架構(gòu)，可能在底層使用Infini-attention處理超長歷史，在頂層使用標(biāo)準(zhǔn)注意力進(jìn)行邏輯推理，并結(jié)合MoE（混合專家模型）來進(jìn)一步降低計算成本。

總結(jié)來說，谷歌之所以能讓Gemini 3 Flash實現(xiàn)「輕量級打Pro」，并非依賴單一的黑科技，而是基于TPU硬件、算法架構(gòu)、訓(xùn)練數(shù)據(jù)三位一體的深度優(yōu)化：

• 數(shù)據(jù)層面（Data）：利用Gemini 3 Pro進(jìn)行大規(guī)模的思維鏈蒸餾，將高階推理能力「壓縮」進(jìn)Flash模型，使其具備了超越參數(shù)規(guī)模的「智商」。

• 計算層面（Compute）：引入Thinking（思考）機(jī)制，允許模型在推理時動態(tài)分配計算資源。對于難題，F(xiàn)lash模型會像人一樣「停下來想一想」，這種時間維度上的算力投入彌補(bǔ)了空間維度（參數(shù)量）的不足。

• 記憶層面（Memory）：部署Infini-attention和Titans風(fēng)格的記憶模塊，將指數(shù)級的注意力成本降維，實現(xiàn)了在1M+上下文中依然保持高精度的檢索能力，徹底解決了長上下文帶來的問題。

Gemini 3 Flash的核心戰(zhàn)略意義

「Flash」一詞在谷歌的產(chǎn)品線中歷史悠久，從Gemini 1.5 Flash開始，它就被定位為高吞吐量、低延遲的工具，主要用于簡單任務(wù)的快速處理。

這種定位在用戶心中植入了一個根深蒂固的假設(shè)：Flash模型是Pro模型的蒸餾版本。

在傳統(tǒng)的模型壓縮理論中，蒸餾意味著學(xué)生模型只能逼近但永遠(yuǎn)無法超越教師模型的表現(xiàn)。

因此，當(dāng)Gemini 3 Flash發(fā)布時，絕大多數(shù)分析師和開發(fā)者將其視為一個更便宜的API端點，而非一個推理引擎的革新。

然而，上面的數(shù)據(jù)告訴我們，Gemini 3 Flash正在講述一個完全不同的故事。

這種「輕量級反而更強(qiáng)」的現(xiàn)象，不能簡單地用更精細(xì)的數(shù)據(jù)清洗或更長的訓(xùn)練時間來解釋。

它暗示了底層架構(gòu)的根本性變化——一種不再單純依賴參數(shù)規(guī)模堆疊，而是依賴于更高效的信息路由與記憶機(jī)制的新型架構(gòu)。

Gemini 3 Flash的核心戰(zhàn)略意義在于它打破了AI經(jīng)濟(jì)學(xué)中的線性增長法則。

在過去，要獲得10%的智能提升，通常需要10倍的算力投入。

但Gemini 3 Flash以$0.50/1M輸入 token的極低價格，提供了GPQA Diamond基準(zhǔn)測試中90.4%的博士級推理能力。

這意味著谷歌不僅僅是在打價格戰(zhàn)，而是在進(jìn)行一場架構(gòu)層面的降維打擊。

當(dāng)一個模型的推理成本低到可以忽略不計，且其長上下文召回能力達(dá)到完美（>99%）時，它就不再僅僅是一個聊天機(jī)器人，而是一個可以吞噬整個企業(yè)知識庫、實時重構(gòu)代碼庫、并自主進(jìn)行多輪迭代的「智能代理」（Agent）。

是的，如果一個模型足夠的輕量、又能夠記住足夠的東西、關(guān)鍵是又很便宜，那其他「智能體」還怎么生存？

這種能力的解鎖，使得Gemini 3 Flash成為了當(dāng)前AI智能體爆發(fā)的關(guān)鍵推手。

在Pokémon游戲通關(guān)測試和SWE-bench代碼修復(fù)任務(wù)中，F(xiàn)lash模型的表現(xiàn)之所以能超越Pro模型，正是因為其低延遲和低成本允許代理在單位時間內(nèi)進(jìn)行更多的「思考-行動-反思」循環(huán)。

這種通過高頻迭代來彌補(bǔ)單次推理深度不足（甚至在很多時候單次推理并不弱）的策略，正是當(dāng)前AI進(jìn)化的主要趨勢。

谷歌的終極武器：Titans架構(gòu)與神經(jīng)長時記憶

結(jié)合Gemini 3 Flash在Context Arena的MRCR基準(zhǔn)測試中100萬上下文90%準(zhǔn)確率的驚人表現(xiàn)，以及其低廉的推理成本，最合理的推測是：

Gemini 3 Flash大規(guī)模應(yīng)用了谷歌DeepMind最新的「Titans」架構(gòu)或其變體。

根據(jù)谷歌發(fā)表的Titans論文，這是一種結(jié)合了Transformer和神經(jīng)記憶的新型架構(gòu)。

這些框架讓AI模型能夠更快地工作，并通過更新核心內(nèi)存在運(yùn)行時處理大規(guī)模上下文。

Titans包含三個部分：

• 核心（Core，短期記憶，通常是滑動窗口注意力）

• 長期記憶（Long-term Memory）

• 持久記憶（PersistentMemory）。

與傳統(tǒng)的RNN（存儲固定狀態(tài)向量）不同，Titans的長期記憶是一個深度神經(jīng)網(wǎng)絡(luò)（MLP）。

當(dāng)模型處理輸入時，它不僅僅是把信息存入緩存，而是通過梯度下降實時更新這個MLP的權(quán)重。

模型在推理階段（TestTime）實際上是在「學(xué)習(xí)」當(dāng)前的上下文。

它利用一個「驚奇度」（Surprise Metric）指標(biāo)來衡量新信息的重要性。

如果一段信息（比如用戶指定的隨機(jī)哈希碼）出乎模型的預(yù)料（High Surprise），模型就會通過梯度更新將其刻入長期記憶網(wǎng)絡(luò)中。

為什么Titans完美解釋了Gemini 3 Flash的表現(xiàn)？

1. 無限上下文與線性復(fù)雜度：

   Titans的MAC（Memory as Context）變體允許將歷史信息壓縮進(jìn)神經(jīng)網(wǎng)絡(luò)權(quán)重，而非無限增長的KVCache。這解釋了為什么Flash能以極低的內(nèi)存占用處理百萬級 token，且速度極快（線性推理）。

2. MRCR的高分：

   在MRCR測試中，模型需要記住非常具體的細(xì)節(jié)（Needles）。在Titans架構(gòu)下，這些獨特的、重復(fù)出現(xiàn)的「Needles」會產(chǎn)生高驚奇度信號，從而被優(yōu)先「學(xué)習(xí)」進(jìn)記憶模塊，而大量的干擾文本則會被遺忘門過濾。這比基于相似度檢索的傳統(tǒng)注意力機(jī)制更能抵抗噪聲。

3. 自適應(yīng)能力：

   用戶反饋稱Gemini 3 Flash似乎能「學(xué)會」用戶的糾正。這正是Titans「測試時學(xué)習(xí)」特性的體現(xiàn)——模型在對話過程中動態(tài)調(diào)整了參數(shù)。

在這兩篇新論文《Titans》和《MIRAS》中，谷歌提出了一種架構(gòu)和理論藍(lán)圖，結(jié)合了RNN的速度與變換器精度。

Titans是具體的架構(gòu)（工具），MIRAS是理論框架（藍(lán)圖），用于推廣這些方法。

它們共同推動了測試時間記憶的概念，即AI模型通過在模型運(yùn)行時加入更強(qiáng)大的「驚喜」指標(biāo)（即意外信息片段）來維持長期記憶的能力，無需專門的離線再訓(xùn)練。

一個有效的學(xué)習(xí)系統(tǒng)需要不同但相互關(guān)聯(lián)的記憶模塊，這反映了人腦對短期記憶和長期記憶的分離。

雖然注意力機(jī)制在精確短期記憶方面表現(xiàn)出色，Titans引入了一種新型神經(jīng)長期記憶模塊，它不同于傳統(tǒng)RNN中的固定大小向量或矩陣記憶，它充當(dāng)深度神經(jīng)網(wǎng)絡(luò)。

該內(nèi)存模塊提供了顯著更高的表達(dá)能力，使模型能夠在不丟失重要上下文的情況下總結(jié)大量信息。模型不僅僅是做筆記，而是理解并綜合整個故事。

關(guān)鍵是，泰坦不僅僅是被動存儲數(shù)據(jù)。

它主動學(xué)習(xí)如何識別并保留連接整個輸入中Token的重要關(guān)系和概念主題。這項能力的一個關(guān)鍵方面是我們所說的「驚喜指標(biāo)」。

在人類心理學(xué)中，我們知道我們會很快且容易地忘記例行公事、預(yù)期中的事件，但會記住打破常規(guī)的事情——意外、驚喜或情緒激動的事件。

在《泰坦》的語境中，「驚訝指標(biāo)」指的是模型檢測到當(dāng)前記憶與新輸入信息之間的巨大差異。

• 低驚訝：如果新詞是「cat」，且模型的記憶狀態(tài)已經(jīng)預(yù)期動物詞，則梯度（驚訝）較低。它可以安全地跳過長期永久狀態(tài)下的「貓」這個詞。

• 高驚喜：如果模型的記憶狀態(tài)正在總結(jié)一份嚴(yán)肅的財務(wù)報告，而新輸入是一張香蕉皮的圖片（意外事件），那么梯度（驚喜）會非常高。這表明新輸入重要或異常，必須優(yōu)先存儲在長期記憶模塊中。

該模型將這個內(nèi)部誤差信號（梯度）當(dāng)作數(shù)學(xué)上的等價物，比如說：「這是意外且重要！」這使得泰坦架構(gòu)能夠選擇性地更新其長期記憶，只包含最新穎且破壞上下文的信息，從而保持整體流程的快速和高效。

泰坦通過整合兩個關(guān)鍵要素來完善這一機(jī)制：

1. 動量：模型同時考慮「瞬間驚訝」（當(dāng)前輸入）和「過去驚訝」（近期上下文流）。這確保了后續(xù)相關(guān)信息也能被捕獲，即使這些Token本身并不令人意外。

2. 遺忘（權(quán)重衰減）：為了在處理極長序列時管理記憶有限容量，泰坦采用自適應(yīng)權(quán)重衰減機(jī)制。這起到遺忘門的作用，允許模型丟棄不再需要的信息。

MIRAS：序列建模的統(tǒng)一視角

序列建模的每一項重大突破，從現(xiàn)代變換器到新的閃電高速線性RNN，本質(zhì)上都是同一件事：一個高度復(fù)雜的聯(lián)想記憶模塊。

因此，MIRAS獨特且實用的，在于它對AI建模的看法。它不再看到多樣化的架構(gòu)，而是看到解決同一問題的不同方法：高效地將新信息與舊記憶結(jié)合，同時不遺忘核心概念。

MIRAS通過四個關(guān)鍵設(shè)計選擇定義了序列模型：

• 內(nèi)存架構(gòu)：存儲信息的結(jié)構(gòu)（例如，矢量、矩陣或深度多層感知器，如泰坦中的結(jié)構(gòu)）。

• 注意力偏見：模型優(yōu)化的內(nèi)部學(xué)習(xí)目標(biāo)，決定了其優(yōu)先考慮的內(nèi)容。

• 保留門：內(nèi)存規(guī)范器。MIRAS將「遺忘機(jī)制」重新解釋為一種特定的正則化形式，平衡新學(xué)習(xí)與保留過去知識。

• 內(nèi)存算法：用于更新內(nèi)存的優(yōu)化算法。

這些新架構(gòu)最顯著的優(yōu)勢是能夠處理極長的上下文。

這一點在BABILong基準(zhǔn)測試中得到了體現(xiàn)，該任務(wù)需要在極長的文檔中對事實進(jìn)行推理。

在這一充滿挑戰(zhàn)的環(huán)境中，Titans的表現(xiàn)優(yōu)于所有基線，包括像GPT-4這樣極其龐大的模型，盡管參數(shù)遠(yuǎn)少于GPT-4。

Titans進(jìn)一步展示了能夠有效擴(kuò)展到超過200萬個令牌的上下文窗口。

Titans和MIRAS框架的引入標(biāo)志著序列建模的重大進(jìn)展。

通過將深度神經(jīng)網(wǎng)絡(luò)作為記憶模塊，在數(shù)據(jù)流入時學(xué)習(xí)記憶，這些方法克服了固定大小的循環(huán)狀態(tài)的局限。

此外，MIRAS提供了強(qiáng)大的理論統(tǒng)一，揭示了在線優(yōu)化、聯(lián)想記憶與架構(gòu)設(shè)計之間的聯(lián)系。

這項研究為新一代序列模型打開了大門，這些模型結(jié)合了RNN的高效與長上下文人工智能時代所需的表達(dá)能力。

彩蛋

分別向Gemini和GPT詢問了Gemini 3 Pro和Flash的參數(shù)大小。

Gemini 3 Flash的回答：

基于截至2025年12月的最新行業(yè)信息和技術(shù)分析，官方并未公開Gemini 3 Pro和Gemini 3 Flash的確切模型參數(shù)大小。這是谷歌自 Gemini 1.0以來的一貫策略，主要為了保護(hù)架構(gòu)機(jī)密。

不過，根據(jù)技術(shù)白皮書的推斷、行業(yè)泄露信息以及對其性能（Token 生成速度和顯存占用）的逆向分析，目前的主流估算（數(shù)量級）如下

GPT 5.2的回答：

總之，Pro和Flash這兩模型的參數(shù)數(shù)量級差了將近5～10倍（估算）。因此，F(xiàn)lash的使用體驗遠(yuǎn)超預(yù)期，才會引起社區(qū)廣泛的討論。

參考資料：

https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/

https://x.com/bycloudai/status/2002347892535930934

秒追ASI

?點贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點亮星標(biāo)，鎖定新智元極速推送！