夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

英偉達(dá)在開源模型上玩的很激進(jìn)：

“最高效的開放模型家族”Nemotron 3，混合Mamba-Transformer MoE架構(gòu)、NVFP4低精度訓(xùn)練全用上。

而且開放得很徹底：

不僅開放模型權(quán)重，還要把超過(guò)10萬(wàn)億token的訓(xùn)練數(shù)據(jù)、預(yù)訓(xùn)練和后訓(xùn)練軟件、訓(xùn)練配方全部公開。

與其他開源模型相比性能有競(jìng)爭(zhēng)力，且速度快1.5-3.3倍。

把Mamba和Transformer混著用

Nemotron 3在架構(gòu)層面追求推理效率的最大化。

傳統(tǒng)Transformer的自注意力機(jī)制需要對(duì)不斷增長(zhǎng)的KV Cache做線性掃描，序列越長(zhǎng)，計(jì)算開銷越大。

英偉達(dá)的解決方案是大量使用Mamba-2層替代自注意力層——Mamba層在生成時(shí)只需要存儲(chǔ)固定大小的狀態(tài)，不受序列長(zhǎng)度影響。

以Nano型號(hào)為例，整個(gè)模型主要由交替堆疊的Mamba-2層和MoE層構(gòu)成，自注意力層只保留了少數(shù)幾個(gè)。

論文給出的層排布模式是：5個(gè)Mamba-2+MoE的重復(fù)單元，接3個(gè)同樣結(jié)構(gòu)的單元，再來(lái)1個(gè)包含注意力層的單元，最后是4個(gè)Mamba-2+MoE單元。

在8k輸入、16k輸出的典型推理場(chǎng)景下，Nemotron 3 Nano 30B-A3B的吞吐量是Qwen3-30B-A3B的3.3倍。序列越長(zhǎng)，優(yōu)勢(shì)越明顯。

與此同時(shí)，模型在長(zhǎng)上下文任務(wù)上的表現(xiàn)并沒(méi)有打折扣。

論文展示了一組RULER基準(zhǔn)測(cè)試的結(jié)果：在100萬(wàn)token輸入長(zhǎng)度下，Nemotron 3 Nano基座模型拿到了68.2分，而在同樣條件下訓(xùn)練的Nemotron 2 Nano 12B只有23.43分，出現(xiàn)了斷崖式下跌。MoE混合架構(gòu)在長(zhǎng)度外推上的魯棒性明顯更好。

LatentMoE：在潛空間里做專家路由

針對(duì)Super和Ultra這兩個(gè)更大的模型，英偉達(dá)提出了LatentMoE架構(gòu)，在潛在空間中進(jìn)行專家計(jì)算。

MoE層在實(shí)際部署時(shí)會(huì)遇到兩類瓶頸：

低延遲場(chǎng)景下，每次只處理幾十到幾百個(gè)token，此時(shí)從顯存讀取專家權(quán)重成為主要開銷。

高吞吐場(chǎng)景下，一次處理數(shù)千token，此時(shí)專家間的all-to-all通信成為瓶頸。兩種情況下，開銷都與隱藏維度d線性相關(guān)。

LatentMoE的做法是：先把token從原始隱藏維度d投影到一個(gè)更小的潛在維度?（通常是d的四分之一），在這個(gè)低維空間里完成專家路由和計(jì)算，最后再投影回原始維度。

這樣一來(lái)，每個(gè)專家的權(quán)重加載量和通信量都降低了d/?倍。省下來(lái)的計(jì)算預(yù)算被用于增加專家數(shù)量和每個(gè)token激活的專家數(shù)。

標(biāo)準(zhǔn)MoE用128個(gè)專家、激活6個(gè)；LatentMoE用512個(gè)專家、激活22個(gè)。

兩者的總參數(shù)量和激活參數(shù)量幾乎相同（都是8B激活、73B總參），但LatentMoE在所有下游任務(wù)上都取得了更好的成績(jī)——MMLU-Pro從48.30提升到52.87，代碼任務(wù)從51.95提升到55.14，數(shù)學(xué)任務(wù)從78.32提升到80.19。

需要注意的是，路由門控網(wǎng)絡(luò)、共享專家計(jì)算以及非專家層仍然保留在原始維度，因?yàn)檫@些部分對(duì)瓶頸的貢獻(xiàn)很小。

用NVFP4訓(xùn)練250億token

Super和Ultra還采用了NVFP4格式進(jìn)行訓(xùn)練，這是英偉達(dá)在低精度訓(xùn)練上的又一次探索。

NVFP4是一種4位浮點(diǎn)格式，采用E2M1的元素格式（2位指數(shù)、1位尾數(shù)），配合16元素的微塊縮放和E4M3格式的塊縮放因子。在GB300上，F(xiàn)P4的峰值吞吐量是FP8的3倍。

論文顯示，團(tuán)隊(duì)已經(jīng)用NVFP4格式穩(wěn)定訓(xùn)練了高達(dá)25萬(wàn)億token。與BF16訓(xùn)練相比，Nano模型的損失差距控制在1%以內(nèi)，8B激活參數(shù)的更大模型差距進(jìn)一步縮小到0.6%以內(nèi)。

在MMLU、GSM8K、HumanEval等下游任務(wù)上，NVFP4訓(xùn)練的模型與BF16版本的準(zhǔn)確率曲線幾乎完全重合。

不過(guò)并非所有層都適合量化到NVFP4。團(tuán)隊(duì)發(fā)現(xiàn)Mamba輸出投影層在量化后會(huì)出現(xiàn)高達(dá)40%的flush-to-zero現(xiàn)象，因此保留在MXFP8精度；QKV投影和注意力投影保留在BF16以維持少量注意力層的保真度；網(wǎng)絡(luò)最后15%的層也保持高精度以確保穩(wěn)定性。MTP層和潛在投影由于對(duì)推理時(shí)間影響很小，同樣保留在BF16。

多環(huán)境強(qiáng)化學(xué)習(xí)一把訓(xùn)到底

Nemotron 3的后訓(xùn)練采用了多環(huán)境強(qiáng)化學(xué)習(xí)，覆蓋數(shù)學(xué)推理、競(jìng)賽編程、指令遵循、軟件工程、搜索、對(duì)話、通用工具使用、長(zhǎng)上下文等多種任務(wù)。

與之前分階段訓(xùn)練不同能力的做法不同，這次英偉達(dá)選擇同時(shí)訓(xùn)練所有任務(wù)。

論文指出，這種同步訓(xùn)練方式更穩(wěn)定，更不容易出現(xiàn)reward hacking，也避免了分階段訓(xùn)練常見(jiàn)的能力退化問(wèn)題。

AIME25數(shù)學(xué)分?jǐn)?shù)從80提升到90，LiveCodeBench從65提升到72，τ2-Bench工具使用從40提升到50左右，全程呈穩(wěn)定上升趨勢(shì)。

高效的推理吞吐量在這里發(fā)揮了重要作用。

大規(guī)模RL需要生成海量rollout樣本，Nemotron 3的混合架構(gòu)相比其他開源模型有顯著優(yōu)勢(shì)。

團(tuán)隊(duì)還采用了異步RL架構(gòu)來(lái)解耦訓(xùn)練和推理，并利用多token預(yù)測(cè)加速rollout生成。訓(xùn)練算法方面使用GRPO配合masked importance sampling來(lái)處理訓(xùn)練策略和rollout策略之間的差異。

整個(gè)后訓(xùn)練軟件棧以Apache 2.0協(xié)議開源，包括NeMo-RL（可擴(kuò)展RL訓(xùn)練）和NeMo-Gym（RL環(huán)境集合）兩個(gè)倉(cāng)庫(kù)。

此外，Nemotron 3還支持推理時(shí)的思維預(yù)算控制。

用戶可以指定思維鏈的最大token數(shù)，當(dāng)模型達(dá)到預(yù)算時(shí)，追加一個(gè)標(biāo)記即可讓模型基于部分思維鏈生成最終回答。

論文給出了準(zhǔn)確率與平均生成token數(shù)之間的權(quán)衡曲線，這為實(shí)際部署中的效率-精度平衡提供了細(xì)粒度控制。

論文地址：
https://arxiv.org/abs/2512.20856