一款全新的開放 1,200 億參數(shù)混合式 MoE (mixture?of?experts) 模型，專為 NVIDIA Blackwell 進(jìn)行了優(yōu)化，可解決拖慢自主智能體工作流的長時(shí)推理和上下文爆炸的成本難題。

NVIDIA Nemotron 3 Super 于近日發(fā)布，其為一款 1,200 億參數(shù)開放模型，擁有 120 億個(gè)活躍參數(shù)，旨在大規(guī)模運(yùn)行復(fù)雜的代理式 AI 系統(tǒng)。

Nemotron 3 Super 樹立了新標(biāo)準(zhǔn)，在 Artificial Analysis 的效率和開放性排名中位居榜首，并在同等規(guī)模的模型中展現(xiàn)出領(lǐng)先的準(zhǔn)確性。

該模型還助力 NVIDIA AI-Q 研究智能體在 DeepResearch Bench 和 DeepResearch Bench II 排行榜上取得第一名。這些基準(zhǔn)測試旨在衡量 AI 系統(tǒng)在海量文檔中開展全面多步驟研究，并保持推理連貫性的能力。

• 混合架構(gòu)：Nemotron 3 Super 采用了混合 MoE 架構(gòu)，結(jié)合了三項(xiàng)主要?jiǎng)?chuàng)新，與之前的 Nemotron Super 模型相比，實(shí)現(xiàn)了高達(dá) 5 倍的吞吐量提升和高達(dá) 2 倍的準(zhǔn)確率提升。

1. 混合架構(gòu)：Mamba 層實(shí)現(xiàn) 4 倍顯存與計(jì)算效率提升，Transformer 層則提供高級推理能力。
2. 混合專家 (MoE)：在其 1,200 億參數(shù)中，推理時(shí)僅激活 120 億參數(shù)。
3. 潛在混合專家架構(gòu)：這是一種新的推理技術(shù)，它以單個(gè)專家的成本來激活四個(gè)專家，從而顯著提升 token 生成的準(zhǔn)確率。
4. 多 token 預(yù)測：能夠同時(shí)預(yù)測多個(gè)未來的詞語，從而使推理速度提高 3 倍。

• 開放權(quán)重、數(shù)據(jù)和方案：NVIDIA 將 Nemotron 3 Super 的權(quán)重完全開放，并配以寬松許可協(xié)議。開發(fā)者可在工作站、數(shù)據(jù)中心或云端來進(jìn)行部署和定制。

Nemotron 3 Super 基于前沿推理模型生成的合成數(shù)據(jù)訓(xùn)練而成。NVIDIA 將公布完整的訓(xùn)練方法，其中包括超過 10 萬億個(gè) token 的預(yù)訓(xùn)練和后訓(xùn)練數(shù)據(jù)集，15 個(gè)用于強(qiáng)化學(xué)習(xí)的訓(xùn)練環(huán)境以及評估方案。研究人員還可借助 NVIDIA NeMo 平臺對模型進(jìn)行微調(diào)或構(gòu)建專屬模型。

• 在代理式系統(tǒng)中的應(yīng)用：Nemotron 3 Super 旨在處理多智能體系統(tǒng)中的復(fù)雜子任務(wù)。

一個(gè)軟件開發(fā)智能體可以一次性將整個(gè)代碼庫加載到上下文中，從而實(shí)現(xiàn)端到端的代碼生成和調(diào)試，且無需進(jìn)行文檔分割。

在金融分析中，它能夠?qū)?shù)千頁的報(bào)告加載到顯存中，避免在長對話中重復(fù)推理，從而提高效率。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：全新 NVIDIA Nemotron 3 Super 將代理式 AI 吞吐量提升 5 倍 | NVIDIA 英偉達(dá)博客