北京
全新 Mistral 3 系列涵蓋從前沿級到緊湊型模型，針對 NVIDIA 平臺進行了優(yōu)化，助力 Mistral AI 實現(xiàn)云到邊緣分布式智能愿景。
Mistral AI 近日發(fā)布了開源多語言、多模態(tài)模型 Mistral 3 系列，并且針對 NVIDIA 超級計算和邊緣平臺進行了優(yōu)化。
- Mistral Large 3 是專家混合 (MoE) 模型，無需為每個 token 激活全部神經(jīng)元，可以僅調(diào)用模型中影響最大的部分，既可在無浪費的前提下實現(xiàn)高效擴展，又可確保準確性不受損，使企業(yè)級 AI 不僅成為可能，而且更具實用性。
憑借 41B 活躍參數(shù)、675B 總參數(shù)及 256K 上下文窗口，Mistral Large 3 實現(xiàn)了可擴展、高效且具有自適應(yīng)性的企業(yè)級 AI 工作負載。通過整合 NVIDIA Grace Blackwell 機架級擴展系統(tǒng)與 Mistral AI 的 MoE 架構(gòu)，企業(yè)可借助先進的并行計算與硬件優(yōu)化技術(shù)，高效部署并擴展大型 AI 模型。
該模型采用精細化 MoE 架構(gòu)，通過調(diào)用 NVIDIA NVLink 的協(xié)同內(nèi)存域及寬專家并行的優(yōu)化技術(shù)，充分發(fā)揮大規(guī)模專家并行的性能優(yōu)勢。這些優(yōu)勢與保持準確性的低精度 NVFP4 及 NVIDIA Dynamo 分離推理優(yōu)化技術(shù)相疊加，確保大規(guī)模訓(xùn)練與推理達到極佳性能。
- Mistral AI 不僅推動了前沿大語言模型技術(shù)的發(fā)展，還發(fā)布了九款小語言模型，助力開發(fā)者在任意環(huán)境中運行 AI。為了實現(xiàn)云端到邊緣的高效運算，NVIDIA 針對 Mistral 3 系列模型優(yōu)化了包括 NVIDIA TensorRT LLM、SGLang 和 vLLM 在內(nèi)的推理框架。
以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：NVIDIA 攜手 Mistral AI 共同加速開放模型新系列的落地 | NVIDIA 英偉達博客
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
