機(jī)器之心發(fā)布

今天上午，AI 圈心心念念的國(guó)產(chǎn)大模型之光 —— DeepSeek-V4 終于上線了！

第一時(shí)間，寒武紀(jì)基于 vLLM 推理框架完成了對(duì)此次 285B DeepSeek-V4-flash 和 1.6T DeepSeek-V4-pro 兩個(gè)版本的 Day 0 適配，適配代碼已開(kāi)源到 GitHub 社區(qū)

連同去年 DeepSeek-V3.2 的發(fā)布，寒武紀(jì)連續(xù)兩次都是第一時(shí)間發(fā)布適配的國(guó)產(chǎn)芯片。雙方的緊密合作，得益于寒武紀(jì)長(zhǎng)期積累的自研 NeuWare 軟件生態(tài)與芯片設(shè)計(jì)技術(shù)，也是寒武紀(jì)對(duì)芯片與算法聯(lián)合創(chuàng)新持續(xù)投入的延續(xù)。DeepSeek-V4 原生運(yùn)行在寒武紀(jì)芯片上，這對(duì)中國(guó)人工智能產(chǎn)業(yè)具有里程碑意義。此前寒武紀(jì)對(duì) DeepSeek 系列模型開(kāi)展深入的軟硬件協(xié)同性能優(yōu)化，并達(dá)到了業(yè)界領(lǐng)先的算力利用率水平。

GitHub 項(xiàng)目地址：https://github.com/Cambricon/vllm-mlu?sessionid=

本次適配從 “快速模型遷移” 與 “極致性能優(yōu)化”兩個(gè)維度，充分展現(xiàn)了寒武紀(jì)的核心技術(shù)實(shí)力。

快速完成 DeepSeek-V4 新模型適配，實(shí)現(xiàn) Day 0 首發(fā)

在軟件生態(tài)層面，寒武紀(jì) NeuWare 軟件棧全面擁抱開(kāi)源社區(qū)，原生支持 PyTorch、vLLM、Diffusers 等主流 AI 框架，新模型可快速遷移至寒武紀(jì)平臺(tái)；

在國(guó)產(chǎn)軟件生態(tài)層面，寒武紀(jì)與眾智 FlagOS 生態(tài)持續(xù)深度合作，解耦模型與不同架構(gòu)芯片之間的生態(tài)壁壘，進(jìn)一步降低模型適配遷移成本；

在算子開(kāi)發(fā)層面，寒武紀(jì)充分利用 Triton 良好的社區(qū)兼容性和易用性進(jìn)行快速算子開(kāi)發(fā)適配，進(jìn)一步縮短功能適配周期；

在 AI 協(xié)同層面，寒武紀(jì)研發(fā)了代碼生成智能體 CNAgent，實(shí)現(xiàn)算子生成、模型遷移的全流程加速；

在硬件層面，寒武紀(jì)芯片原生支持主流低精度數(shù)據(jù)格式，無(wú)需額外轉(zhuǎn)換即可快速完成功能適配與精度驗(yàn)證。通過(guò)軟硬件協(xié)同，寒武紀(jì)在模型發(fā)布當(dāng)日即可實(shí)現(xiàn)穩(wěn)定運(yùn)行，真正做到 Day 0 適配

極致性能優(yōu)化，釋放 DeepSeek-V4 推理潛能

針對(duì) DeepSeek-V4 的新結(jié)構(gòu)，寒武紀(jì)通過(guò)自研高性能融合算子庫(kù) Torch-MLU-Ops，對(duì) Compressor、mHC 等模塊進(jìn)行專項(xiàng)加速；利用 BangC 高性能編程語(yǔ)言，編寫(xiě)稀疏 / 壓縮 Attention、GroupGemm 等熱點(diǎn)算子的極致優(yōu)化 Kernel，充分釋放硬件底層性能。

在推理框架優(yōu)化層面，寒武紀(jì)在 vLLM 中全面支持 TP/PP/SP/DP/EP 5D 混合并行、通信計(jì)算并行、低精度量化以及 PD 分離部署等優(yōu)化技術(shù)，通過(guò)策略優(yōu)化，在滿足延時(shí)約束下達(dá)到最佳的詞元吞吐能力，顯著提升端到端推理效率。

硬件特性同樣被深度挖掘：利用 MLU 訪存與排序加速能力，有效加速稀疏 Attention、Indexer 等結(jié)構(gòu)；高互聯(lián)帶寬與低通信延時(shí)，將 Prefill 和 Decode 兩種不同工作負(fù)載場(chǎng)景下的通信占比降至最低，最大化分布式推理的利用率。

正是這種軟硬件一體化的設(shè)計(jì)思路，使得寒武紀(jì)能夠在大模型部署中持續(xù)降低算力成本，提升性能上限。寒武紀(jì)將繼續(xù)深耕大模型軟硬件協(xié)同生態(tài)，為開(kāi)發(fā)者與客戶提供更快、更省、更高效的大模型部署方案。