剛剛，華為宣布開源盤古7B稠密和72B混合專家模型！

嘿嘿，一直以來(lái)“神龍見(jiàn)首不見(jiàn)尾”的華為盤古，終于亮劍。

此次,華為開源了兩款模型：

1、7B參數(shù)量的稠密模型

2、72B參數(shù)量的MoE模型

在發(fā)布說(shuō)明中，菊廠給出了一份并不算驚艷的測(cè)試對(duì)比表。

因?yàn)楸鹊膶?duì)象，大部分都不是“名流”。稍有點(diǎn)說(shuō)服力的是跟同樣MoE且激活參數(shù)量更大的Llama-4-Scout相比，基本全面碾壓。

當(dāng)然，既然是“后發(fā)”，菊廠肯定要拿出點(diǎn)不一樣?xùn)|西↓

別人都叫MoE，而這次華為提出了MoGE：分組混合專家模型（Mixture of Grouped Experts）。

MoGE核心就是要解決當(dāng)下MoE最大的難題——專家負(fù)載失衡，傳統(tǒng)的Top-K路由會(huì)把大量Token塞給同一張卡處理，導(dǎo)致整體吞吐被最慢的卡拖死。

MoGE先將專家劃分為若干等規(guī)模的分組，再?gòu)拿總€(gè)分組中選取相同數(shù)量的專家進(jìn)行激活。

在典型的分布式部署中，每個(gè)專家分組對(duì)應(yīng)獨(dú)立的計(jì)算設(shè)備，從而 MoGE 天然地實(shí)現(xiàn)了跨設(shè)備的計(jì)算負(fù)載均衡。

同時(shí)，菊廠把這個(gè)模型稱為「昇騰原生的分組混合專家模型」，再次把菊廠軟硬協(xié)同的優(yōu)勢(shì)打了出來(lái)。

怎么「原生」法？說(shuō)白了，是針對(duì)菊廠自己的昇騰鏟子，做了以下優(yōu)化↓

1、分層混合并行+通信裁剪：MFU提升35%
2、專家感知量化與KV壓縮：幾乎為0的量化精度誤差，大幅降低顯存占用。
3、定制化算子——MulAttention+SwiftGMM。
4、MoGE分組路由天然負(fù)載均衡：訓(xùn)推都不卡長(zhǎng)尾，效率提升。
5、MTP多Token并行解碼：滿足低延遲高并發(fā)場(chǎng)景。

就不詳說(shuō)了，大家可以去看論文原文：

https://raw.gitcode.com/ascend-tribe/pangu-pro-moe/raw/main/Pangu-Pro-MoE-CN-Report.pdf

話說(shuō)，自從大模型爆火以來(lái)，華為盤古大模型一直只聞其聲，未見(jiàn)其形，只在行業(yè)場(chǎng)景咔咔落地，凡間吃瓜群眾卻難得上手把玩。

這一次，菊廠來(lái)真的了，在開源兩個(gè)盤古模型的同時(shí)，華為也開源了推理代碼，不光給你金坷垃，還給你金鏟鏟。

華為下場(chǎng)收割，說(shuō)明大模型市場(chǎng)已經(jīng)進(jìn)入成熟期，這個(gè)市場(chǎng)更要卷起來(lái)啦。

不過(guò)，有吃瓜群眾表示，光這倆模型還不夠看，期待下一步能有吊打DeepSeek滿血版、Qwen3-235B的菊廠大核彈！