就在市場(chǎng)傳聞阿里已經(jīng)開始使用自研芯片訓(xùn)練AI模型時(shí)，阿里推出了其下一代模型的雛形Qwen3-Next。

阿里巴巴正式開源的兩款模型，分別是Qwen3-Next-80B-A3B的指令（Insctruct）模型和推理（Thinking）模型。兩者在在大多數(shù)標(biāo)準(zhǔn)化基準(zhǔn)測(cè)試中，接近阿里旗下旗艦?zāi)Ｐ蚎wen3-235B-A22B系列對(duì)應(yīng)最新模型。相當(dāng)于在總參數(shù)規(guī)模下降2/3，激活參數(shù)規(guī)模下降5/6的前提下，輸出大致相當(dāng)?shù)慕Y(jié)果。

這不是一次常規(guī)的模型迭代。通義千問大模型負(fù)責(zé)人林俊旸自稱為“大膽”。它嘗試用極致稀疏MoE，低成本擴(kuò)展模型的智能涌現(xiàn)的上限；邁出了高度復(fù)雜的混合注意力（Hybrid Attention）的一大步，既高效又精準(zhǔn)地?cái)U(kuò)展上下文長度。

這背后是阿里通義千問團(tuán)隊(duì)對(duì)大模型技術(shù)趨勢(shì)的兩大預(yù)判，即未來將主要依賴總參數(shù)規(guī)模和上下文長度的擴(kuò)展�？倕�(shù)規(guī)模越大，模型潛在能力和智能涌現(xiàn)上限越高；上下文長度越長，模型的記憶能力和持續(xù)交互能力也隨之增強(qiáng)。

在一片阿里開始使用自研芯片訓(xùn)練模型的傳聞中，阿里并沒有透露它用什么芯片訓(xùn)練出來的。而軟硬件之間的高效協(xié)調(diào)適配，降低token成本，已經(jīng)成為定制芯片（ASIC）的趨勢(shì)。

據(jù)科技媒體Information報(bào)道，阿里的Zhenwu處理器今年已經(jīng)投入實(shí)用，性能略優(yōu)于英偉達(dá)的A100，目前主要用于較小模型的訓(xùn)練。

隨著稠密模型參數(shù)規(guī)模接近萬億，繼續(xù)擴(kuò)展變得愈發(fā)昂貴。受限于先進(jìn)芯片供給，中國開源模型陣營普遍轉(zhuǎn)向稀疏專家模型，以實(shí)現(xiàn)知識(shí)容量與計(jì)算成本的解耦。而且，通義千問團(tuán)隊(duì)發(fā)現(xiàn)，增加總專家數(shù)量往往可以持續(xù)降低訓(xùn)練損失。因此，通過壓縮每次激活參數(shù)規(guī)模的占比，就可以盡可能地?cái)U(kuò)展總參數(shù)規(guī)模；當(dāng)然，實(shí)現(xiàn)它仍然需要非常多的技術(shù)創(chuàng)新，包括更精準(zhǔn)的路由策略。

Qwen3-Next要比之前的Qwen3-MoE稀疏得多。Qwen3-MoE擁有128個(gè)專家模型和8個(gè)路由專家，Qwen3-Next則擴(kuò)展到了512個(gè)總專家，10路由專家與1共享專家的組合。同行最近發(fā)布的Kimi-K2模型，也實(shí)現(xiàn)了384 個(gè)專家激活8個(gè)的配置。

Qwen3-Next系列的總參數(shù)規(guī)模不會(huì)止步于800億。在GPT時(shí)代之前，阿里巴巴就嘗試過萬億參數(shù)級(jí)稀疏模型；近期又預(yù)覽了1萬億參數(shù)規(guī)模的Qwen3-Max-Preview。本次Qwen3-Next的預(yù)訓(xùn)練僅使用了15T tokens，相比Qwen3的36T tokens顯著減少�？梢詫⑵淇醋饕淮螌�(duì)現(xiàn)有技術(shù)的“中試”，為未來工程優(yōu)化后的“量產(chǎn)”版本奠定基礎(chǔ)。真正的“Qwen 3.5”將提供更多可選配置，在相同硬件和工作負(fù)載條件下，不同的總參數(shù)規(guī)模與激活參數(shù)規(guī)模組合將影響模型部署成本，并在推理階段決定成本、速度與性能的權(quán)衡空間。

上下文長度是另一個(gè)關(guān)鍵維度。目前Qwen3-Next系列原生支持262k上下文長度，并可擴(kuò)展至百萬tokens。理論上，上下文越長越好。然而，作為Transformer的核心創(chuàng)新，大模型與生成式AI的基礎(chǔ)，標(biāo)準(zhǔn)自注意力機(jī)制在長序列下的計(jì)算復(fù)雜度呈二次增長：在預(yù)填充（prefill）階段主要體現(xiàn)為算力需求的急劇增加，而在解碼（decode）階段則受內(nèi)存帶寬限制成為瓶頸。

這也是為什么中國開源大模型普遍將自注意力機(jī)制的優(yōu)化作為重點(diǎn)。DeepSeek提出了潛在多頭注意力（MLA），嘗試減少內(nèi)存占用；MiniMax的閃電注意力（Lightning Attention）則是線性注意力（Linear Attention）的變體，旨在降低算力消耗；月之暗面的MoBA，事實(shí)上是基于塊（Block）的稀疏注意力（Sparse Attention）。這些優(yōu)化路線雖各具特色，但并不適用于所有任務(wù)，尤其在需要高精度和復(fù)雜推理的場(chǎng)景下仍存在局限。

混合注意力正成為下一代大模型中被廣泛關(guān)注的重點(diǎn)探索方向。幾個(gè)月前，MiniMax-01架構(gòu)負(fù)責(zé)人在采訪中承認(rèn)，完全的線性注意力在長上下文里準(zhǔn)確“找回”關(guān)鍵信息的能力并不好。MiniMax判斷，未來將屬于混合注意力機(jī)制，M1就是該公司對(duì)此的初步驗(yàn)證；英偉達(dá)的Nemotron-H同樣如此。

目前，Qwen3-Next邁出的步子最大，75%采用線性注意力，25%保留標(biāo)準(zhǔn)注意力。線性注意力的Gated DeltaNet用于長程信息掃描，并可及時(shí)清除無關(guān)歷史信息；阿里自研的Gated Attention則專注捕獲關(guān)鍵局部信息。這一比例顯示，每一項(xiàng)改進(jìn)都是整套混合注意力機(jī)制的核心，而非點(diǎn)綴。在發(fā)布前，通義千問團(tuán)隊(duì)已對(duì)線性注意力進(jìn)行了約一年的持續(xù)探索，用林俊旸的話說，期間經(jīng)歷了“大量試錯(cuò)”。

越是稀疏的模型，越是難以訓(xùn)練。此前，Meta在Llama 4中首次嘗試引入MoE架構(gòu)就遇到挫折。針對(duì)這一挑戰(zhàn)，通義千問團(tuán)隊(duì)設(shè)計(jì)了多項(xiàng)訓(xùn)練優(yōu)化措施，確保訓(xùn)練過程的穩(wěn)定性。同時(shí)，Qwen3-Next原生集成了多token預(yù)測(cè)（MTP）技術(shù)，有效提升了解碼階段的推理速度。

Qwen3-Next終將向各類應(yīng)用場(chǎng)景落地。未來，硬件定制、軟硬件協(xié)同以及工作負(fù)載優(yōu)化，仍是在實(shí)踐中提升AI體驗(yàn)的關(guān)鍵路徑。英偉達(dá)為上下文處理專門定制了Rubin CPX芯片，阿里巴巴自研芯片與新模型架構(gòu)之間的協(xié)同，也是令人興奮的關(guān)注點(diǎn)。