9月30日，DeepSeek發(fā)新版本了。

大家都注意到了吧，這個(gè)3.2-Exp跟上一版本（v3.1-terminus）相比，模型跑分不但不升，反而略有下降。

但是卻擋不住一眾MaaS服務(wù)商第一時(shí)間把這個(gè)模型上架了。

為啥，只因這個(gè)版本可以讓推理成本暴降！

降成本的核心奧秘就是該版本采用了「DeepSeek 稀疏注意力機(jī)制」。

下面這個(gè)圖很直觀，3.1版本成本隨著token長(zhǎng)度是線性上升的，而3.2版則是陡升之后迅速折平，成本隨著token長(zhǎng)度變化極小。

尤其Decode，幾乎是平的。

憑借這種巨大的成本優(yōu)化，DeepSeek也有了降價(jià)的底氣，官方API價(jià)格直接砍半。

那么，這個(gè)叫做“稀疏注意力機(jī)制”的成本優(yōu)化利器，究竟是個(gè)啥？

1分鐘帶你簡(jiǎn)單了解「稀疏注意力機(jī)制」

在Transformer架構(gòu)的大模型世界里，「注意力機(jī)制」是最重要的一環(huán)。

它就像人類大腦的“專注力”，決了定模型在處理一段話時(shí)，應(yīng)該把腦力花在哪兒。

1、什么是注意力機(jī)制？

想象一下你是個(gè)售前，正在開Q3季度總結(jié)會(huì)，這場(chǎng)會(huì)有30個(gè)人發(fā)言（老板、產(chǎn)品經(jīng)理、售前、研發(fā)、銷售），會(huì)議討論的核心議題是——如何提升Q4業(yè)績(jī)。

但有些人可能是AD/HD患者，他沒法專注在會(huì)議任務(wù)上，容易被外界刺激分散注意力，比如開著會(huì)，刷到微信群里有人閑聊，他也要回一句。

甚至看到窗外有美女走過，他就心馳神往，這就是缺乏”注意力“。

而正常人會(huì)全程關(guān)注所有與會(huì)者的發(fā)言，并找到跟會(huì)議主題相關(guān)的重點(diǎn)內(nèi)容，寫出會(huì)議總結(jié)，這就是“注意力”。

在Transformer大模型里，注意力機(jī)制也是類似的：每一個(gè)token在處理時(shí)都會(huì)去“關(guān)注”上下文中所有其他詞，計(jì)算它們之間的關(guān)系，從而理解語(yǔ)義、推斷含義。

2、傳統(tǒng)注意力機(jī)制：人人都要聽，太費(fèi)力！

傳統(tǒng)的注意力機(jī)制屬于 “全量注意力（Dense Attention）”。

就像開會(huì)時(shí)，必須認(rèn)真聽每個(gè)人說的話，哪怕是坐在角落里點(diǎn)外賣的小王、正在咬耳朵閑聊的小李和小張，你也要分析他的話對(duì)你有沒有用。

注意力是夠集中了，但是太累、太慢、太費(fèi)神。

放到大模型推理上，就意味著更多的算力消耗。

稀疏注意力：只聽重要的人！

稀疏注意力（Sparse Attention）就機(jī)靈多了：

它讓模型不再對(duì)所有詞都關(guān)注，而是有選擇地跳過不重要的詞。

就好比開會(huì)的時(shí)候，你不需要記住每個(gè)人的每句話，于是你會(huì)有選擇地聽：重點(diǎn)關(guān)注老板、產(chǎn)品經(jīng)理和研發(fā)骨干說的話，至于銷售的畫餅?zāi)阃耆魂P(guān)注。

這樣一來(lái)↓

不用每個(gè)詞都計(jì)算關(guān)系，計(jì)算量大幅減少；顯存、算力消耗顯著降低；

效率自然就飆升。

DeepSeek的獨(dú)家妙招：更聰明地「選人」

稀疏注意力機(jī)制不是DeepSeek首創(chuàng)的，但是很多早期的稀疏注意力方法只是盲目地跳過一部分計(jì)算，可能會(huì)漏掉重要信息。

就好比開會(huì)的時(shí)候，售前就是對(duì)銷售們有成見，不管銷售的發(fā)言有沒有道理，一律”左耳進(jìn)右耳出“，結(jié)果，可能錯(cuò)失了一個(gè)大單。

而DeepSeek這次的DSA就比較聰明了：它使用特殊的策略，讓模型自己學(xué)會(huì)哪些詞值得關(guān)注、哪些詞可以忽略。

比如：

對(duì)長(zhǎng)文本，優(yōu)先關(guān)注關(guān)鍵詞、句首、句尾等信息密集的部分；
對(duì)結(jié)構(gòu)化數(shù)據(jù)，優(yōu)先關(guān)注核心字段；
對(duì)代碼、推理等任務(wù)，則關(guān)注邏輯節(jié)點(diǎn)之間的聯(lián)系。

好比售前開會(huì)，聽銷售發(fā)言時(shí)，優(yōu)先關(guān)注那些“歷史業(yè)績(jī)好的、“有個(gè)方案明天就要”次數(shù)少的、“客戶已搞定”兌現(xiàn)多的。

這種「有策略的稀疏」，讓模型既保留了理解力，又大大減少了無(wú)用計(jì)算。

正因?yàn)樘^了大量不必要的計(jì)算，DSA帶來(lái)了三個(gè)立竿見影的好處：

訓(xùn)練更快：少算90%的“廢話”，大模型可以更快迭代；

推理更便宜：同樣的GPU，能跑更多請(qǐng)求、處理更長(zhǎng)文本；

可擴(kuò)展性更強(qiáng)：支持更長(zhǎng)的上下文、更大的模型規(guī)模。

所以，優(yōu)秀的售前，用“稀疏注意力機(jī)制”支持一部分靠譜銷售，既能高效產(chǎn)出方案、完成技術(shù)支持工作，又不會(huì)過得很卷，還少背鍋。

but，這種機(jī)制，對(duì)大模型有效，但對(duì)售前來(lái)講，可操作性就有限了，就在昨天，還有一個(gè)售前兄弟吐槽說：

現(xiàn)在因?yàn)轫?xiàng)目少，售前的話語(yǔ)權(quán)進(jìn)一步被削弱了

公司要求→銷售拿過來(lái)的機(jī)會(huì)，售前不能說不靠譜、研發(fā)不能說不靠譜，如果要說不靠譜、拒絕銷售，必須開會(huì)討論……

好吧，大家都加油。

關(guān)于DeepSeek稀疏注意力機(jī)制的詳細(xì)正經(jīng)解讀，大家可以去看論文↓

https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

最后祝?大家雙節(jié)快樂！