四川
今年年初DeepSeek突破性亮相，無疑正在釋放出強大的“蝴蝶效應”，驅(qū)動行業(yè)大模型從“規(guī)模競賽”向“價值創(chuàng)造”的轉(zhuǎn)型。
背后的原因在于，DeepSeek驗證了模型性能與算力成本的“可解耦性”，不但為行業(yè)提供了降本增效的新范式，也加速了大模型從實驗室走向產(chǎn)業(yè)端，更帶動了行業(yè)智能化的進一步“走深向?qū)崱薄?/p>
也正因此，近期包括醫(yī)療、交通、制造、教育等千行萬業(yè)都在通過DeepSeek一體機等各種方式，全方位接入DeepSeek。但值得注意的是，已部署DeepSeek的企業(yè)在短時間內(nèi)就迅速跨越了“試水”階段，其應用場景也從單一模塊測試轉(zhuǎn)向全業(yè)務流的貫通，但因業(yè)務系統(tǒng)對接后用戶量的激增，也導致了其算力需求也呈現(xiàn)出“指數(shù)級”增長，而傳統(tǒng)的線性擴容模式難以應對大模型高并發(fā)、低時延場景下的推理需求，算力底座升級迭代壓力驟增，新的難題由此而生。
換句話說，如何將DeepSeek的能力實實在在的落地到行業(yè)場景中，仍然是擺在許多企業(yè)面前的一道難題，在DeepSeek與行業(yè)大模型之間，還需要架設(shè)一座全新的“橋梁”。
在此背景下，近期昇騰宣布推出大EP推理解決方案，以更高性能、更高并發(fā)以及更優(yōu)體驗等優(yōu)勢，為大模型底座加裝了“新引擎”，在不斷降低DeepSeek應用門檻的同時，也大幅縮短行業(yè)客戶邁向大模型應用的周期，可以說真正讓大模型應用融入千行萬業(yè)駛?cè)肓恕翱燔嚨馈薄?/strong>
01.
DeepSeek爆火背后，
看大模型進化的趨勢與挑戰(zhàn)
事實上，DeepSeek爆火背后，更以其超低的訓練成本和堪比頂尖閉源模型的效果引起了業(yè)界的轟動。除此之外，DeepSeek此前在開源周上公布的一系列推理和訓練架構(gòu)的方案，以及推理成本和盈利空間，其超高的利潤同樣也引起了業(yè)界廣泛的討論——那就是大模型底座從底層技術(shù)到基礎(chǔ)設(shè)施乃至生態(tài)體系的接下來發(fā)展和進化趨勢是什么？未來又會出現(xiàn)哪些新的挑戰(zhàn)呢？
一是，從產(chǎn)業(yè)趨勢上看，未來大模型將會分化成“兩派”，并引發(fā)新一輪的“百模千態(tài)”，其中一派是技術(shù)摸高，即頭部企業(yè)將會持續(xù)突破模型能力邊界，但伴隨而來的是算力需求激增，比如當前一些國外科技巨頭就持續(xù)推進模型規(guī)模擴張，如Grok3需調(diào)用20萬張H100 GPU，單次訓練成本高達數(shù)億美元。
另一派是工程創(chuàng)新，即更關(guān)注便捷、易用，具備性價比的平臺。最為典型的就是DeepSeek通過工程創(chuàng)新，打造出了一套兼顧成本與性能的蒸餾/微調(diào)方案，就極大地降低了大模型的部署門檻，促進了大模型應用的普及。
二是，從技術(shù)演進看，未來大模型向大量小專家方向演進將成為趨勢所在。具體來看，少量大專家模式會走向性能摸高，而大量小專家模式會走向創(chuàng)新普及，且兩種方案會長期共存。
大量小專家模式也被稱之為大規(guī)模跨節(jié)點專家并行（Expert Parallelism / EP）路線，其技術(shù)特點是將專家Expert分布到更多的卡上，可以減少每張卡權(quán)重加載的時延，減少權(quán)重的顯存占用，能夠顯著的提升單卡并行的路數(shù)(batch size)。同時，每個專家計算路數(shù)的提升還可以提高矩陣乘的效率，從而實現(xiàn)更大的吞吐和更低的時延。
打個比方，比如醫(yī)院過去采用的是“全科專家制”，資源集中導致檢查冗余、患者耗時費錢且掛號難，而此后改為“？茖＜抑啤，通過各科室配備專屬團隊（如眼科5人、耳鼻喉科10人、外科20人），通過專業(yè)化分工和專家團隊擴容，由此實現(xiàn)精準診療與高效分流，這就能顯著降低患者候診難度。
三是，從具體挑戰(zhàn)看，盡管大規(guī)模專家并行EP將成為主流趨勢，但專家的增多也讓如何優(yōu)化負載均衡、降低通信開銷、并充分利用底層資源也成為了技術(shù)的難點，同樣以醫(yī)院為例，當醫(yī)院的某個科室中擁有5個專家，但如果都是1號專家特別忙，其他專家特別閑，這就是專家的“負載不均”；同樣，當多科會診時，專家數(shù)量的激增也會導致意見互達的溝通耗時，反而會超過診療時長，由此化解通信耗時占比高的挑戰(zhàn)也十分重要。
另一個需要“直面”的難題，就是目前國內(nèi)只能購買所謂“定制版”的芯片H20，但其本質(zhì)上只是H100的“閹割版本”，它的AI算力僅為H100的15%，這也意味著其單卡算力瓶頸會迫使大規(guī)模集群部署時性能不穩(wěn)定，而高昂成本與低效產(chǎn)出之間也會形成“剪刀差”，且其設(shè)計也難以適配當前的MoE架構(gòu)，同時高“batch size”還會讓系統(tǒng)的時延暴增，更無法發(fā)揮大EP路線所獨有的高性能、高吞吐、大并發(fā)的技術(shù)優(yōu)勢，最終導致越來越多的行業(yè)和企業(yè)錯失自主創(chuàng)新的“窗口期”，因此尋找替代方案可謂“箭在弦上”。
毫無疑問，DeepSeek帶來的最大的啟示在于，它重構(gòu)了行業(yè)競爭邏輯，讓基座模型的競爭從參數(shù)規(guī)模轉(zhuǎn)向價值密度，同時也使得大EP路線成為了未來大模型的技術(shù)進化趨勢，但與此同時如何進一步打破大模型技術(shù)門檻高、部署復雜、算力受限、成本高昂等多重挑戰(zhàn)，同樣對整個行業(yè)而言也是“迫在眉睫”。
02.
五大技術(shù)“組合拳”，
深度解讀昇騰大EP方案
昇騰大EP推理解決方案就此“應運而生”，該方案通過多專家負載均衡和極致通信優(yōu)化，實現(xiàn)了更高吞吐和更低時延；此外，通過降低單卡顯存占用，也使得其單卡性能提升到3倍，在支持更高并發(fā)的同時，也顯著降低了客戶的部署成本，更優(yōu)化了客戶的應用體驗，可以說為大模型底座加裝了一套“新引擎”，不僅為DeepSeek的部署落地搭建了一座全新橋梁，也讓更多的大模型應用從“遙不可及”變?yōu)椤坝|手可及”。
那么，昇騰大EP推理解決方案究竟有何關(guān)鍵的技術(shù)“組合拳”呢？我們可以從五個維度做更加深入的“解讀”。
“組合拳”之一：MoE負載均衡，通過自動尋優(yōu)、自動配比、自動預測、自動降解，實現(xiàn)了備份節(jié)點和副本專家的靈活可擴展、高可用和極致均衡。其中，靈活可擴展指的是路由專家與共享專家隔離部署，實現(xiàn)更大的靈活性；高可用，是能夠支持定時遷移和動態(tài)遷移；而極致均衡，主要體現(xiàn)在支持專家熱度在線感知和熱度預測，還支持專家間、卡間以及機間的負載均衡。
“組合拳”之二： PD分離部署，基于多種創(chuàng)新技術(shù)，提升系統(tǒng)有效吞吐50%。對比傳統(tǒng)部署方案，由于PD同節(jié)點部署，導致計算訪存資源競爭“加劇”，而目前也有友商推出PD靜態(tài)分離方案，能提升系統(tǒng)資源利用率，但不夠靈活，無法適應動態(tài)調(diào)整的場景，而華為創(chuàng)新autoPD的“自適應”PD分離部署方案，能夠自動感知負載變化，無需人工介入，自動伸縮P、D實例，結(jié)合多級緩存內(nèi)存資源池化，能夠?qū)崿F(xiàn)系統(tǒng)有效吞吐50%+。
“組合拳”之三： 雙流/多維混合并行，能夠使系統(tǒng)平均性能提升30%。其中，Prefill micro-batch雙流并行，在Prefill階段，通過拆分Batch成兩組更細粒度的Batch，實現(xiàn)計算和通信相互掩蓋；而MoE expert專家雙流并行，則是讓共享專家和路由專家實現(xiàn)計算獨立，并利用Cube和Vector計算單元，實現(xiàn)兩條Stream并行計算；Weight預取雙流并行，利用L2 Cache大容量，通信和權(quán)重加載采用兩條Stream并行，在降低權(quán)重加載時間的同時，也有效提升了matmul算子性能。
“組合拳”之四： MLAPO融合算子，能夠有效降低計算耗時70%。目前在MLA前處理階段，傳統(tǒng)方案往往采用多算子串行，導致頻繁占用內(nèi)存、通信等資源，整體計算耗時占比高；而昇騰MLAPO融合算子，則是將小算子融合成單一算子，實現(xiàn)Vector和Cube計算并行處理，大大減少了開銷，也降低計算耗時。
“組合拳”之五：適配MTP，通過自研解碼算法，大幅提升推理效率與性能。在MTP推理場景下，通過支持MTP并優(yōu)化，讓模型的推理效率提升了最大1.8倍；而通過自研的DraftDecoding算法，能夠?qū)崿F(xiàn)一次生成多個token并行校驗，不僅采用率提升，且冗余計算減少，多用戶并發(fā)提高了2倍。
值得一提的是，昇騰大EP解決方案，除了能夠滿足互聯(lián)網(wǎng)、金融、電力、通信等行業(yè)頭部客戶大規(guī)模實現(xiàn)集群部署之外，同樣還為客戶采用一體機場景向大EP推理場景的“平滑”擴容升級開辟了新路徑——通過交換機實現(xiàn)參數(shù)面互聯(lián)，基于現(xiàn)有組網(wǎng)架構(gòu)軟件升級，就能使集群規(guī)模從8卡、16卡靈活拓展至百卡乃至千卡級別，真正讓企業(yè)能夠以最小的成本突破算力底座瓶頸，實現(xiàn)AI大模型集群規(guī)；渴鹇涞氐摹败S遷”。
由此可見，在五大關(guān)鍵技術(shù)創(chuàng)新“組合拳”的加持下，AI大模型系統(tǒng)猶如一臺搭載了“渦輪增壓”的賽車，無論是在吞吐、延時、并發(fā)等性能上都全面得以“拉滿”，為千行萬業(yè)的用戶帶來了AI大模型應用的全新體驗。
03.
降低大模型應用門檻，
按下行業(yè)智能化“快進鍵”
站在當下看未來，如果說DeepSeek通過“輕量化訓練+高效推理”開辟的創(chuàng)新范式，使其在數(shù)千卡算力約束下打造出了對標全球頭部的高性能大模型，一改往日大模型訓練“大力出奇跡”的畫風，不僅打破了業(yè)內(nèi)對于單卡性能的盲目崇拜，更徹底顛覆了全球基座大模型市場的傳統(tǒng)格局。
那么，在當前算力受到“桎梏”，自主創(chuàng)新刻不容緩的大背景下，昇騰AI通過基礎(chǔ)軟硬件持續(xù)進化，以及多年來在“方案+性能+生態(tài)+落地”方面形成的體系性優(yōu)勢，也讓其成為了未來加速大模型技術(shù)和應用創(chuàng)新落地的“最優(yōu)解”，在為行業(yè)提供更多可參考和借鑒的大模型底座創(chuàng)新方案的同時，也真正為行業(yè)智能化的加速按下了“快進鍵”。
首先，方案最全。從預訓練到微調(diào)到強化學習，從一體機到大EP推理集群，昇騰AI都能提供大模型全流程方案的覆蓋，同時昇騰也是目前業(yè)界首個可以復現(xiàn)DeepSeek R1強化學習流程，并沉淀到套件，能夠助力客戶快速完成后訓練，這種端到端的能力以及服務，無疑能夠最大化的滿足客戶多樣化的場景需求。
其次，性能最優(yōu)。基于MTP、MLA、大EP并行等技術(shù)打造出來的軟硬件協(xié)同親和的昇騰架構(gòu)，還能充分利用底層資源，最大化釋放大模型底座的極致性能，而這也讓昇騰成為了國內(nèi)唯一能夠與DeepSeek團隊進行深度適配并實現(xiàn)“Day 0”發(fā)布的平臺。更為重要的是，昇騰絕對算力與能效比也顯著領(lǐng)先，非常適合大并發(fā)高密度的計算場景，且性價比更高，長期運維成本更低，也能夠提升客戶綜合性價比，進一步滿足落地經(jīng)濟性的要求。
再有，生態(tài)最好。昇騰平臺打造了Atlas系列硬件、異構(gòu)計算架構(gòu)CANN、全場景AI框架昇思MindSpore、昇騰應用使能以及一站式開發(fā)平臺ModelArts等產(chǎn)品體系，同時軟件開源開放，并兼容業(yè)界主流框架及推理引擎，也能更好地使能業(yè)界高效自主創(chuàng)新，也讓越來越多的行業(yè)和企業(yè)可快速獲取基于昇騰的開發(fā)能力和場景化的解決方案，實現(xiàn)高效業(yè)務“閉環(huán)”。
最后，落地最快。依托本地化服務與團隊布局，昇騰還構(gòu)建了國內(nèi)大模型應用落地的全周期支撐體系，能夠?qū)崿F(xiàn)大模型應用的快速驗證與商用化落地。例如，就在近日，科大訊飛就率先宣布了其基于昇騰算力大規(guī)？绻(jié)點專家并行集群推理的落地，而這也是繼DeepSeek公布其MoE模型訓練推理方案后，業(yè)界首個基于自研算力的全新解決方案。不僅如此，自DeepSeek問世之后，超過100+的合作伙伴也迅速基于昇騰打造了DeepSeek方案、超過25+人工智能中心也實現(xiàn)了DeepSeek的部署上線，真正打通大模型應用落地的“最后一公里”。
總的來說，無論是昇騰大EP推理解決方案的“應運而生”，還是昇騰AI在行業(yè)中的創(chuàng)新實踐，都驗證了這種基于“方案最全+性能最優(yōu)+生態(tài)最好+落地最快”的體系化優(yōu)勢，將會進一步釋放出自主算力巨大的“乘數(shù)效應”，并讓“自主算力+模型開源”的組合創(chuàng)新在中國大模型技術(shù)和應用創(chuàng)新落地中占據(jù)更多的“一席之地”，由此降低大模型應用門檻，讓千行萬業(yè)能夠加速邁向智能化新進程。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
