國產(chǎn)AI前沿陣地正迎來突破性進(jìn)展。

近日，繼scaleX萬卡超集群在國家超算互聯(lián)網(wǎng)核心節(jié)點規(guī)?；涞?，光合組織緊鑼密鼓的在當(dāng)?shù)卣匍_“國產(chǎn)萬卡算力賦能大模型發(fā)展研討會暨聯(lián)合攻關(guān)啟動儀式”。

沒錯，國產(chǎn)萬卡超集群真正要大規(guī)?！坝谩逼饋砹?。而且據(jù)說落地目標(biāo)直指AI頭部領(lǐng)域——萬億參數(shù)大模型。

這兩年，隨著AI大模型參數(shù)規(guī)模大幅躍升，算力基礎(chǔ)設(shè)施建設(shè)也在同步跟注加碼。

盡管集群式算力體系相對復(fù)雜，而且AI用戶對多元化算力需求迫切，供給側(cè)廠商仍是通過開放的架構(gòu)、統(tǒng)一的標(biāo)準(zhǔn)，走出了一條高效通用的“大算力普惠”之路。前兩天爆火的scaleX萬卡超集群就是一個樣板。

當(dāng)然，光說不練不行，萬億參數(shù)大模型是萬超計算集群最好的試金石。

從技術(shù)應(yīng)用層面來看，當(dāng)數(shù)據(jù)量足夠大時，AI大模型的參數(shù)越多，模型精度也越好。同時，參數(shù)量增加也必然造成計算量增加。

當(dāng)AI大模型達(dá)到千億、萬億級參數(shù)，訓(xùn)練和推理過程中就需要大量矩陣運算和浮點計算。對于高內(nèi)存帶寬與容量、低延遲與高并發(fā)處理能力等技術(shù)挑戰(zhàn)非常大。

尤為關(guān)鍵的一點是，很多大模型玩家在算力選型中非常慎重。因為很多智算中心之間存在技術(shù)路線差異，甚至部分技術(shù)架構(gòu)難以兼容主流生態(tài)，異構(gòu)遷移過程中往往步步雷區(qū)。

某國產(chǎn)大模型技術(shù)負(fù)責(zé)人指出，由于芯片硬件結(jié)構(gòu)差異和浮點計算的不確定性，疊加大模型參數(shù)量大導(dǎo)致精度誤差被隱藏的現(xiàn)象，因此技術(shù)人員往往需要較長的時間來驗證算子正確性和模型的收斂性。

另外，解決效果問題后，還會遇到性能損失的問題。

“因為不同計算精度和shape場景下的算子最優(yōu)實現(xiàn)并不一致，一些國產(chǎn)算力的泛化能力還不夠強，所以導(dǎo)致模型移植后的開箱性能往往無法達(dá)到理論算力上限，需要進(jìn)一步開展深入的性能優(yōu)化工作等?！鄙鲜鋈耸勘硎?。

毋庸置疑，“國產(chǎn)萬卡超集群”擁抱“萬億參數(shù)大模型”是一個歷史性機遇，但在如何賦能大模型實際應(yīng)用場景上，依然需要在供需兩端形成共識。

光合組織召開此次會議，顯然是要錨定大算力和大模型應(yīng)用需求協(xié)同發(fā)力。據(jù)悉，包含算力基礎(chǔ)設(shè)施提供商和國產(chǎn)大模型廠商在內(nèi)，產(chǎn)業(yè)上下游在會上達(dá)成了聯(lián)合攻關(guān)方案。

一方面是基于開放的架構(gòu)和統(tǒng)一的標(biāo)準(zhǔn)，參考scaleX萬卡超集群系統(tǒng)樣板，進(jìn)一步打破算力應(yīng)用難點堵點，將國產(chǎn)大算力資源真正作用到大參數(shù)模式場景實戰(zhàn)中。

另一方面是通過生態(tài)協(xié)同，在大模型應(yīng)用中形成供需驗證、反饋、優(yōu)化的循環(huán)機制，實現(xiàn)軟硬件一體化協(xié)同攻關(guān)，深度賦能大模型訓(xùn)推方面的實踐指引與前沿探索。

這就是要在成功經(jīng)驗的基礎(chǔ)上，大力推動規(guī)?；涞貜?fù)制了。scaleX作為AI計算開放路線下的首個萬卡集群成果，此前就驗證了產(chǎn)業(yè)鏈開放協(xié)同的戰(zhàn)略價值?，F(xiàn)在開放計算路線進(jìn)一步向大模型需求側(cè)延伸，無疑將進(jìn)一步形成供需兩端協(xié)同共振的開放式創(chuàng)新格局。

大膽預(yù)測一下，在全球化AI竟備中，萬卡計算集群與萬億參數(shù)模型是絕對的前沿陣地。

隨著國產(chǎn)AI計算突破能力邊界，并在大模型應(yīng)用場景中發(fā)揮出更強的生態(tài)協(xié)同效能，中國AI產(chǎn)業(yè)正在打開格局，走上一條真正的“彎道超車”突圍路徑。