從北京到昆山

站在這一排機(jī)器面前，我人整個(gè)傻了

這是我有生第一次見到

國產(chǎn)超萬卡集群的真身

不是PPT，不是照片，活生生擺在我面前

家人們，這就是

中科曙光scaleX萬卡超集群

它今天現(xiàn)身在昆山

光合組織2025人工智能創(chuàng)新大會(huì)上

(HAIC2025)

成為最亮眼的打卡點(diǎn)

我繞著這個(gè)“巨物”轉(zhuǎn)了三圈

又找技術(shù)專家打聽了半天

總算搞清楚了這個(gè)大家伙的架構(gòu)

據(jù)了解，scaleX萬卡超集群部分技術(shù)能力

已超越海外將于2027年發(fā)布的NVL576

接下來，我就給大家講一講

這套國產(chǎn)萬卡超集群

到底有多兇猛？

01、scaleX萬卡超集群如何構(gòu)成？

這套萬卡超集群

包含16個(gè)scaleX640超節(jié)點(diǎn)

單個(gè)超節(jié)點(diǎn)=最大640個(gè)AI加速卡

02、萬卡超集群“戰(zhàn)力”有多強(qiáng)？

那是相當(dāng)“能打”

10240張AI加速卡，同時(shí)開工

總算力輸出逆天，超過5EFLOPS

這么多AI加速卡組團(tuán)全力輸出

是一種怎樣的體驗(yàn)？

HBM 總?cè)萘浚?50TB

HBM 總帶寬>18PB/s

HBM是高端AI加速卡的專用顯存

好比是離加速核心最近的“高速倉庫”

容量大、帶寬大，加速核心才不會(huì)餓著空轉(zhuǎn)

片間互連總帶寬> 4.5PB/s

柜間互連總帶寬> 500TB/s

這里的路足夠?qū)?，萬卡協(xié)同才不會(huì)堵車

計(jì)算性能才能拉滿

03、萬卡超集群為何種場景設(shè)計(jì)？

主要是兩大類場景

①萬億參數(shù)級(jí)大模型訓(xùn)推

②科學(xué)計(jì)算 、AI for Science

不過在現(xiàn)場

我遇到的更多專業(yè)人士

他們更關(guān)心的問題是

這么超強(qiáng)的萬卡超集群

曙光到底是怎么“聯(lián)”起來的？

我們從四個(gè)維度，來拆解

計(jì)算節(jié)點(diǎn)、網(wǎng)絡(luò)、存儲(chǔ)、管理調(diào)度

01、每一個(gè)單體超節(jié)點(diǎn)都超強(qiáng)

曙光scaleX640超節(jié)點(diǎn)

是全球首個(gè)單機(jī)柜級(jí)640卡超節(jié)點(diǎn)

單機(jī)柜算力密度，是普通超節(jié)點(diǎn)的20倍

除了算力密度高

在性能方面也是王者的存在

各個(gè)維度都很能打

異構(gòu)計(jì)算、HBM 容量與帶寬，片間互聯(lián)帶寬..

上面是一個(gè)單機(jī)柜

正常出街的形態(tài)是【一拖二】

中間1個(gè)液冷單元，拖左右2個(gè)單機(jī)柜

兩個(gè)柜組成1280卡千卡級(jí)計(jì)算單元

總算力超過600PFlops

中間液冷單元是幫助兩側(cè)機(jī)柜散熱的

最高提供1.7MW散熱能力

再加上高壓直流供電等手段

直接把PUE干到了1.04

02、萬卡集群，網(wǎng)絡(luò)怎么聯(lián)？

聯(lián)網(wǎng)相當(dāng)于給萬卡、十萬卡

修一套超大規(guī)模的“高速路網(wǎng)”

曙光的修路大法

自主研發(fā)原生RDMA高速網(wǎng)絡(luò)

名喚：曙光scaleFabric網(wǎng)絡(luò)

它從設(shè)計(jì)之初就瞄準(zhǔn)更大集群

一套scaleFabric網(wǎng)絡(luò)就能做到10萬卡互連

而同類IB網(wǎng)絡(luò)最大只能支持4萬余張卡

總體成本還能比同類IB低約 30%

再說速度，這張網(wǎng)底層用的是

RDMA（遠(yuǎn)程直接內(nèi)存訪問）技術(shù)

端到端延遲壓縮到亞微秒級(jí)（~1us）

同時(shí)單鏈路帶寬可達(dá)400Gbps，路夠?qū)?/p>

再配上無阻塞拓?fù)洌⒔粯蛐薜脡蚵斆?/p>

一旦遇到車流巨猛的場景

比如世界大模型訓(xùn)推

它比RoCE方式效率更高

還有一條也很重要：無損

用類似IB的信用流控+鏈路層重傳

讓車流更可控，路上不丟包，少抖動(dòng)

最后說可靠性

路網(wǎng)越大，事故越常見

不怕！基于scaleFabric組網(wǎng)

斷路事故恢復(fù)時(shí)間可低至毫秒級(jí)

03、萬卡集群，存儲(chǔ)怎么做？

很多人聊「萬卡」，只聊算不聊存

但真上萬卡，瓶頸常常出現(xiàn)在存儲(chǔ)

數(shù)據(jù)喂不動(dòng)、checkpoint寫不動(dòng)/讀不回

在存儲(chǔ)方面，曙光有絕招

第一招叫超級(jí)隧道

相當(dāng)于給數(shù)據(jù)修一條直達(dá)專線

把存儲(chǔ)→網(wǎng)絡(luò)→計(jì)算三塊打通

讓數(shù)據(jù)走最短路，減少CPU空轉(zhuǎn)

把萬卡訓(xùn)推的效率榨出來

構(gòu)建這條超級(jí)隧道靠三級(jí)強(qiáng)協(xié)同

芯片級(jí)、系統(tǒng)級(jí)、應(yīng)用級(jí)

最終，大模型訓(xùn)推效率提高30-40%

GPU利用率最大提高55%

第二招是讓存儲(chǔ)深度介入AI業(yè)務(wù)流水線

把存儲(chǔ)從倉庫升級(jí)成「AI數(shù)據(jù)工廠」

不光存，還要算，要加速

曙光基于多年的技術(shù)積累

再疊加以HG為首的全國產(chǎn)芯片

面向萬卡集群拿出了硬核存儲(chǔ)產(chǎn)品

ParaStor F9000分布式全閃

能把GPT4級(jí)模型訓(xùn)練周期大幅壓縮

04、萬卡集群，怎么管理和調(diào)度？

業(yè)內(nèi)萬卡有一個(gè)現(xiàn)實(shí)：故障是常態(tài)

但是曙光scaleX萬卡超集群

能做到長期可用性99.99%

即使節(jié)點(diǎn)故障，業(yè)務(wù)側(cè)也幾乎無感知

做到這點(diǎn)，曙光同樣用了兩招

一、先用「數(shù)字孿生」把集群看清楚

搭建一個(gè)與物理集群對(duì)應(yīng)的鏡像世界

實(shí)現(xiàn)全域狀態(tài)透明、故障定位準(zhǔn)確、自動(dòng)修復(fù)及時(shí)、問題自主復(fù)盤、動(dòng)態(tài)仿真推演

二、再用智能化運(yùn)維平臺(tái)去“自動(dòng)處理”

這么大規(guī)模，靠人肉運(yùn)維不現(xiàn)實(shí)，得借力AI

平臺(tái)上的「AI運(yùn)維助手」

可以一口氣跑完整個(gè)流程

實(shí)時(shí)分析→智能診斷→根因定位→故障恢復(fù)

接下來，曙光靠一套「智能調(diào)度引擎」

把集群利用率拉滿

在一個(gè)萬級(jí)節(jié)點(diǎn)的超大集群

面對(duì)10萬級(jí)用戶的超智融合任務(wù)

實(shí)現(xiàn)每秒萬級(jí)作業(yè)的調(diào)度

站在HAIC2025現(xiàn)場

我突然想明白一件事

萬卡超集群固然震撼，但更有價(jià)值的

其實(shí)是它背后的一套理念

做AI計(jì)算開放架構(gòu)

左邊，把底座做強(qiáng)，萬卡、十萬卡

右邊，把鏈路打通，拉更多伙伴加入

簡單說：不把算力做成單一品牌或產(chǎn)品，而是做成能兼容、能組合、能迭代的開放體系

大會(huì)現(xiàn)場，我聊了兩類人

第一類是以甲方為代表算力用戶

他們這樣說

第二類是以乙方為代表的算力企業(yè)

他們這樣說

到底有多開放?。?/p>

我給你一張截圖，你品品就知道了