最近，又一個長期被國外壟斷的技術(shù)高地被攻克。中科曙光正式發(fā)布首款全棧自研400G無損高速網(wǎng)絡(luò)——scaleFabric。它是國內(nèi)首款國產(chǎn)類InfiniBand（簡稱IB）原生無損RDMA超高速網(wǎng)絡(luò)產(chǎn)品，曙光全棧自研，專為大規(guī)模萬卡集群打造，適配大模型訓(xùn)練等高端計算場景，是實現(xiàn)國產(chǎn)算力網(wǎng)絡(luò)自主可控的核心產(chǎn)品。

曙光歷時三年研發(fā)，實現(xiàn)scaleFabric從底層芯片到上層軟件的100%全棧自研。目前，曙光推出了scaleFabric 400單口標(biāo)準(zhǔn)網(wǎng)卡、scaleFabric 400 1U 80口液冷交換機(jī)、scaleFabric 400 2U 80口風(fēng)冷交換機(jī)三款產(chǎn)品，核心技術(shù)是兩顆自研芯片：一是網(wǎng)卡芯片，400G高帶寬，自研RDMA引擎；二是交換芯片，64T雙向交換容量，轉(zhuǎn)發(fā)延時低至260納秒，采用112G高速Serdes。

這項突破究竟有多重要？業(yè)內(nèi)普遍認(rèn)為，計算、網(wǎng)絡(luò)、存儲是支撐大規(guī)模計算系統(tǒng)的三大核心支柱，算力決定系統(tǒng)性能的上限，但一旦網(wǎng)絡(luò)拉垮，可能將整體性能下限歸零。尤其在大規(guī)模集群場景下，網(wǎng)絡(luò)的重要性更為突出。

當(dāng)前，從GPT?3到GPT?5，智算集群已正式邁入萬卡時代。隨著大模型即將進(jìn)入萬億參數(shù)時代，計算卡規(guī)模持續(xù)擴(kuò)張，網(wǎng)絡(luò)已成為制約智算性能的核心瓶頸。而scaleFabric的出現(xiàn)，正是補齊了我國高端智算領(lǐng)域的最后一塊關(guān)鍵拼圖，讓上萬張GPU卡實現(xiàn)高效協(xié)同、緊密互聯(lián)。

scaleFabric的優(yōu)勢所在

當(dāng)前國內(nèi)廠商以RoCE路線為主，而曙光堅持采用IB原生RDMA路線，這是為什么？

RoCE網(wǎng)絡(luò)基于以太網(wǎng)嫁接RDMA技術(shù)，本質(zhì)是“在以太網(wǎng)之上跑IB協(xié)議”，用UDP報文封裝IB協(xié)議，屬于嫁接式技術(shù)，可以兼容IP生態(tài)，不過帶寬低、時延高、運維復(fù)雜、大規(guī)模組網(wǎng)能力弱等技術(shù)短板。如果只是中小規(guī)模系統(tǒng)，RoCE會是不錯的選擇，但對大規(guī)模系統(tǒng)可能就不夠了。

IB是面向高端計算的原生RDMA專用高速網(wǎng)絡(luò)，協(xié)議棧專為高速通信設(shè)計、包頭信息短、有效載荷高，但成本昂貴且長期被國際廠商壟斷。以英偉達(dá)為例，其在2019年收購Mellanox補齊高速網(wǎng)絡(luò)板塊，足以見得其對IB這項技術(shù)的重視程度。

隨著以scaleFabric為代表的國產(chǎn)自主RDMA高速網(wǎng)絡(luò)應(yīng)運而生，徹底打破了IB設(shè)備受限的現(xiàn)狀。它兼容IB生態(tài)，擴(kuò)展協(xié)議可支撐10萬卡規(guī)模集群，搭配400G網(wǎng)卡芯片，性能已達(dá)業(yè)界一流水平。

從核心指標(biāo)方面看，時延方面，IB交換機(jī)采用VCT交換機(jī)制，支持邊收邊轉(zhuǎn)，交換時延小于 300ns，而RoCE采用存儲 - 轉(zhuǎn)發(fā)模式，需要完整接收數(shù)據(jù)包后才能轉(zhuǎn)發(fā)，時延普遍在500ns以上，達(dá)到IB的兩倍以上，且動態(tài)時延容易受網(wǎng)絡(luò)擁堵影響而大幅波動；帶寬方面，主流IB網(wǎng)卡400G，主流RoCE網(wǎng)卡200G，而sacleFabric單端口帶寬達(dá)到了800G；無損網(wǎng)絡(luò)實現(xiàn)上，IB采用基于信用的精細(xì)化流控，發(fā)送前確認(rèn)接收端資源，從根源避免丟包，無需額外擁塞控制；RoCE采用PFC暫停機(jī)制，粗粒度流控，易出現(xiàn)丟包、PFC風(fēng)暴/死鎖，必須依賴擁塞控制且需人工調(diào)優(yōu)水線。

在并行效率方面，scaleFabric達(dá)到了85%，遠(yuǎn)超RoCE的65%，核心算力利用率大幅提升。相比傳統(tǒng)RoCE方案，采用國產(chǎn)scaleFabric網(wǎng)絡(luò)后，整體應(yīng)用性能提升幅度超過30%。

從參數(shù)來看，scaleFabric全面對標(biāo)英偉達(dá)NDR系列，甚至部分規(guī)格更優(yōu)：端口密度上，交換機(jī)達(dá)80口400G，比NDR的64口提升25%，大幅降低組網(wǎng)成本；最大QP數(shù)上，支持256K，是NDR的2倍，更好支撐大規(guī)模并行計算；實測性能上，RDMA延時0.93微秒，轉(zhuǎn)發(fā)延時260納秒，達(dá)到國內(nèi)領(lǐng)先水平。

目前，scaleFabric已落地國家超算互聯(lián)網(wǎng)核心節(jié)點的3萬卡商用集群，實現(xiàn)3套scaleX萬卡集群同步上線，為國產(chǎn)最大規(guī)模真實負(fù)載驗證。

專家實測使用效果顯著

如果在國內(nèi)要找一家與英偉達(dá)基因最像的企業(yè)，我們認(rèn)為是曙光。英偉達(dá)的GPGPU起源于科學(xué)計算，最早在中國高校和科研院所推廣生態(tài)；而曙光同樣發(fā)軔于科學(xué)計算領(lǐng)域，在產(chǎn)品層面已形成全線對標(biāo)英偉達(dá)的布局。

紙上談兵易，實戰(zhàn)驗證難。那么，站在一線工程師和從業(yè)者角度來看，曙光的scaleFabric使用體驗究竟如何？

中國科學(xué)院計算技術(shù)研究所研究員王展的團(tuán)隊聚焦分子動力學(xué)模擬這一典型科學(xué)智能場景，其核心挑戰(zhàn)在于高精度長時間模擬。他表示，團(tuán)隊曾在日本富岳超算上的優(yōu)化經(jīng)驗表明，通信是最大瓶頸。在拿到scaleFabric后，他們第一時間部署測試，在單卡性能方面，單QP通信性能優(yōu)于NVIDIA ConnectX-7（CX7），多QP通信Write/Send性能領(lǐng)先，RDMA Write延遲1.14μs、Send延遲 1.47μs，表現(xiàn)優(yōu)異；交換機(jī)轉(zhuǎn)發(fā)延遲實測255ns，與英偉達(dá)IB持平，優(yōu)于主流300ns方案；在大規(guī)模集群測試中，124 GPU規(guī)模下帶寬突破 120GB/s，4096 GPU至萬卡級規(guī)模帶寬基本穩(wěn)定。

王展特別提到，scaleFabric具備極強(qiáng)的科研友好性，開箱即用、OpenSM服務(wù)完善，HPL、LAMMPS 等應(yīng)用無需額外配置即可運行，監(jiān)控與管理工具便捷易用。

北京科技大學(xué)計算機(jī)與通信工程學(xué)院儲根深表示，重大工程依賴數(shù)智模擬來降低成本、縮短周期，要實現(xiàn)“算得準(zhǔn)、算得好”，必須做到高保真數(shù)值模擬，而這會帶來計算量激增，如何充分發(fā)揮算力成為核心挑戰(zhàn)，尤其在超智一體架構(gòu)下，如何利用scaleFabric優(yōu)化通信，是提升性能的關(guān)鍵。

儲根深的團(tuán)隊基于scaleFabric硬件，從硬件層、系統(tǒng)庫層、算法層三層架構(gòu)展開優(yōu)化。在國家超算互聯(lián)網(wǎng)核心節(jié)點的實測中，輻照材料分子動力學(xué)軟件從千卡擴(kuò)展至萬卡，并行效率實現(xiàn)了86%，通信開銷從50%降至10%；堆芯流體力學(xué)CFD軟件 phi-flow萬卡并行效率57%，通信時間下降10%；三維快堆堆芯中子物理輸運軟件 ANT MOC2.0在萬卡規(guī)模下并行效率42%，特征線數(shù)量近2000億，計算精度提升7 倍。

“實際測試中，scaleFabric表現(xiàn)出優(yōu)異的穩(wěn)定性，兩周連續(xù)測試無網(wǎng)絡(luò)抖動或故障，生態(tài)兼容性對標(biāo)英偉達(dá)?！眱Ω罡袊@道，scaleFabric為工程計算軟件的萬卡擴(kuò)展提供了堅實硬件支撐，未來期待在生態(tài)層面持續(xù)優(yōu)化，進(jìn)一步釋放國產(chǎn)算力潛能。

科大訊飛AI工程院智算基礎(chǔ)設(shè)施架構(gòu)師鮑中帥表示，自2019年起，科大訊飛堅定走國產(chǎn)化路線，并與曙光展開深度合作。在國家超算互聯(lián)網(wǎng)核心節(jié)點的3萬卡商用集群中，科大訊飛也落地了多項應(yīng)用優(yōu)化成果：落地了DeepEP，重點解決高吞吐場景的性能瓶頸；通過Ripiple策略重計算技術(shù)解除了重計算與反向計算的綁定關(guān)系，實現(xiàn)更細(xì)粒度的流水線并行；dualpipev+cudagraph技術(shù)實現(xiàn)EP域通信計算overlap，有效降低流水空泡。

鮑中帥強(qiáng)調(diào)，曙光不僅在IB領(lǐng)域能力突出，同時保持開放生態(tài)，科大訊飛與曙光合作歷史久遠(yuǎn)、深入且全面。此外，雙方的合作也不止于IB。

中國自主進(jìn)入新階段

實現(xiàn)突破，曙光來時的路并不輕松。事實上，IB真正的難點在底層，物理層與工藝強(qiáng)相關(guān)，想把網(wǎng)絡(luò)做得比IB更好極其困難。研發(fā)初期，曙光并無十足把握能達(dá)到其水平，過程中經(jīng)歷了諸多艱辛。

最終能取得成功，得益于兩點：一是站在巨人的肩膀上，長期使用IB產(chǎn)品讓曙光對其有深刻理解；二是基于這些經(jīng)驗，得以在自研過程中改進(jìn)其原有設(shè)計的不足，規(guī)避某些痛點。正因如此，曙光在部分性能上反而實現(xiàn)了超越。

而在整個大算力領(lǐng)域，曙光的布局不止是IB，主要集中在三個層面：一是核心計算芯片的研發(fā)；二是硬件層面的高效實現(xiàn)，隨著芯片功率密度、熱密度和IO密度的急劇攀升，在供電和冷卻等支撐技術(shù)上已進(jìn)入“深水區(qū)”，面臨著極具挑戰(zhàn)性的工程難題，必須在此領(lǐng)域?qū)崿F(xiàn)技術(shù)突破；三是系統(tǒng)級的協(xié)同與生態(tài)合作，曙光強(qiáng)調(diào)算、存、傳的協(xié)同，以及與IB等設(shè)備的深度融合。

通過在不同層級進(jìn)行布局，并與國內(nèi)產(chǎn)業(yè)鏈上下游伙伴保持緊密合作，曙光正在構(gòu)建一個自主可控的算力生態(tài)。

從全球看，IB市場由少數(shù)全棧能力廠商主導(dǎo)，英偉達(dá)收購Mellanox后，軟硬件深度結(jié)合，構(gòu)建了高性能集群。國內(nèi)IB發(fā)展正迎頭趕上，從協(xié)議標(biāo)準(zhǔn)確立到速率快速升級，目前已步入融合與自研階段。由于IB設(shè)備一體機(jī)難以獲取，國產(chǎn)自主衍生的RDMA高速網(wǎng)絡(luò)便應(yīng)運而生，如曙光scaleFabric。在此之后，真正的難點在上層生態(tài)建設(shè)。光合組織等平臺的協(xié)同正在加速這一進(jìn)程。

請將我們設(shè)為“星標(biāo)”，這樣就會第一時間收到推送消息。

歡迎關(guān)注EEWorld旗下訂閱號：“機(jī)器人開發(fā)圈”

掃碼添加小助手回復(fù)“機(jī)器人”

進(jìn)群和電子工程師們面對面交流經(jīng)驗