隨著AI熱潮的不斷發(fā)展，業(yè)界已經(jīng)充分意識(shí)到：除了算力卡之外，智算網(wǎng)絡(luò)也是決定算力集群性能的重要因素之一。智算網(wǎng)絡(luò)就像算力集群內(nèi)部的“神經(jīng)脈絡(luò)”。如果它不能高效工作，哪怕肌肉和大腦再發(fā)達(dá)，整體的能力都會(huì)受到限制。

這些年，圍繞智算網(wǎng)絡(luò)技術(shù)方案，業(yè)界逐漸形成了兩大主流方向：一種是以“GPU + Infiniband（IB）”為代表的私有方案流派；還有一種，是以“魔改”高性能以太網(wǎng)（RoCEv2）為代表的開(kāi)放方案流派。與此同時(shí)，國(guó)內(nèi)算力需求持續(xù)快速增長(zhǎng)，國(guó)產(chǎn)算力生態(tài)加速崛起，形態(tài)更加多元，出現(xiàn)了更多不同品牌的 GPU、網(wǎng)卡和整機(jī)系統(tǒng)。在這種多元化背景下，行業(yè)對(duì)于“更開(kāi)放、更易演進(jìn)、可持續(xù)”的網(wǎng)絡(luò)底座需求也變得愈發(fā)迫切。

正因如此，“魔改以太網(wǎng)”開(kāi)放方案的陣營(yíng)正在不斷擴(kuò)大。這條技術(shù)路線不僅保持了成本、生態(tài)方面的固有優(yōu)勢(shì)，在性能、可靠性、兼容性等關(guān)鍵指標(biāo)上持續(xù)逼近乃至趕超IB。對(duì)于國(guó)內(nèi)目前如火如荼的智算基礎(chǔ)設(shè)施建設(shè)來(lái)說(shuō)，這無(wú)疑是一個(gè)重大利好。

前段時(shí)間，新華三推出了一個(gè)很有特色的創(chuàng)新架構(gòu)智算方案，名字叫做DDC，吸引了整個(gè)行業(yè)的關(guān)注。這個(gè)方案，就屬于剛才說(shuō)的開(kāi)放方案流派。

說(shuō)到DDC，可能很多專業(yè)讀者會(huì)首先想到業(yè)界最早提出的“分布式解耦機(jī)框（Disaggregated Distributed Chassis）”。如果它是DDC 1.0，那么新華三推出的DDC架構(gòu)，則是在DDC 1.0基礎(chǔ)上的演進(jìn)升級(jí)，全稱叫Diversified Dynamic-Connectivity，多元?jiǎng)討B(tài)聯(lián)接。它同樣屬于分布式解耦機(jī)框的技術(shù)路線，但引入了多項(xiàng)關(guān)鍵技術(shù)創(chuàng)新，在傳輸性能、連接規(guī)模、開(kāi)放解耦、運(yùn)維簡(jiǎn)化等方面都有了巨大的改進(jìn)提升。

接下來(lái)，我們就詳細(xì)看看，新華三的DDC方案，到底有哪些黑科技。

●高帶寬+大規(guī)模

新華三的DDC方案包括NCP（網(wǎng)絡(luò)處理單元）和NCF（網(wǎng)絡(luò)交換單元）兩層，通過(guò)Spine-Leaf葉脊架構(gòu)進(jìn)行全連接。NCP相當(dāng)于業(yè)務(wù)線卡，NCF相當(dāng)于交換網(wǎng)板，都是獨(dú)立工作的盒型形態(tài)。

方案對(duì)應(yīng)到新華三的具體產(chǎn)品，是H3C S12500AI系列交換機(jī)。NCF有一款H3C S12500AI-NCFN。NCP有兩款，分別是H3C S12500AI-18EP20EP-NCPN、H3C S12500AI-36DH20EP-NCPN。

產(chǎn)品的外型和端口數(shù)如下圖所示：

NCP和NCF的端口都支持800G，完全可以滿足當(dāng)前主流網(wǎng)卡形態(tài)的接入需求，帶寬妥妥夠。

規(guī)模方面，也很容易計(jì)算。單POD組網(wǎng)（DDC單集群）下，800G信元端口可以分為兩個(gè)400G，也就是支持40個(gè)NCF和256個(gè)NCP，總共支持256（接入設(shè)備）*36（接入端口）=9216個(gè)端口（400G）。如果是800G的話，就是4608個(gè)端口。

這個(gè)端口數(shù)量，足夠支撐國(guó)內(nèi)絕大多數(shù)的智算集群應(yīng)用。如果要搞萬(wàn)卡集群，就可以采用多POD組網(wǎng)（DDC多集群），最大可支持8個(gè)POD，也就是73728個(gè)400G端口（或36864個(gè)800G端口）。

●零擁塞+零波動(dòng)

接下來(lái)，我們來(lái)看最關(guān)鍵的無(wú)損傳輸。也就是說(shuō)，當(dāng)智算網(wǎng)絡(luò)處于高流量負(fù)荷狀態(tài)的時(shí)候，會(huì)不會(huì)出現(xiàn)丟包、抖動(dòng)和擁塞。

眾所周知，AIGC大模型訓(xùn)練業(yè)務(wù)對(duì)網(wǎng)絡(luò)丟包極為敏感，輕則導(dǎo)致吞吐效率降低，重則將使訓(xùn)練任務(wù)中斷。無(wú)論是哪一種，都會(huì)嚴(yán)重影響算力集群的訓(xùn)練周期和成本。

新華三DDC方案是如何確保實(shí)現(xiàn)零波動(dòng)、零擁塞的呢？

答案就是以信元轉(zhuǎn)發(fā)為核心的負(fù)載均衡機(jī)制，以及基于“VoQ（Virtual Output Queueing，虛擬輸出隊(duì)列）+Credit”的確定性擁塞控制機(jī)制。

大模型訓(xùn)練場(chǎng)景的流量特點(diǎn)，概括來(lái)說(shuō)，就是大而且雜。因?yàn)橛?xùn)練包括多種方式（例如DP數(shù)據(jù)并行、PP流水并行、TP張量并行、EP專家并行），每種方式的流量模型不一樣。有的帶寬高（低），有的流數(shù)多（少），還經(jīng)常會(huì)高并發(fā)、突發(fā)。

傳統(tǒng)的ECMP（等價(jià)多路徑路由）等負(fù)載均衡機(jī)制根本無(wú)法應(yīng)對(duì)這種復(fù)雜流量特征，流量容易被哈希到同一鏈路，產(chǎn)生擁塞。

新華三DDC方案的做法，是網(wǎng)卡（GPU）側(cè)的數(shù)據(jù)流進(jìn)入NCP后，切割為等長(zhǎng)字節(jié)的信元。然后，將這些信元?jiǎng)討B(tài)、均衡地噴灑到內(nèi)部交換網(wǎng)絡(luò)（NCF）的所有鏈路上。在信元到達(dá)出口NCP時(shí)，再進(jìn)行重組。

這就是以信元轉(zhuǎn)發(fā)為核心的負(fù)載均衡機(jī)制。

再看看確定性擁塞控制機(jī)制。

下圖，是傳統(tǒng)非DDC的RoCE方案的擁塞案例，基于PCF（優(yōu)先級(jí)流控制）+ECN（顯性擁塞通知）機(jī)制。

具體來(lái)說(shuō)，當(dāng)Spine1到Leaf9之間的鏈路（黃色線）出現(xiàn)擁塞時(shí)，Spine1會(huì)逐層向上反壓，向Leaf1發(fā)PFC幀。這就會(huì)導(dǎo)致Leaf1和Spine1之間端口的相關(guān)隊(duì)列全部被壓住。這就會(huì)影響Spine1到其它Leaf（例如綠色線）的流量。這就是線頭阻塞問(wèn)題。

在DDC方案里，就不存在這種情況。

DDC方案的VoQ，是在入口設(shè)備上基于不同出端口維護(hù)的隊(duì)列。當(dāng)Spine1到Leaf9之間的鏈路出現(xiàn)擁塞時(shí)，只影響基于Leaf9的VoQ隊(duì)列。其它VoQ隊(duì)列（例如Leaf1到Leaf8）并不受影響。這就避免了線頭阻塞的問(wèn)題，實(shí)現(xiàn)了精準(zhǔn)反壓。

這有點(diǎn)像餐廳排號(hào)，大桌、中桌、小桌分開(kāi)排隊(duì)，互不影響。

VoQ解決了線頭阻塞問(wèn)題。那么確定性的擁塞控制，又是如何實(shí)現(xiàn)的呢？這就需要Credit授權(quán)控制轉(zhuǎn)發(fā)機(jī)制的配合。

可以將Credit理解為令牌。當(dāng)入向要往出向進(jìn)行轉(zhuǎn)發(fā)時(shí)，會(huì)先發(fā)授權(quán)請(qǐng)求。當(dāng)出向的帶寬可以保證報(bào)文轉(zhuǎn)發(fā)的時(shí)候，出口NCP才會(huì)給入口NCP發(fā)Credit授權(quán)回應(yīng)，允許流量推送。

Credit有點(diǎn)像餐廳的叫號(hào)系統(tǒng)。只有叫號(hào)了，才允許進(jìn)入，就可以避免擁塞。

在以信元轉(zhuǎn)發(fā)為核心的負(fù)載均衡機(jī)制和基于“Credit + VoQ”的確定性擁塞控制機(jī)制的共同加持下，新華三DDC方案能夠?qū)崿F(xiàn)鏈路利用率100%的負(fù)載均衡效果，且充分吸收突發(fā)流量，徹底消除DDC網(wǎng)絡(luò)內(nèi)部的擁塞。

經(jīng)權(quán)威機(jī)構(gòu)測(cè)試驗(yàn)證，新華三DDC方案的帶寬利用率絲毫不亞于InfiniBand網(wǎng)絡(luò)。

在8臺(tái)服務(wù)器64張英偉達(dá)H20 GPU卡，進(jìn)行NCCL-Test對(duì)比測(cè)試。All Reduce場(chǎng)景下，DDC性能與IB基本持平。16G數(shù)據(jù)時(shí)，DDC比IB提升了0.27%。All-to-All場(chǎng)景下，256M以下數(shù)據(jù)對(duì)比IB無(wú)提升效果。1G以上數(shù)據(jù)時(shí)，DDC性能提升明顯。16G數(shù)據(jù)時(shí)，比IB提升了21.74%。這說(shuō)明，數(shù)據(jù)量越大，DDC的優(yōu)勢(shì)越明顯。

●網(wǎng)卡解耦+多元異構(gòu)

新華三DDC作為分布式機(jī)框，實(shí)現(xiàn)了“物理上的分體、邏輯上的整體”。它就像一個(gè)“超級(jí)交換機(jī)”，前面提到的信元切割、重組，還有VoQ+Credit技術(shù)，都是在其內(nèi)部完成的，不需要網(wǎng)卡的參與。

也就是說(shuō)，DDC實(shí)現(xiàn)了與網(wǎng)卡和GPU的完全解耦。

此外，DDC基于信元的擁塞管理和負(fù)載均衡是獨(dú)立于IP轉(zhuǎn)發(fā)域的。DDC對(duì)不同的流量模型和特征都不敏感。設(shè)備接入DDC后，網(wǎng)卡側(cè)也不需要進(jìn)行專門的調(diào)優(yōu)。

這就意味著，基于DDC架構(gòu)的智算網(wǎng)絡(luò)，可以接入多元算力，兼容性和靈活性更強(qiáng)。對(duì)任意流量模型，DDC方案都可以達(dá)到最佳負(fù)載均衡效果。

正如本文開(kāi)頭所說(shuō)，能夠承接多元算力生態(tài)，是目前國(guó)內(nèi)發(fā)展智算網(wǎng)絡(luò)技術(shù)的剛性需求。新華三DDC方案可以很好地兼容各個(gè)廠商的算卡，給用戶組建多元異構(gòu)算力集群創(chuàng)造了條件，也可以幫助用戶降低成本開(kāi)支。這為國(guó)內(nèi)AI智算集群建設(shè)提供了一個(gè)更理想的選項(xiàng)。

●極簡(jiǎn)部署+極簡(jiǎn)運(yùn)維

新華三DDC方案需要聯(lián)接海量設(shè)備和異構(gòu)算力，業(yè)務(wù)流量大，流量特征復(fù)雜。這給整個(gè)系統(tǒng)的運(yùn)維帶來(lái)了很大的挑戰(zhàn)。

對(duì)此，新華三推出了AD-DC智算版智能管控分析平臺(tái)。該平臺(tái)預(yù)設(shè)了DDC開(kāi)局模板，具備一鍵自動(dòng)上線功能，設(shè)備即插即用，無(wú)需復(fù)雜調(diào)優(yōu)，從而大幅簡(jiǎn)化部署流程，可以實(shí)現(xiàn)天級(jí)快速交付。

通過(guò)平臺(tái)，還可以對(duì)整個(gè)DDC網(wǎng)絡(luò)進(jìn)行可視化管理，直接掌控全網(wǎng)架構(gòu)。平臺(tái)也可以自動(dòng)檢測(cè)設(shè)備間的鏈路狀態(tài)，如果發(fā)現(xiàn)斷連、錯(cuò)連等異常，就會(huì)及時(shí)告警，實(shí)現(xiàn)可視化定位。

AD-DC智算版智能管控分析平臺(tái)引入了AI算法進(jìn)行運(yùn)維。系統(tǒng)會(huì)實(shí)時(shí)采集設(shè)備端口流量、Pause幀等關(guān)鍵指標(biāo)，結(jié)合AI算法進(jìn)行深度分析，精準(zhǔn)識(shí)別網(wǎng)絡(luò)擁塞、異常流量等潛在故障。

在芯片丟包、光模塊故障等方面，AD-DC都有快速診斷能力，可以大幅降低系統(tǒng)運(yùn)行風(fēng)險(xiǎn)，減少對(duì)訓(xùn)練任務(wù)造成的影響。

▉開(kāi)放生態(tài)，共建產(chǎn)業(yè)標(biāo)準(zhǔn)

最后，我們?cè)賮?lái)看看DDC的生態(tài)。

行業(yè)里的智算網(wǎng)絡(luò)方案分為封閉（私有閉源）和開(kāi)放兩種。業(yè)界有一些可提供GPU和網(wǎng)絡(luò)方案的廠商，就會(huì)通過(guò)集合通信庫(kù)（CCL）將二者進(jìn)行捆綁，迫使客戶只能選擇整套解決方案。

新華三在設(shè)計(jì)DDC架構(gòu)之初，就選擇了“生態(tài)開(kāi)放”的路線。

DDC的控制平面使用標(biāo)準(zhǔn)的BGP EVPN協(xié)議，不但實(shí)現(xiàn)網(wǎng)元之間自協(xié)商、自組網(wǎng)，降低了配置復(fù)雜程度，更能支持不同廠商的NCP/NCF實(shí)現(xiàn)異構(gòu)組網(wǎng)。

這幾年，新華三一直堅(jiān)持這個(gè)路線沒(méi)動(dòng)搖。2024年，他們攜手合作伙伴，發(fā)布了OSF（Open Schedule Fabric，開(kāi)放調(diào)度網(wǎng)絡(luò)）協(xié)議網(wǎng)絡(luò)架構(gòu)，分別在需求場(chǎng)景分析、方案框架定義、技術(shù)方案落地等三個(gè)方面提交了多篇標(biāo)準(zhǔn)議案，得到了IETF組織的認(rèn)可。這個(gè)架構(gòu)將調(diào)度式網(wǎng)絡(luò)架構(gòu)與傳統(tǒng)以太網(wǎng)絡(luò)結(jié)合，能夠達(dá)到均衡利用網(wǎng)絡(luò)資源、故障快速切換等優(yōu)化目標(biāo)。

正如前面所說(shuō)，國(guó)內(nèi)的智算建設(shè)具有多元化的特點(diǎn)。所以，開(kāi)放生態(tài)顯然更適合當(dāng)下的發(fā)展趨勢(shì)。往小了說(shuō)，開(kāi)放生態(tài)對(duì)用戶有利，降低了使用智算算力的技術(shù)難度，也減少了成本投入。往大了說(shuō)，我們國(guó)家智算基礎(chǔ)設(shè)施的建設(shè)布局，以及整個(gè)智算產(chǎn)業(yè)和生態(tài)的健康發(fā)展，都會(huì)隨之受益。

▉結(jié)語(yǔ)

好啦，寫到這里，相信大家對(duì)新華三的DDC方案已經(jīng)有了充分的了解。

智算中心的總投資中，智算網(wǎng)絡(luò)投資占比僅為10%。10%的智算網(wǎng)絡(luò)投資將會(huì)撬動(dòng)30%以上算力效能提升。這是一個(gè)非常劃算的買賣。

這充分說(shuō)明，在智算時(shí)代，網(wǎng)絡(luò)已不再是單純的“聯(lián)接”。它與計(jì)算深度融合，可以發(fā)揮“算力×聯(lián)接”的倍增效應(yīng)。

新華三開(kāi)了一個(gè)好頭，通過(guò)DDC架構(gòu)創(chuàng)新，解決了智算網(wǎng)絡(luò)在超大規(guī)模、極致性能與生態(tài)適配方面的難題，不僅為國(guó)產(chǎn)化方案樹(shù)立了標(biāo)桿，也為全球用戶提供了新的選項(xiàng)。