你沒想到吧，AI這波大浪，讓沉寂許久的網(wǎng)絡(luò)也跟著浪起來了，現(xiàn)在互聯(lián)網(wǎng)大廠都在卷HPN網(wǎng)絡(luò)。

所謂HPN，其實就是高性能網(wǎng)絡(luò)（High Performance Network），對比HPC高性能計算，你從字面意思就能理解HPN想干啥。

大廠為什么要卷HPN？

首先，網(wǎng)工們熟悉的TCP，在GPU并行計算的世界里已經(jīng)徹底被拋棄。

并行計算需要網(wǎng)絡(luò)把分布式的內(nèi)存、GPU顯存也給并行起來，會丟包的傳統(tǒng)以太網(wǎng)、能夠自適應(yīng)丟包傳輸?shù)腡CP統(tǒng)統(tǒng)都是不合格的。

必須是不丟包的、能夠繞過內(nèi)核冗長協(xié)議棧的才能把GPU昂貴的算力利用起來。

很湊巧，最好的GPU和最適配的網(wǎng)絡(luò)竟然出自同一家，這樣的網(wǎng)絡(luò)就是IB。

[又是“那個男人”]

用IB很省事，只需要銀子夠就行，搞成N記全家桶，后面基本上啥事都不用管了。

可是這樣一來，網(wǎng)工的價值和尊嚴(yán)簡直就是被按在地上摩擦，還不如當(dāng)個采購去壓價。

是可忍孰不可忍啊。

所以，大廠網(wǎng)工們首先嗅到了機(jī)會的味道，創(chuàng)造一個可以替代IB的命題，自己的價值不就出來了嗎？

大家都希望給決策者們一個明確的信號，IB是可以被平替的，而且只是個工程問題。

當(dāng)然，大廠決策者也不傻，不會光給試驗場讓網(wǎng)工刷存在感，畢竟IB是封閉的，價格又那么刀，自家牛馬如果有實力搞平替，那么順?biāo)浦凼敲髦侵e。

一邊是業(yè)務(wù)倒逼，一邊是網(wǎng)工自驅(qū)，大廠HPN就這樣卷起來了。

HPN的up與out之戰(zhàn)

具體卷成什么樣了呢？

目前的HPN，已經(jīng)分化成了用于超節(jié)點互聯(lián)的scale-up和代替IB互聯(lián)的scale-out。

其實這也是N記定義并引領(lǐng)的↓

▋Scale-up網(wǎng)絡(luò)

一機(jī)8卡的GPU內(nèi)部nvl互聯(lián)叫scale-up，從NVL72開始，又把nvl技術(shù)從機(jī)內(nèi)拓展到機(jī)柜內(nèi)，整機(jī)柜都用scale-up網(wǎng)絡(luò)互聯(lián)的GPU就是超節(jié)點superpod。

這個變化就像是網(wǎng)工們熟悉的盒式交換機(jī)和機(jī)框交換機(jī)一樣，機(jī)框交換機(jī)那必定是交換機(jī)王冠上的明珠。

超節(jié)點對模型推理非常有幫助，因為內(nèi)存語義通信的范圍從8卡變成了幾十上百卡嘛。

[國內(nèi)外廠商的“超節(jié)點”們]

Scale-up中算力卡是內(nèi)存出IO，因此scale-up基本上就是算力卡說了算，說到技術(shù)原理基本上是大同小異，都是在抄nvl的作業(yè)↓

①物理層

都是以太網(wǎng)的serdes，產(chǎn)業(yè)化最好，供應(yīng)最好，開放程度最高；

②鏈路層

也用以太網(wǎng)的封裝結(jié)構(gòu)，這層和物理層耦合密切，自己搞一套和整個產(chǎn)業(yè)界對抗，是誰給你自信；

③網(wǎng)絡(luò)層和和傳輸層

這里就有門道了，通常會有上下游credit分發(fā)和回收流控、固定信元長度、鏈路層重傳之類的高級玩意兒。

目的就是高仿一個CPU無損訪問內(nèi)存（CPU訪問內(nèi)存如果異常，就是常見的藍(lán)屏、夯機(jī)等致命故障）的網(wǎng)絡(luò)，區(qū)別是各家都會有些實現(xiàn)上的細(xì)節(jié)差異；

④控制面

N家用的IB控制面，其余都是BGP這個最后的路由集大成者；

⑤標(biāo)準(zhǔn)和供應(yīng)

UALink是一條路線，主要是N家的對手們在干。

大善人阿B，提供的SUE解決方案（提供網(wǎng)絡(luò)，未來可能也提供算力卡IO）還能支持魔改；

菊花的UB，也開放了，國內(nèi)外還有eth+和eth×開放體系……

百家爭鳴吧，就看誰能先搶到一個有影響力的應(yīng)用，然后擴(kuò)大份額。

對強(qiáng)算力卡廠商而言，scale-up是不可商量的禁臠，是算力卡集群不可分割的一部分。

小算力卡廠商則身段柔軟，無論是誰家的scale-up都能適配，也有自己的方案去小廠或者傳統(tǒng)行業(yè)客戶那里……

就像是路由收斂一樣，最終的方案一定會收斂。

▋Scale-out網(wǎng)絡(luò)

GPU通過pcie連接網(wǎng)卡，網(wǎng)卡再跑RDMA（不管IB還是RoCE），這種模式就是Scale-out。

兩年前，Scale-out也是HPN領(lǐng)域的小甜甜，但自從超節(jié)點出來后，小甜甜就變成牛夫人。

原因不只是技術(shù)，Scale-out火是因為scaling-law。

這個law讓所有玩家都覺得只要能融資買足夠大的GPU算力集群，訓(xùn)練出一個超級?！恋哪Ｐ途湍芙徊盍恕?/p>

但DeepSeek讓這些law的信徒們有點失去信仰，道心破碎的業(yè)者們也被逼去做推理賣token，所以焦點就轉(zhuǎn)移到Scale-up。

當(dāng)然，真正有追求的大廠們必須要擁有自己的模型，這個是玩AI的底牌，自然也是要繼續(xù)研究scale-out的。

同樣的，Scale-out把N記作為抄作業(yè)對象就可以了↓

PCIe SW直接集成到網(wǎng)卡，GPU、CPU、NVMe都是掛在網(wǎng)卡上的，不需要看主板臉色了，也不用看CPU臉色了；
網(wǎng)卡直接支持多個網(wǎng)絡(luò)接口，實現(xiàn)多平面，網(wǎng)卡可以在多個網(wǎng)絡(luò)接口上實現(xiàn)動態(tài)LB，網(wǎng)卡對應(yīng)用層只提供1個RDMA IP，屏蔽多個網(wǎng)絡(luò)接口；
網(wǎng)卡接收上支持亂序，只要是多平面、多路徑的，亂序是基操，當(dāng)然借用一下iWarp的DDP也是很覺的，做工程架構(gòu)嘛，本身就是找成熟的工藝組裝的事情，并不丟人；
交換機(jī)支持逐包均勻地噴射在多個ECMP鏈路上，也可以按動態(tài)權(quán)重噴射；
新的協(xié)議棧都可帶良好的CC，可以容忍丟包，可以拋棄缺陷明顯的PFC，當(dāng)然scale-out不丟包是更好了。

Scale-out也是各個大廠中非常熱鬧的話題，幾乎都有自己的魔改版本RoCE，運行在自己的DPU或者智能網(wǎng)卡上。

這個作業(yè)抄的是Google的TPU和OCS系統(tǒng)，TPU自帶DPU IO，OCS是純光交換。

在這里就不評價各個大廠同行，誰家做得好誰家不好，因為我說好不好，一點也不客觀，絲毫影響不了他們的績效，同行的績效而是靠戰(zhàn)功↓

?這個CC好厲害，有沒有論文，有沒有sigcomm
?自己的CC算法，能不能運行在CX-7網(wǎng)卡上啊
?能不能不用CX-7網(wǎng)卡，也能跑得和CX-7一樣酣暢淋漓
?能不能別老用實驗室數(shù)據(jù)啊，現(xiàn)網(wǎng)有沒有用起來
?現(xiàn)網(wǎng)用的量怎么樣，占比如何，頭牌應(yīng)用有沒有主力用這個
?頭牌應(yīng)用能不能打

自上至下，「戰(zhàn)功」依次遞增。

從技術(shù)角度來看，Out和Up也有共同的地方↓

Lossy RDMA（允許網(wǎng)絡(luò)丟包的RDMA），就是把煩人的PFC干掉，交換機(jī)頂多跑個ECN；

更有甚者，交換機(jī)啥都不跑，由端側(cè)自己測量時延變化。

總之，CC和交換機(jī)無關(guān)，漂亮活兒都是端側(cè)網(wǎng)卡的事情。

從無PFC、支持網(wǎng)絡(luò)丟包這個技術(shù)點出發(fā)，設(shè)計這套CC的網(wǎng)工自然而然就想把scale-out網(wǎng)絡(luò)和傳統(tǒng)的dcn網(wǎng)絡(luò)合并了，這個想法我放到最后一節(jié)了。

Scale-out在自帶網(wǎng)絡(luò)的強(qiáng)算力卡廠商那里，必然是賣方的囊中之物，大廠網(wǎng)工們只能去拿捏那些沒有網(wǎng)絡(luò)的小算力卡或者自研算力卡。

技術(shù)評價指標(biāo)：

在一個常丟包網(wǎng)絡(luò)，一個新的技術(shù)評價體系，在a%丟包率的網(wǎng)絡(luò)中達(dá)到b%的傳輸效率，a+b越接近100，就說明這個魔改的RoCE協(xié)議棧更優(yōu)秀。

Scale-out和機(jī)頭網(wǎng)絡(luò)能合并嗎

Scale-out和機(jī)頭dcn網(wǎng)絡(luò)合并，這個天才般的想法現(xiàn)實中并沒有真實地發(fā)生。

客觀技術(shù)原因是scale-out所需要的帶寬和收斂比和dcn帶寬并不一致，如果dcn要硬做，變化帶來的適配代價會遠(yuǎn)超收益。

但機(jī)頭dcn網(wǎng)絡(luò)也確實有rdma的需求：云存儲和AI推理。

先說存儲↓

宿主機(jī)提供一個云磁盤掛載到云主機(jī)或者容器，宿主機(jī)訪問云存儲集群是underlay。

underlay跑rdma就是干掉內(nèi)核tcp棧的處理時延，收益非常明確，也是應(yīng)用最早的rdma。

云主機(jī)或者容器訪問云盤時是跑在overlay里，這就要求魔改的RoCE跑在Overlay里，這個是近期的熱點，大廠最近喜歡在這里吹點nb。

再說AI推理↓

自從PD分離和AF分離被驗證是有效的后，不同任務(wù)可以用不同的算力卡。

不同任務(wù)之間傳遞的的是KV，KV存儲在調(diào)整存儲集群如HDFS里，任務(wù)運行在容器里。

所以容器去訪問HDFS的KV，天然就是overlay rdma場景，這也推動了dcn內(nèi)rdma的普及。

dcn內(nèi)的rdma將會是各路英雄們大秀身段的舞臺，因為這里沒有算力卡綁定，是網(wǎng)工們最穩(wěn)定的基本盤。

現(xiàn)在明確的需求來了，就看自己能不能接住，并且率先拿到階段性驗證成果、擴(kuò)大驗證贏得內(nèi)部賽馬、外部PR同步跟上……

拜將封侯時不我待

HPN最初是從HPC的RDMA網(wǎng)絡(luò)開始，進(jìn)入大廠變成是IB和RoCE之爭，隨著NVL擺脫機(jī)框的束縛殺向機(jī)柜變成了scale-up網(wǎng)絡(luò)。

原有的RDMA網(wǎng)絡(luò)矮化成了scale-out網(wǎng)絡(luò)，scale-out網(wǎng)絡(luò)棧又入侵（賦能）了dcn，并在dcn領(lǐng)域得到了自由設(shè)計的機(jī)會。

也有網(wǎng)工想把這幾種協(xié)議棧融合在一起的，還是看業(yè)務(wù)結(jié)果吧，路要一步一步走，貪天之功人盡想，眼前之福勿相忘。

我們可以把最終的評價標(biāo)準(zhǔn)撂在這面：老外講de facto，老中講成王敗寇，其實就是看應(yīng)用量：

①你出來的HPN在大廠內(nèi)部的覆蓋率怎么樣，如果10%都不到，你覺得自己是頭猛虎還是個小卡拉咪？
②什么模型訓(xùn)練或者推理跑在你的HPN上，是跑個自娛自樂的玩具，還是跑個日活上百萬、千萬、過億的應(yīng)用？

達(dá)不成這2個標(biāo)準(zhǔn)，無論你怎么吹我這技術(shù)體系這好那好，都是虛的。

關(guān)于作者

鐵籠牛馬，一個誤入江湖20多年的老網(wǎng)工，在鐵籠中享受著互聯(lián)工業(yè)技術(shù)的變遷，為了讓網(wǎng)工們也能獲得這份“享受”，他決定寫點什么。