先說(shuō)重點(diǎn),

GPU計(jì)算不能等，網(wǎng)要好。

到底用哪種網(wǎng),

這個(gè)問(wèn)題成了關(guān)鍵。

而且，還有人誤會(huì)網(wǎng)絡(luò)不重要，

我得知：

一家國(guó)產(chǎn)知名大模型廠商，

就不說(shuō)哪家了，

買(mǎi)了英偉達(dá)一萬(wàn)張卡，

配的PCIe接口。

送命不至于，

就是吃虧。

我判斷：

2024年全球頭部GPU技術(shù)路標(biāo)：

用超節(jié)點(diǎn)連起的10萬(wàn)卡GPU集群。

那么問(wèn)題來(lái)了，卡之間的連接，

用什么網(wǎng)？

我還判斷：

英偉達(dá)超節(jié)點(diǎn)（NVL72）引領(lǐng)下一輪組網(wǎng)架構(gòu)，

除了英偉達(dá)以外的玩家，

他們往往被稱(chēng)為“非英偉達(dá)廠商”

該如何應(yīng)對(duì)？

言下之意明了，

AI網(wǎng)絡(luò)進(jìn)入大爭(zhēng)之世，

各自為戰(zhàn)，還是聯(lián)盟合作？

這篇文章將探討，

多方玩家競(jìng)爭(zhēng)與合作的可能。

目錄：

（一）機(jī)內(nèi)機(jī)外“過(guò)時(shí)了“？

故事開(kāi)始了。

無(wú)論別人信不信英偉達(dá)壟斷，

反正我信了。

當(dāng)然可以說(shuō)得保守點(diǎn)：

“有壟斷之嫌”。

英偉達(dá)壟斷了計(jì)算，

那是否壟斷了網(wǎng)絡(luò)？

在大規(guī)模GPU相互連接進(jìn)行計(jì)算的情況下，

計(jì)算與網(wǎng)絡(luò)緊密交織，

性能不再是一個(gè)單一的概念。

英偉達(dá)服務(wù)器內(nèi)部網(wǎng)絡(luò)是封閉玩法，

誰(shuí)也不能自造一個(gè)網(wǎng)絡(luò)，

跟英偉達(dá)的拼起來(lái)用。

俗稱(chēng)“拼桌。

不就是傳輸個(gè)數(shù)據(jù)包，還分派系了？

真是如此，

沒(méi)辦法，

科技廠商天然偏好各自為戰(zhàn)，

因?yàn)榻K極都追求“壟斷”。

如果哪天不這樣了，

一定是有什么強(qiáng)大力量，

讓他們痛苦了。

這是我一開(kāi)始的想法，

只看到了其中一層，

現(xiàn)在我有了更深的理解，

后面會(huì)講。

你看，數(shù)據(jù)中心里的AI網(wǎng)絡(luò)，

網(wǎng)絡(luò)分兩種。

機(jī)內(nèi)和機(jī)外。

不得不服氣的是，

短短幾個(gè)月，

我發(fā)現(xiàn)這種說(shuō)法已經(jīng)過(guò)時(shí)了。

沒(méi)辦法，技術(shù)又迭代了。

一個(gè)服務(wù)器是4卡8卡GPU的時(shí)期，

可以這樣說(shuō)。

然而，當(dāng)NVL72這種超節(jié)點(diǎn)產(chǎn)品來(lái)了，

這個(gè)說(shuō)法就不準(zhǔn)了。

“機(jī)內(nèi)機(jī)外”容易造成誤解。

也就是，“機(jī)內(nèi)機(jī)外”過(guò)時(shí)了。

這意味著，

一場(chǎng)新紛爭(zhēng)悄然揭幕。

兩句話說(shuō)不清，

展開(kāi)細(xì)聊。

話說(shuō)回來(lái)，

GPU4卡8卡的時(shí)候，

機(jī)內(nèi)互聯(lián)，集成度高，

網(wǎng)絡(luò)速度非?？臁?/p>

打個(gè)比方，

一個(gè)服務(wù)器好比一間教室，

坐8個(gè)學(xué)生，互相傳作業(yè)

相當(dāng)于，8張GPU卡用NVLink相連。

然而，想和其他教室傳作業(yè)，

網(wǎng)速就會(huì)慢。

有多慢呢？

服務(wù)器外的網(wǎng)絡(luò)（機(jī)外網(wǎng)絡(luò)），

比機(jī)內(nèi)網(wǎng)絡(luò)慢了一個(gè)數(shù)量級(jí)。

除了快慢，

還有價(jià)格，

機(jī)內(nèi)網(wǎng)絡(luò)比機(jī)外網(wǎng)絡(luò)貴多了。

結(jié)果很清楚，

英偉達(dá)賺了好多錢(qián)。

強(qiáng)需求，

又推著GPU了上了一新臺(tái)階。

英偉達(dá)拿出了產(chǎn)品GB200 NVL72，

下文簡(jiǎn)稱(chēng)NVL72。

這個(gè)產(chǎn)品一出現(xiàn)，

就引領(lǐng)了一個(gè)新方向，

在計(jì)算集群中，

每個(gè)節(jié)點(diǎn)通常包含多個(gè) GPU 和處理器。

這里提到的 " NVL +數(shù)字" ，

指的是一個(gè)超大節(jié)點(diǎn)中GPU數(shù)量。

NVL36的節(jié)點(diǎn)有36個(gè)GPU。

同理，NVL576的節(jié)點(diǎn)有576個(gè)GPU。

讓人生氣的是，

國(guó)產(chǎn)暫時(shí)沒(méi)有能比肩的。

不過(guò)譚老師我可以喊話國(guó)產(chǎn)廠商：

“等著用，搞快點(diǎn)”。

英偉達(dá)NVL72的機(jī)柜就像一個(gè)大冰箱。

內(nèi)部也挺復(fù)雜，

有72個(gè)GPU分別放在18張計(jì)算卡上，

一個(gè)計(jì)算卡，其實(shí)就是一個(gè)Tray（托架）。

而一張計(jì)算卡，

相當(dāng)于一臺(tái)服務(wù)器。

這樣，每張計(jì)算卡里有4個(gè)GPU。

口算4 X 18=72，

相當(dāng)于裝了72個(gè)GPU。

網(wǎng)絡(luò)也非常好，

72個(gè)GPU工作起來(lái)像一個(gè)。

這個(gè)東西再叫服務(wù)器，就不合適了，

那就叫超節(jié)點(diǎn)吧。

于是，新問(wèn)題來(lái)了，

請(qǐng)問(wèn)，這個(gè)超節(jié)點(diǎn)里面72個(gè)GPU用的什么網(wǎng)絡(luò)連接？

答案是選A，還是選B？

沒(méi)搞錯(cuò)吧？

以前，機(jī)內(nèi)和機(jī)外網(wǎng)絡(luò)。

以前，8個(gè)以上GPU就是Scale out網(wǎng)絡(luò)，

現(xiàn)在72個(gè)GPU了，

理應(yīng)仍然是Scale out網(wǎng)絡(luò)。

為什么是Scale up網(wǎng)絡(luò)？

當(dāng)超節(jié)點(diǎn)走進(jìn)數(shù)據(jù)中心組網(wǎng)，

技術(shù)變了，爭(zhēng)議來(lái)了。

商機(jī)也來(lái)了。

（二）題好難

論單詞難度，

Scale up網(wǎng)絡(luò)，Scale out網(wǎng)絡(luò)

是高中英語(yǔ)考試的難度，

論技術(shù)難度，

一下沖到了阿里P7。

題這么難，都是NVL72造成的。

替我問(wèn)候一下它。

技術(shù)上的變化到底是什么呢？

以前，Scale up網(wǎng)絡(luò)局限在服務(wù)器內(nèi)部，

現(xiàn)在，NVL72里面明顯用到了服務(wù)器外面的網(wǎng)絡(luò)，

所以，是Scale up網(wǎng)絡(luò)。

不只叫法變了，

本質(zhì)是網(wǎng)絡(luò)結(jié)構(gòu)變了。

最初一個(gè)服務(wù)器有8個(gè)GPU，

所有GPU在同一個(gè)操作系統(tǒng) (OS) 內(nèi)，

這使得它們彼此訪問(wèn)內(nèi)存變得很自然，

類(lèi)似于一個(gè)“共享內(nèi)存”的環(huán)境。

當(dāng)系統(tǒng)擴(kuò)展到 72個(gè)GPU 時(shí)，

這些GPU要被分散到18個(gè)操作系統(tǒng)中，

但得益于硬核網(wǎng)絡(luò)支持，

它們分布在不同的操作系統(tǒng) (OS)上，

且能跨多個(gè)操作系統(tǒng) (OS）來(lái)進(jìn)行操作。

比如，第一個(gè)操作系統(tǒng) (OS），

直接“訪問(wèn)”第 18 個(gè)操作系統(tǒng) (OS)的內(nèi)存。

所以，即便擴(kuò)展到72個(gè)GPU，

繼續(xù)叫它Scale up網(wǎng)絡(luò)。

叫法并不是重點(diǎn)，

重點(diǎn)在于要設(shè)計(jì)新網(wǎng)絡(luò)結(jié)構(gòu)，

部署新的Scale up網(wǎng)絡(luò)的設(shè)備，

這些都要花錢(qián)。

另一方面，

硬件有變化，

GPU有72個(gè)，

但這個(gè)說(shuō)法不準(zhǔn)確，

應(yīng)該是B200這款GPU芯片，

而GB200而不是單一的GPU，

而是一種GPU計(jì)算系統(tǒng)，

以SuperPOD（超級(jí)節(jié)點(diǎn)）方式擴(kuò)展大規(guī)模部署。

和美國(guó)關(guān)系好的那些人，

英偉達(dá)B200和GB200，

將在2024年第4季度，

和2025年第1季度，

陸續(xù)出貨。

英偉達(dá)B300系列產(chǎn)品，

將按計(jì)劃2025年第2季度至第3季度，

開(kāi)始出貨。

不僅如此，硬件變化還包括，

以前，“機(jī)內(nèi)網(wǎng)絡(luò)”高度集成，

GPU和交換機(jī)芯片集成在一起，

現(xiàn)在，交換機(jī)芯片單獨(dú)出來(lái)了。

這些變化都?xì)w結(jié)在一個(gè)難點(diǎn)上，

到底怎么互聯(lián)？

第一，一臺(tái)服務(wù)器里有8張GPU（H100），

第二，增加到72張GPU（NVL72），

第三，將來(lái)還會(huì)塞288個(gè)，576個(gè)GPU，

第四，甚至再塞1152個(gè)GPU。

從NVL72開(kāi)始，

英偉達(dá)提出讓Scale up網(wǎng)絡(luò)沖出服務(wù)器邊界。

這樣，NVL72網(wǎng)絡(luò)的就在服務(wù)器外面了。

好消息是，

網(wǎng)速是快了，

更好消息是，

延續(xù)了機(jī)內(nèi)比機(jī)外貴的“光榮傳統(tǒng)”，

Scale up網(wǎng)絡(luò)的價(jià)格，

也比Scale out網(wǎng)絡(luò)貴了一個(gè)數(shù)量級(jí)。

誰(shuí)不高興利潤(rùn)高呢？

好好干活，

把錢(qián)賺了。

可是，別讓英偉達(dá)一個(gè)人把錢(qián)賺了。

寫(xiě)到這里，

該總結(jié)一下了：

網(wǎng)絡(luò)有變，錢(qián)多，速來(lái)。

（三）NVL72組網(wǎng)，數(shù)學(xué)題不會(huì)就是不會(huì)

硬件總會(huì)壞，沒(méi)辦法，

都想把GPU往死用。

前不久，Meta公司說(shuō)1.6萬(wàn)卡GPU集群搞訓(xùn)練，

大概每隔2-3個(gè)小時(shí)就掛死一次，

這是什么概念？

我們假定任務(wù)重啟耗時(shí)15分鐘，

那這個(gè)占比就將近1/10。

當(dāng)這個(gè)集群變成10萬(wàn)卡，

30分鐘掛起一次，

15分鐘解決故障，

白費(fèi)50%的時(shí)間。

而且這個(gè)硬件故障率，

短時(shí)間內(nèi)不會(huì)有根本性改變。

不過(guò)，有了超節(jié)點(diǎn)NVL72，

情況好轉(zhuǎn)了一點(diǎn)，

NVL72里面，

是Scale up網(wǎng)絡(luò)互聯(lián)，

也就是超高速互聯(lián)。

以前，

一個(gè)服務(wù)器里8張GPU，

1張GPU卡壞了，

整個(gè)服務(wù)器就掛了。

現(xiàn)在，

一個(gè)服務(wù)器里面有18張計(jì)算卡，

（也就是托架，英文Tray），

一張GPU卡壞了，

還有17個(gè)計(jì)算卡可以繼續(xù)用，

故障范圍變小了。

NVL72擴(kuò)大成NVL576呢？

這么多設(shè)備，

網(wǎng)絡(luò)肯定復(fù)雜了，

得考慮，

NVL72組網(wǎng)的架構(gòu)怎么設(shè)計(jì)？

肯定需要多層的網(wǎng)絡(luò)設(shè)計(jì)。

感覺(jué)進(jìn)入譚老師我不擅長(zhǎng)之處了。

NLV576作為一個(gè)超級(jí)大的節(jié)點(diǎn)，

我口算一下NVL 576的網(wǎng)絡(luò)架構(gòu)：

576=72x8

果然算錯(cuò)了，

正確的算法是：

576=36 X 16，

為什么呢？

因?yàn)樵O(shè)備數(shù)量超過(guò)一個(gè)機(jī)架（Rack）的容量，

就需要2級(jí)組網(wǎng)。

引入交換機(jī)，

用交換機(jī)支持多個(gè)機(jī)架之間的通信和數(shù)據(jù)傳輸，

而每個(gè)交換機(jī)的端口數(shù)有限。

網(wǎng)絡(luò)在擴(kuò)展，

但也會(huì)導(dǎo)致端口利用率的降低。

舉個(gè)例子，NVL576由16臺(tái)NVL36組成。

它的網(wǎng)絡(luò)結(jié)構(gòu)，需引入2級(jí)交換機(jī)，

一層NV Switch上面還要再加一層NV Switch。

NV Switch之間還需要互聯(lián)，

占了一半端口。

也就是說(shuō)，

不能所有的端口都連在GPU上，

留有端口連2級(jí)交換機(jī)，

所以，要空出來(lái)36個(gè)口，

讓它們?nèi)ミB交換機(jī)。

復(fù)雜吧。

不過(guò)，花開(kāi)兩朵，各表一枝，

交換機(jī)多了，

客戶要建更復(fù)雜的網(wǎng)絡(luò)，

花更多的錢(qián)。

這里，用數(shù)學(xué)中的拓?fù)洌?/p>

來(lái)分析節(jié)點(diǎn)之間的互聯(lián)結(jié)構(gòu)和路徑優(yōu)化。

阿里云智能集團(tuán)研究員席永青告訴我一些細(xì)節(jié)：

“比如，模型訓(xùn)練時(shí)候的資源分布，

跟網(wǎng)絡(luò)拓?fù)渥鲆欢ǖ挠H和性，

可以使訓(xùn)練效果更好?！?/p>

10萬(wàn)卡的網(wǎng)絡(luò)的難題，

頂級(jí)卡規(guī)模團(tuán)隊(duì)訓(xùn)練必須要搞定，

目前最關(guān)心這個(gè)了，

是時(shí)候考驗(yàn)團(tuán)隊(duì)技術(shù)水平了，

大老板們可能會(huì)用這個(gè)技術(shù)難點(diǎn)做年終OKR。

寫(xiě)到這里，

故事基本講完了，

若想理解更深，

需往前追溯“網(wǎng)絡(luò)一戰(zhàn)”。

（四）回顧 “網(wǎng)絡(luò)一戰(zhàn)”，勝負(fù)已分

在下手寫(xiě)網(wǎng)絡(luò)“一戰(zhàn)”之前，

作為一個(gè)科技科普作者，

我必須表達(dá)一下對(duì)以太網(wǎng)的崇敬，

盡管計(jì)算機(jī)經(jīng)歷了多次重大變革，

但以太網(wǎng)一直以來(lái)都在改進(jìn)

對(duì)技術(shù)變革的適應(yīng)性極強(qiáng)。

我今天講的這段，

只是以太網(wǎng)歷史長(zhǎng)河中的一朵浪花。

浪花淘盡英雄，

不愧為世界上應(yīng)用最廣泛的網(wǎng)絡(luò)技術(shù)，

以太網(wǎng)的發(fā)明者也說(shuō)：

“將以太網(wǎng)設(shè)計(jì)為一個(gè)開(kāi)放的、非專(zhuān)有的、

產(chǎn)業(yè)化標(biāo)準(zhǔn)的本地網(wǎng)絡(luò)的意義，

甚至大于發(fā)明以太網(wǎng)本身?！?/p>

至于AI網(wǎng)絡(luò)，

在4卡8卡的那個(gè)時(shí)期，

就需要高性能網(wǎng)絡(luò)了，

而且有兩股技術(shù)力量在較量，

InfiniBand（IB）網(wǎng)絡(luò)和以太網(wǎng)（RoCE）。

不用多說(shuō)，

大家應(yīng)該看出來(lái)我站哪邊了，

從古至今，勝利從來(lái)都不是輕而易得的。

IB是英偉達(dá)買(mǎi)下了Mellanox公司，

進(jìn)而獲得了該技術(shù)。

我認(rèn)為，IB挑戰(zhàn)以太網(wǎng)，

是獲得了一些先機(jī)。

但是先機(jī)不代表勝利。

IB幫英偉達(dá)賺到了大錢(qián)。

畢竟，IB這種網(wǎng)絡(luò)是英偉達(dá)專(zhuān)有，

專(zhuān)有意味著，

專(zhuān)有了技術(shù)，

專(zhuān)有了設(shè)備及連接部件。

這樣玩，肯定封閉了。

話說(shuō)兩頭，封閉某種程度上確實(shí)賺錢(qián)，

但也會(huì)限制發(fā)展。

輸贏不在一時(shí)，

經(jīng)過(guò)幾年激烈競(jìng)爭(zhēng)，

以太網(wǎng)（RoCE）贏了。

誰(shuí)叫人家以太網(wǎng)（RoCE）是開(kāi)放標(biāo)準(zhǔn)呢，

可跑在任何以太網(wǎng)硬件（支持RoCE）上。

“任何”兩個(gè)字語(yǔ)氣加重。

想想換昂貴設(shè)備的成本，

語(yǔ)氣還得再沉痛一些。

畢竟，賊船好上，不好下。

RoCE被視為在以太網(wǎng)的基礎(chǔ)上，

實(shí)現(xiàn)了更高效的數(shù)據(jù)傳輸。

你也可以不理解RoCE的技術(shù)原理

簡(jiǎn)單說(shuō)，以太網(wǎng)（RoCE）贏在開(kāi)放，

朋友多，生態(tài)大。

其實(shí)競(jìng)爭(zhēng)還是比拼了性?xún)r(jià)比。

雖然太網(wǎng)（RoCE）有暗坑，

對(duì)技術(shù)團(tuán)隊(duì)的要求也高，

但是，誰(shuí)讓人家主打一個(gè)性?xún)r(jià)比呢？

再講一個(gè)錯(cuò)誤的理解，

有人總說(shuō)，英偉達(dá)這好那好，

對(duì)英偉達(dá)只會(huì)猛夸，

英偉達(dá)的IB網(wǎng)絡(luò)也最好。

實(shí)際上，以太網(wǎng)（RoCE）在萬(wàn)卡規(guī)模，

已經(jīng)暗暗贏了。

現(xiàn)在馬上進(jìn)入72卡GPU的時(shí)期，

網(wǎng)絡(luò)“一戰(zhàn)”的硝煙似乎沒(méi)有消散。

我在寫(xiě)網(wǎng)絡(luò)“一戰(zhàn)”的時(shí)候，

我的觀察是，

互聯(lián)網(wǎng)自誕生之日起就主打一個(gè)開(kāi)放，

就像兩個(gè)人聊天，不能雞同鴨講，

不同廠商的設(shè)備之間，

也需要有“標(biāo)準(zhǔn)語(yǔ)言”來(lái)進(jìn)行“連接”。

因此，一種組織應(yīng)運(yùn)而生，

幫大家一起合作，

畢竟，實(shí)力固然重要，

聯(lián)合起來(lái)能更厲害，

接下來(lái)，我將討論這種有影響力的聯(lián)盟，

它在網(wǎng)絡(luò)技術(shù)中如何發(fā)揮不可或缺的力量。

（五）激進(jìn)的五大玩家

“網(wǎng)絡(luò)二戰(zhàn)”早就打響了第一槍?zhuān)?/p>

戰(zhàn)場(chǎng)就是Scale up網(wǎng)絡(luò)。

新一輪網(wǎng)絡(luò)技術(shù)之間的較量又開(kāi)始了，

參與的玩家很多，

準(zhǔn)確地說(shuō)，他們是“非英偉達(dá)玩家”。

到底怎么玩呢？

假如每家都搞“私有化網(wǎng)絡(luò)”，

場(chǎng)面有點(diǎn)尷尬，

不如這樣，

還是基于以太網(wǎng)開(kāi)放標(biāo)準(zhǔn)的改造，

既解決Scale up網(wǎng)絡(luò)的難題，

也對(duì)抗英偉達(dá)一家獨(dú)大。

以太網(wǎng)標(biāo)準(zhǔn)就像是制定了規(guī)則，

比如道路的寬度、車(chē)速的限制等，

保證不同公司的“車(chē)輛”都可以在這個(gè)“道路”上跑。

這個(gè)派系，依賴(lài)于以太網(wǎng)的基礎(chǔ)設(shè)施，

不僅有實(shí)力的廠商非常多，

而且還有專(zhuān)門(mén)的聯(lián)盟。

比如，超以太網(wǎng)聯(lián)盟，

UEC, Ultra Ethernet Consortium。

就是一個(gè)由科技巨頭組成的聯(lián)盟，

創(chuàng)建了一個(gè)開(kāi)放標(biāo)準(zhǔn)來(lái)對(duì)抗英偉達(dá)。

我再細(xì)數(shù)一下，

非常激進(jìn)的五大廠商的玩法，

當(dāng)然，他們都是UEC聯(lián)盟成員。

第一，Meta公司。

LLAMA 3.1模型，

開(kāi)源最好的模型，

堅(jiān)定地選擇以太網(wǎng)。

第二，AMD公司。

有人認(rèn)為英偉達(dá)這好那好 ，

無(wú)人能抗衡。

其實(shí)，AMD的GPU實(shí)力也在積蓄，

而且，AMD也有類(lèi)似NVLink的技術(shù)，

叫Infinity Fabric（IF），

但沒(méi)有做類(lèi)似于NV Switch這樣專(zhuān)屬技術(shù)。

而在基于以太網(wǎng)發(fā)展網(wǎng)絡(luò)，

即IF over Ethernet。

這是另外一個(gè)故事了，

找機(jī)會(huì)再細(xì)聊。

第三，特斯拉公司。

馬斯克特斯拉Tesla Dojo ，

發(fā)展出基于以太網(wǎng)的自定義傳輸協(xié)議(TTPoE)。

幾個(gè)大公司都有自研協(xié)議，替代RoCE和NVLINK，

當(dāng)然RoCE 自己也在提升。

有人批評(píng)特斯拉，說(shuō)它是做車(chē)的，搞網(wǎng)絡(luò)不擅長(zhǎng)。

它家剛出道的時(shí)候，做車(chē)也不擅長(zhǎng)，

看看今天什么局面。

第四，xAI公司。

馬斯克xAI10萬(wàn)卡單集群網(wǎng)絡(luò)，也基于以太網(wǎng)。

馬斯克可能是第一個(gè)，

也是唯一一個(gè)，

自動(dòng)駕駛和AI大模型智算知識(shí)產(chǎn)權(quán)都有的老板。

沒(méi)辦法，首富唄。

第五，阿里云公司。

阿里云是AI大模型網(wǎng)絡(luò)頂配玩家，

數(shù)據(jù)中心早期入局者，

阿里云自研的通義大模型開(kāi)源閉源通吃。

因此，阿里云得拿出來(lái)單聊，

他們近期還有一些大動(dòng)作。

（六）各自為戰(zhàn) or 聯(lián)合起來(lái)

大爭(zhēng)之世，“聯(lián)”合起來(lái)非常重要，

號(hào)召聯(lián)合的前提是技術(shù)牛，

甚至說(shuō)，技術(shù)牛，是聯(lián)合各方力量的一種資格。

發(fā)起聯(lián)盟，

基因和技術(shù)領(lǐng)先性都很重要。

阿里云是超以太網(wǎng)聯(lián)能盟（UEC）

技術(shù)咨詢(xún)委員會(huì)里唯一的中國(guó)公司，

也是網(wǎng)絡(luò)開(kāi)源操作系統(tǒng)SONiC創(chuàng)始成員中唯一的中國(guó)公司，

有開(kāi)放標(biāo)準(zhǔn)聯(lián)盟的基因。

而且，技術(shù)沉淀久。

ACM SIGCOMM這個(gè)學(xué)術(shù)會(huì)議，

是網(wǎng)絡(luò)通信領(lǐng)域全球最具影響力的會(huì)議之一

論文錄取率非常低，

其中網(wǎng)絡(luò)架構(gòu)的論文發(fā)表更難，

上一次該會(huì)發(fā)表的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)方向的論文，

還是2015年（谷歌Jupiter）。

阿里云在2019年在 SIGCOMM 上，

發(fā)表的首篇論文，

也是該頂會(huì)有史以來(lái)中國(guó)大陸企業(yè)“中”的第一篇。

2024年，HPN7.0架構(gòu)論文在 SIGCOMM 發(fā)表，

開(kāi)啟了智算數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的新范式。

通義大模型的底層也使用該架構(gòu)。

這是阿里云基礎(chǔ)設(shè)施里的一個(gè)法寶。

為此，我求教了阿里云智能集團(tuán)研究員付斌章，

他告訴我，

對(duì)于超大規(guī)模的這種訓(xùn)練，

要求可靠性高，

HPN7.0架構(gòu)如何來(lái)保證可靠性呢？

它有個(gè)獨(dú)有的雙上聯(lián)技術(shù)。

在這個(gè)架構(gòu)里，

每個(gè)網(wǎng)卡會(huì)出兩個(gè)端口，

一個(gè)路徑壞了，

可走另外一個(gè)路徑。

否則如果這一個(gè)端口掛了，

這個(gè)任務(wù)就停掉了。

英偉達(dá)默認(rèn)只有一個(gè)端口，

而阿里云（比如PAI靈駿產(chǎn)品），

也用上了雙上聯(lián)組網(wǎng)技術(shù)，

每個(gè)網(wǎng)卡的兩個(gè)端口，

分別接到兩個(gè)交換機(jī)上，

在連接出現(xiàn)故障時(shí)可自動(dòng)切換，

保證網(wǎng)絡(luò)可用性。

技術(shù)原理是兩個(gè)端口對(duì)應(yīng)兩個(gè)平面，

如圖所示。

學(xué)霸移步點(diǎn)擊這里有雙上聯(lián)技術(shù)詳細(xì)介紹

付斌章研究員還告訴我，

阿里云是全球最早做出51.2T這個(gè)容量的,

大規(guī)模商業(yè)用交換機(jī)。

我相信，從名字也可以看出來(lái)，

高通量以太網(wǎng)是在以太網(wǎng)這個(gè)公共組件上改造，

搞開(kāi)放標(biāo)準(zhǔn)的聯(lián)盟，

我猜想，他們的口號(hào)可能呼之欲出了：

全球伙伴（非英偉達(dá)玩家）聯(lián)合起來(lái)，

打造智算網(wǎng)絡(luò)的“安卓（Android）”生態(tài)。

實(shí)際上，他們的聯(lián)盟愿景是，

基于開(kāi)放、強(qiáng)大的以太網(wǎng)生態(tài)，

打造智算網(wǎng)絡(luò)的技術(shù)底座，

滿足Scale out和Scale up網(wǎng)絡(luò),

對(duì)性能、成本和可靠性的要求。

我認(rèn)為，高通量以太網(wǎng)等于UEC加UAL的中國(guó)版。

（七）附加題：?jiǎn)瘟腢AL

天下網(wǎng)絡(luò)，

合久必分，分久必合。

IB以太網(wǎng)之爭(zhēng)剛剛謝幕，

以太網(wǎng)交換機(jī)市場(chǎng)又將迎來(lái)新戰(zhàn)場(chǎng)。

蒙著一點(diǎn)神秘的面紗的UAL（Ultra Accelerator Link），

也加入了戰(zhàn)局。

標(biāo)準(zhǔn)沒(méi)有發(fā)布，

所以說(shuō)，UAL蒙著神秘面紗。

10月30日，

UAL正式成立，新聞標(biāo)題直接喊話英偉達(dá)

《UALink 聯(lián)盟準(zhǔn)備與英偉達(dá)NVLink競(jìng)爭(zhēng)》

且UAL有九大董事會(huì)成員，

來(lái)勢(shì)洶洶，

可惜沒(méi)有博通。

大爭(zhēng)之世，

到處紛爭(zhēng)，

外部爭(zhēng)，內(nèi)部也爭(zhēng)，

據(jù)“親愛(ài)的數(shù)據(jù)”獨(dú)家消息，

在UAL 聯(lián)盟內(nèi)部，已經(jīng)改革了一次，

UAL Switch拋棄了“PCIE Switch” 道路，

也轉(zhuǎn)向以太網(wǎng)，

這點(diǎn)還是相當(dāng)有前瞻性，

Scale-up 網(wǎng)絡(luò)規(guī)模越來(lái)越大，

我猜想，

可能某天就和Scale-out網(wǎng)絡(luò)合了，

畢竟，成本和性?xún)r(jià)比才是發(fā)展的硬道理。

AI大模型莫不例外，

只有基于共同的以太網(wǎng)，

才有合的可能。

One more thing

開(kāi)頭我提到的那家知名大模型公司，

能不能亡羊補(bǔ)牢？

能補(bǔ)買(mǎi)NVLink，NVSwitch嗎？

答案很悲劇，

不能。

雖然GPU算力部分一樣，

但是設(shè)備在IO接口中，

沒(méi)有NVlink的接口，

只有PCIe的接口。

（完）