今年的Hot Chips 2025廠商依然大秀肌肉，其中最值得關(guān)注的，莫過于華為推出的UB-Mesh技術(shù)，該技術(shù)旨在通過單一協(xié)議統(tǒng)一AI數(shù)據(jù)中心內(nèi)外部節(jié)點(diǎn)的所有互聯(lián)，并用單一協(xié)議取代PCIe、CXL、NVLink和TCP/IP協(xié)議。

華為處理器部門海思半導(dǎo)體首席科學(xué)家廖恒表示:“下個(gè)月我們將召開一次會(huì)議，宣布UB-Mesh協(xié)議將像免費(fèi)許可證一樣向所有人開放。這是一項(xiàng)非常新的技術(shù)；我們看到不同陣營正在競相推進(jìn)標(biāo)準(zhǔn)化工作。根據(jù)我們?cè)趯?shí)際系統(tǒng)部署方面的成功程度以及合作伙伴和客戶的需求，我們可以討論將其轉(zhuǎn)化為某種標(biāo)準(zhǔn)?！?/p>

隨著UB-Mesh免費(fèi)開放，NVLink的壟斷地位是否會(huì)受到動(dòng)搖？

華為的UB-Mesh，到底是啥？

事實(shí)上，華為的UB-Mesh早在今年三月底就已亮相。當(dāng)時(shí)，華為發(fā)布了昇騰CloudMatrix 384超節(jié)點(diǎn)，采用UB互聯(lián)完成了384顆NPU的互聯(lián)。之所以采用UB互聯(lián)，是因?yàn)橹T如LLM訓(xùn)練等方面，要在NPU之間頻繁交換數(shù)據(jù)，所以要有強(qiáng)大的NPU間通信能力。

而在本次Hot Chips上，華為透露了更多細(xì)節(jié)。根據(jù)華為的介紹，雖然用于訓(xùn)練和推理的 AI 數(shù)據(jù)中心應(yīng)該像一個(gè)大型固有并行處理器一樣運(yùn)行，但它們由單獨(dú)的機(jī)架、服務(wù)器、CPU、GPU、內(nèi)存、SSD、NIC 、交換機(jī)和其他組件組成，這些組件使用不同的總線和協(xié)議相互聯(lián)接，如UPI、PCIe、CXL、RoCE、NVLink、UALink、TCP/IP和即將推出的超級(jí)以太網(wǎng)。協(xié)議轉(zhuǎn)換需要電力，增加延遲和成本，并引入潛在的故障點(diǎn)，所有這些因素都可以在擁有數(shù)百萬個(gè)處理器的千兆瓦級(jí)數(shù)據(jù)中心中進(jìn)行災(zāi)難性擴(kuò)展。

但是華為卻不同，華為的思路則是“一統(tǒng)天下”，提出了UB-Mesh的統(tǒng)一框架，使任何端口無需轉(zhuǎn)換即可與任何其他端口通信。這種簡單性減少了轉(zhuǎn)換延遲，簡化了設(shè)計(jì)，并且仍然在需要時(shí)留出了通過以太網(wǎng)運(yùn)行的空間，從本質(zhì)上將整個(gè)數(shù)據(jù)中心轉(zhuǎn)換為UB-Mesh 連接的相干超級(jí)節(jié)點(diǎn)。

華為將這種數(shù)據(jù)中心規(guī)模的AI架構(gòu)定義為SuperNode，將多達(dá)1,000,000個(gè)處理器（CPU、GPU、NPU）、池內(nèi)存、SSD、NIC和交換機(jī)統(tǒng)一到一個(gè)系統(tǒng)中，并將每芯片帶寬從100 Gbps上升到10 Tbps（1.25 TB/s，超出了PCIe 8.0設(shè)置的范圍），時(shí)延從微秒減少到~150 ns，整體設(shè)計(jì)從異步DMA轉(zhuǎn)向同步加載/存儲(chǔ)語義。允許靈活地重復(fù)使用所有高速SERDES連接，甚至支持通過以太網(wǎng)運(yùn)行以實(shí)現(xiàn)向后兼容性。

當(dāng)然，統(tǒng)一到單一的協(xié)議里，談何容易，華為認(rèn)為這會(huì)引發(fā)從銅纜（仍連接在機(jī)架內(nèi)）到可插拔光鏈路的轉(zhuǎn)變，不過光纖的錯(cuò)誤率遠(yuǎn)高于電氣連接。為了解決這個(gè)問題，華為提出了鏈路級(jí)重試機(jī)制、光模塊內(nèi)的備用通道以及將控制器連接到多個(gè)模塊的交叉設(shè)計(jì)。

從拓?fù)渖蟻砜?，UB-Mesh 采用混合網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。其頂層基于CLOS架構(gòu)，用于連接整個(gè)數(shù)據(jù)中心大廳中的各個(gè)機(jī)架；而在每個(gè)機(jī)架內(nèi)部，則通過多維網(wǎng)格網(wǎng)絡(luò)互聯(lián)數(shù)十個(gè)節(jié)點(diǎn)。這種混合設(shè)計(jì)旨在避免傳統(tǒng)方案在系統(tǒng)規(guī)模擴(kuò)展至數(shù)萬甚至數(shù)十萬個(gè)節(jié)點(diǎn)時(shí)，所面臨的高昂成本問題。

成本方面，華為提供的數(shù)據(jù)顯示，傳統(tǒng)互聯(lián)架構(gòu)的成本往往隨節(jié)點(diǎn)數(shù)量呈線性增長，甚至可能超過人工智能加速器（如NVIDIA H100或B200）本身的價(jià)格。而UB-Mesh以亞線性方式擴(kuò)展成本，實(shí)現(xiàn)在增加容量的同時(shí)，不會(huì)同比增加開支。

為什么都想替代NVLink

英偉達(dá)的GPU之所以能夠在數(shù)據(jù)中賣的那么好，其實(shí)不光是因?yàn)楸旧硭懔?qiáng)大，更重要的便是其互聯(lián)技術(shù)——NVLink和NVSwitch。

打個(gè)比方說，每個(gè)GPU都是單兵作戰(zhàn)，但是用NVLink把GPU和GPU、GPU和CPU連在一起，就能發(fā)揮出更大的作用。過去，這種連接都是靠PCIe，就是我們家里主機(jī)那種一個(gè)一個(gè)插槽，而NVLink就是為了突破PCIe瓶頸而誕生的一種技術(shù)。

NVLink這種GPU和GPU互聯(lián)或者NPU和NPU互聯(lián)在業(yè)界有一種專業(yè)叫法——Scale Up（向上/垂直擴(kuò)展），與之相對(duì)，還有Scale Out（橫向/水平擴(kuò)展）的概念。

Scale Up互聯(lián)可以粗暴理解“芯片之間的互聯(lián)”，是做更大芯片擴(kuò)展的服務(wù)器，是內(nèi)存和顯存共享訪問的語義，特點(diǎn)是極低延遲和大帶寬，規(guī)模在柜內(nèi)，可擴(kuò)展為多柜到百芯片級(jí)，是獨(dú)立Fabric連接，完全不同于以太網(wǎng)。Scale Up是超節(jié)點(diǎn)內(nèi)部，采用GPU直出技術(shù)。

Scale Out互聯(lián)是“服務(wù)器之間是基于網(wǎng)卡+交換機(jī)的集群互聯(lián)”，可以簡單粗暴理解成“卡之間的互聯(lián)”，是以太網(wǎng)協(xié)議，規(guī)模在萬級(jí)以上，普適的互聯(lián)。它是在計(jì)算集群內(nèi)部，利用外置網(wǎng)卡技術(shù)，通過橫向擴(kuò)展機(jī)柜的數(shù)目，實(shí)現(xiàn)到數(shù)萬甚至數(shù)十萬張卡的互聯(lián)。

所以，NVLink的價(jià)值就在這里，傳統(tǒng)PCIe總線在GPU間數(shù)據(jù)傳輸中已成為性能瓶頸。NVLink提供更高帶寬和更低延遲，極大加速GPU間通信，這樣GPU的性能才不會(huì)有任何浪費(fèi)，尤其適合AI訓(xùn)練和科學(xué)計(jì)算。目前，NVLink已經(jīng)發(fā)展到了第五代。

圖源丨鮮棗課堂

當(dāng)然，這還沒有結(jié)束。英偉達(dá)還研究出了NVSwitch，它是專為NVLink網(wǎng)絡(luò)設(shè)計(jì)的交換芯片，用于實(shí)現(xiàn)多GPU之間的高速互聯(lián)。它允許多個(gè)GPU通過交換芯片直接通信，克服了早期NVLink只能在有限數(shù)量GPU間直連的限制。通過“NVLink + NVSwitch”的組合，實(shí)現(xiàn)了單機(jī)內(nèi)多GPU的高效互聯(lián)。

圖源丨鮮棗課堂

雖然NVLink是真的強(qiáng)，但封閉是它的“原罪”，在一定程度上制約了技術(shù)的持續(xù)演進(jìn)與效能優(yōu)化潛力，等于是把客戶完全“套牢”了。而且，過于壟斷勢(shì)必會(huì)降低自己產(chǎn)業(yè)鏈的韌性，廠商就會(huì)被綁死在英偉達(dá)這棵樹上了。

因此，為了對(duì)抗擺脫現(xiàn)在這種狀態(tài)，行業(yè)現(xiàn)在開始通過成立聯(lián)盟，制定公開的協(xié)議標(biāo)準(zhǔn)，逐漸替代NVLink。

此時(shí)，所有人都開放了標(biāo)準(zhǔn)，英偉達(dá)說沒壓力是不可能的，所以在今年5月，英偉達(dá)宣布開放對(duì)NVLink協(xié)議和驅(qū)動(dòng)該協(xié)議的物理傳輸（PHY）的訪問。這意味著，第三方的CPU和GPU也能上NVLink了。

在生態(tài)逐漸發(fā)生轉(zhuǎn)變的過程中，NVLink也在逐漸撕開口子，但競爭者目前正在一個(gè)接著一個(gè)地走上臺(tái)前。

NVLink的挑戰(zhàn)者，走上臺(tái)前

挑戰(zhàn)者一：UALink，一群供應(yīng)商的聯(lián)盟。

UALink是走得比較快的一種開放協(xié)議，AMD是其中核心的存在。

去年10月28日，AMD、AWS、谷歌和思科等九家巨頭宣布正式成立UALink聯(lián)盟（Ultra Accelerator Link Consortium，簡稱UALink聯(lián)盟），主推AI服務(wù)器Scale UP互連協(xié)議——UALink。而今，博通中途退出，開始大力推廣自家的Scale-Up Ethernet（SUE）技術(shù)，新增AWS、Astera兩家公司。目前，UALink聯(lián)盟已公開邀請(qǐng)新成員加入，國內(nèi)已有盛科、聯(lián)想、瀾起科技、聯(lián)動(dòng)等公司加入成為貢獻(xiàn)者成員。

之所以提到AMD，是因?yàn)閁ALink的技術(shù)核心主要來自AMD?？紤]到針對(duì)終態(tài)進(jìn)行設(shè)計(jì)，以及共同對(duì)抗行業(yè)壟斷的目的，AMD將其迭代多年的Infinity Fabric協(xié)議貢獻(xiàn)出來，促成UALink聯(lián)盟的成立，希望在更多行業(yè)伙伴的助力下，持續(xù)發(fā)揮原生為GPU互連場景設(shè)計(jì)的優(yōu)勢(shì)，使其成為行業(yè)的開放標(biāo)準(zhǔn)。

今年4月，UA Link 1.0標(biāo)準(zhǔn)正式發(fā)布。UALink 1.0規(guī)范定義了一種高速、低延遲的互連，支持每通道200 GT/s的最大雙向數(shù)據(jù)速率，可配置為 x1、x2 或 x4，四通道鏈路在發(fā)射和接收方向上都能實(shí)現(xiàn)高達(dá)800 GT/s。一個(gè) UALink 系統(tǒng)支持多達(dá)1024個(gè)加速器（GPU、NPU或其他），這些加速器通過UALink交換機(jī)連接，每個(gè)加速器分配一個(gè)端口和一個(gè)10位唯一標(biāo)識(shí)符，用于精確路由。UALink電纜長度針對(duì)<4米進(jìn)行了優(yōu)化，可在64B/640B有效負(fù)載下實(shí)現(xiàn)<1 μs的往返延遲。這些鏈路支持跨一到四個(gè)機(jī)架的確定性性能。

UALink協(xié)議棧包括四個(gè)硬件優(yōu)化層：物理層、數(shù)據(jù)鏈路層、事務(wù)層和協(xié)議層。物理層使用標(biāo)準(zhǔn)以太網(wǎng)組件（例如 200GBASE-KR1/CR1），并包括通過 FEC 減少延遲的修改；數(shù)據(jù)鏈路層將來自事務(wù)層的64字節(jié)flit打包為640字節(jié)單元，應(yīng)用CRC和可選的重試邏輯，該層還處理設(shè)備間消息傳遞并支持UART風(fēng)格的固件通信；事務(wù)層實(shí)現(xiàn)壓縮尋址，簡化數(shù)據(jù)傳輸，在實(shí)際工作負(fù)載下協(xié)議效率高達(dá) 95%，還支持直接內(nèi)存作，例如加速器之間的讀取、寫入和原子事務(wù)，從而保持本地和遠(yuǎn)程內(nèi)存空間之間的順序。

UALink還集成多項(xiàng)數(shù)據(jù)中心級(jí)功能，包括硬件加密（UALinkSec）、多租戶隔離、虛擬化分區(qū)，以及通過標(biāo)準(zhǔn)接口（如PCIe和以太網(wǎng)）進(jìn)行統(tǒng)一管理。

相比封閉的專用方案，UALink 強(qiáng)調(diào)開放生態(tài)，由多家供應(yīng)商共同推進(jìn)設(shè)備和交換機(jī)的研發(fā)，更重要的是，UALink在加速器、交換芯片、Retimer等互連技術(shù)上保持中立立場，不偏向特定廠商，目標(biāo)是建立開放創(chuàng)新的技術(shù)生態(tài)系統(tǒng)。

UALink預(yù)計(jì)首款產(chǎn)品將在12~18個(gè)月內(nèi)推向市場。值得注意的是，在UALink 1.0標(biāo)準(zhǔn)誕生之前，新思科技就推出了UALink的IP解決方案。新思的UALink IP 解決方案將提供每通道高達(dá)200 Gbps的帶寬和內(nèi)存共享功能，以擴(kuò)展（向上）加速器連接。

挑戰(zhàn)者二：華為UB-Mesh，用單一協(xié)議解決一切。

剛剛提到的華為UB-Mesh即將在下個(gè)月宣布開源。華為的UB在業(yè)界一直被很看好。

通過華為此前的論文來看，UB-Mesh架構(gòu)采用低基數(shù)交換機(jī)聚合四路接口，以無阻塞的方式管理跨機(jī)架連接。通過橫向擴(kuò)展2D的full mesh結(jié)構(gòu)下的四個(gè)機(jī)架，形成4D層級(jí)互聯(lián)。四個(gè)機(jī)架形成的pod總規(guī)?？蛇_(dá)1024個(gè)NPU。

也就是說，在大規(guī)模集群中，UB-Mesh能夠?qū)崿F(xiàn)1024張NPU的全互聯(lián)，這么來看，數(shù)量和上面的NVLink 1.0相當(dāng)。不過，UB-Mesh還可以可通過super pod擴(kuò)展至8000張NPU，這是一個(gè)非常驚人的數(shù)字。

不過，把計(jì)算、內(nèi)存和網(wǎng)絡(luò)資源進(jìn)行動(dòng)態(tài)池化與統(tǒng)一在一起訪問，好是好，但是非常以來光技術(shù)，這可能引發(fā)出更多其他挑戰(zhàn)。更多細(xì)節(jié)，可能需要華為之后的進(jìn)一步披露。

挑戰(zhàn)者三：博通的以太網(wǎng)方案SUE。

英偉達(dá)有NVLink和開放的NV，AMD走了UALink的路，博通想出了另一條路——以太網(wǎng)，也就是SUE。

博通認(rèn)為這是對(duì)英偉達(dá)和AMD的一種還擊，因?yàn)橐蕴W(wǎng)的好處就是更開放。

根據(jù)博通的說法，SUE架構(gòu)雖非由第三方組織制定的標(biāo)準(zhǔn)，但由于其基于以太網(wǎng)規(guī)范設(shè)計(jì)，能夠與當(dāng)前數(shù)據(jù)中心廣泛采用的以太網(wǎng)交換機(jī)芯片生態(tài)系統(tǒng)兼容。“我們編寫了規(guī)格書并公開發(fā)布在網(wǎng)絡(luò)上，任何人都可以自由采用。市場上以太網(wǎng)交換機(jī)芯片供應(yīng)商眾多，SUE的開放規(guī)格可以說是實(shí)現(xiàn)了多方共贏?！倍?，SUE對(duì)所有公司開放使用，無需像NVLink那樣必須獲得英偉達(dá)的授權(quán)。

今年6月，博通更新Scale Up Ethernet（SUE）規(guī)范。SUE在多XPU系統(tǒng)中提供XPU間的通信。每個(gè)SUE實(shí)例可配置為1、2 或4個(gè)端口，實(shí)現(xiàn)200G、400G、800G等多種速率，并可在全交換或網(wǎng)狀拓?fù)渲袠?gòu)建大規(guī)模XPU集群。

SUE提供了包括類AXI接口、通用命令/響應(yīng)事務(wù)、多流量類別映射、數(shù)據(jù)包級(jí)可靠傳輸、嚴(yán)格/無序兩種排序模式及負(fù)載均衡等功能，其協(xié)議棧支持操作打包、低延遲FEC、鏈路層重試（LLR）及多種流控機(jī)制（如PFC和CBFC）。通過采用優(yōu)化報(bào)頭格式（如AFH Gen 1/2）和標(biāo)準(zhǔn)以太網(wǎng)兼容封裝，SUE在提升傳輸效率和降低延遲的同時(shí)，保持了與現(xiàn)有以太網(wǎng)生態(tài)的兼容性，形成一個(gè)開放、可擴(kuò)展的互聯(lián)解決方案。

總之，博通對(duì)SUE框架的優(yōu)化是多維度的。以太網(wǎng)研究本身應(yīng)用時(shí)間也長，繼續(xù)沿用以太網(wǎng)無疑是非常具有吸引力的。所以，博通這個(gè)最初積極參與了UALink的開發(fā)工作的廠商，隨著項(xiàng)目的推進(jìn)，博通可能是突然發(fā)現(xiàn)以太網(wǎng)“尚能飯否”，所以對(duì)UALink的態(tài)度發(fā)生了轉(zhuǎn)變。

挑戰(zhàn)者四：PCIe說，再給我一次機(jī)會(huì)。

從NVLink到UALink再到SUE，可以說，PCIe是“萬人嫌”，誰都嫌它不夠快，瓶頸太多。PCIe SIG組織好像也急了，從2022年正式發(fā)布PCIe 6.0，到今天，急不可耐地直接啟動(dòng)了PCIe 8.0規(guī)范，把PCIe 8.0提上日程。

根據(jù)PCIe SIG的計(jì)劃，2028年實(shí)現(xiàn)256 GT/s的速率和x16雙向1 TB/s帶寬。

此外，為了確保PCIe 8.0 互連的可靠性、可用的信噪比、一致的性能、可接受的信號(hào)損失、信號(hào)完整性和電源效率，PCI-SIG 現(xiàn)在正在審查一種新的互連技術(shù)，同時(shí)保持與上一代 PCIe 實(shí)現(xiàn)的向后兼容性。該規(guī)范還將引入?yún)f(xié)議增強(qiáng)功能以優(yōu)化帶寬使用，以及提高電源效率的方法。

PCIe 8.0強(qiáng)確實(shí)是強(qiáng)，但是的確是有點(diǎn)倉促了：目前市場上PCIe 6.0產(chǎn)品仍處于部署初期階段，大多集中在數(shù)據(jù)中心級(jí)別硬件中，PCI-SIG計(jì)劃在2025年上半年完成PCIe 7.0規(guī)范，并隨后于2028年發(fā)布PCIe 8.0規(guī)范。按照時(shí)間來看，三年翻一倍速度也是PCIe的老傳統(tǒng)了，但是真的要用到產(chǎn)業(yè)里，怎么也得2030年了。

不過PCIe本來就很重要，PCIe 8.0肯定是大勢(shì)所趨了。

挑戰(zhàn)者五：不同廠商的私有協(xié)議。

除了上述的開放協(xié)議和PCIe，一些廠商還在使用自己的私有協(xié)議。

AWS自己的AI芯片用自己的私有協(xié)議NeuronLink實(shí)現(xiàn)橫向擴(kuò)展，通過增加交換托盤提升整體互連能力。該方案的底層基于PCIe Gen協(xié)議構(gòu)建，例如NeuronLink V3版本使用PCIe Gen5.0作為物理層，每個(gè)通道單向傳輸速率可達(dá)32Gbit/s， 并通過多通道聚合實(shí)現(xiàn)高帶寬通信。在具體部署中，亞馬遜的Trn2-Ultra64超級(jí)服務(wù)器在機(jī)柜間采用AEC（有源光纜）進(jìn)行連接，機(jī)柜內(nèi)部則使用DAC（直接連接銅纜）。

谷歌方面，自己的TPU才采用自己的私有互連協(xié)議ICI，該協(xié)議具備高度可編程性，使軟件能夠靈活適應(yīng)運(yùn)行時(shí)的復(fù)雜需求，在機(jī)柜內(nèi)部，組件之間通過DAC（直連銅纜）進(jìn)行連接；而在機(jī)柜之間，則采用OCS（光電路交換機(jī)）實(shí)現(xiàn)高速光交換。

TPU v4的互聯(lián)拓?fù)洳捎萌S環(huán)面（3D Torus）結(jié)構(gòu)，以4×4×4的方式將芯片組織成立方體形態(tài)。每個(gè)機(jī)架部署64顆TPU v4芯片和16臺(tái)CPU主機(jī)，機(jī)柜內(nèi)不同托盤間的TPU通過DAC互聯(lián)。在此基礎(chǔ)上，Google使用OCS光交換技術(shù)將64個(gè)這樣的立方體連接在一起，最終構(gòu)建出包含4096個(gè)TPU的TPU v4超級(jí)計(jì)算機(jī)系統(tǒng)。

戰(zhàn)爭的號(hào)角打響了

從UALink到博通的以太網(wǎng)的SUE到PCIe 8.0再到華為UB-Mesh，NVLink的競爭者越來越多，一個(gè)更為開放的生態(tài)正在建立。而對(duì)英偉達(dá)來說，這或許也不是什么壞消息，畢竟這種開放的生態(tài)英偉達(dá)也可以加入，而且英偉達(dá)本身也希望開放生態(tài)。只不過，可能以后就不會(huì)像私有協(xié)議那樣具備壟斷性了。

而對(duì)于國內(nèi)的GPU和NPU的玩家來說，華為的UB-Mesh以及UB-Switch或許是另一種可行之路。

參考文獻(xiàn)

[1]Tom's Hardware：https://www.tomshardware.com/tech-industry/artificial-intelligence/huawei-to-open-source-its-ub-mesh-data-center-scale-interconnect-soon-details-technical-aspects-one-interconnect-to-rule-them-all-is-designed-to-replace-everything-from-pcie-to-tcp-ip

[2]Tom's Hardware：https://www.tomshardware.com/tech-industry/ualink-has-nvidias-nvlink-in-the-crosshairs-final-specs-support-up-to-1-024-gpus-with-200-gt-s-bandwidth

[3]親愛的數(shù)據(jù)：https://mp.weixin.qq.com/s/gaQFoYZvoIb9PReuN2gH3w

[4]鮮棗課堂：https://mp.weixin.qq.com/s/gkm23FxWCTR4UFZYJ3onEw

[5]SDNLAB：https://mp.weixin.qq.com/s/FqdyqbnvAu5QWXfKIVOMEQ

[6]Saniffer：https://mp.weixin.qq.com/s/CHDE29zbphqccLFeF8BEeA

[7]傅里葉的貓：https://mp.weixin.qq.com/s/ShLeHFWdtIv_L718JNsTIA

歡迎將我們?cè)O(shè)為“星標(biāo)”，這樣才能第一時(shí)間收到推送消息。

關(guān)注EEWorld旗下訂閱號(hào)：“汽車開發(fā)圈”

回復(fù)“DS”領(lǐng)取《DeepSeek:從入門到精通》完整版資料

掃碼添加小助手回復(fù)“進(jìn)群”

和電子工程師們面對(duì)面交流經(jīng)驗(yàn)