在「賣盒子」領(lǐng)域，今年火了兩樣產(chǎn)品。

上半年火的是大模型一體機，下半年火的是“又大又猛”的超節(jié)點。

一眾大廠紛紛推出自家的超節(jié)點，但是，隨著超節(jié)點的發(fā)布和落地，爭議也越來越多（以下按發(fā)布順序簡列）。

今天我們就系統(tǒng)地講講，超節(jié)點到底中用不中用？

什么是超節(jié)點？

首先，我們要明確一點，一臺標準服務器是插不了太多GPU卡的，16卡是極限。

這主要受限于CPU的PCIe通道數(shù)以及工程因素（比如機箱空間、散熱、供電）。

所以，這類傳統(tǒng)服務器，以前叫GPU Server、AI服務器，現(xiàn)在又預裝大模型，被稱作AI一體機、大模型一體機。

今年上半年涌現(xiàn)的各種一體機，基本都是這種情況。

如果想要突破上面那種限制，插更多卡怎么辦呢？

就必須要在卡間互聯(lián)方面整點黑科技↓

用專門的Scale-Up網(wǎng)絡(高帶寬、低時延、強一致、內(nèi)存語義、對等直出互聯(lián)，RoCE、IB都不行)，把更多的卡連在一起，定制成一臺更大的“機器”。

一般來說，16卡以上，基于Scale-Up網(wǎng)絡實現(xiàn)GPU-GPU互聯(lián)的系統(tǒng)，我們就可以稱之為超節(jié)點了。

為什么需要超節(jié)點？

先講一個事實：

目前大模型的場景，沒有什么8卡機干不了的。如果一臺不夠，那就多臺組團（Scale-Out）干。

比如，即便是遇到當下參數(shù)超大的模型，基于MoE架構(gòu)，需要張量并行、專家并行……，單臺8卡/16卡機遭遇顯存墻扛不動。

但仍然可以采用組團的方式，多臺機器基于IB或者RoCE網(wǎng)絡形成Scale-Out集群，把切割后的模型（張量并行、專家并行）分擔扛起來。

但是，這種組團是有代價的，機器間的網(wǎng)絡互聯(lián)帶寬和延遲都無法與一臺機內(nèi)部的連接相比。

內(nèi)循環(huán)和外循環(huán)的效率差距很大。

這種帶寬和延遲的巨大差距，讓每個8卡機上的顯存、內(nèi)存只能獨立作戰(zhàn)，無法形成跨節(jié)點、統(tǒng)一的顯存池、內(nèi)存池。

此時，遇到張量并行、專家并行這種跨卡通信開銷很大的場景，訓推效率就會打折扣。

超節(jié)點就不一樣了，由于采用了專用的Scale-Up互聯(lián)標準（NVLink或其他開放標準比如UALink），天塹變通途了。

超節(jié)點內(nèi)所有的卡之間可以直接進行讀/寫/原子操作，從而形成更大的單體內(nèi)存/顯存域，就好比組成了一個巨型顯卡，核心超多、顯存容量超大。

這樣，超節(jié)點各GPU之間就可以進行高頻數(shù)據(jù)交換和控制命令交互，絲滑地像一張卡。

面對超大參數(shù)的模型、復雜的張量并行或者專家并行策略，夸張的all-to-all、all-reduce通信開銷，更大的KV Cache壓力，超節(jié)點都可以輕松駕馭。

超節(jié)點越大越好嗎？

既然超節(jié)點這么牛掰，那就盡量往大里整唄？是不是單個節(jié)點越大越好呢？

先說結(jié)論，單個超節(jié)點的規(guī)模并非越大越好，千萬不能這么整。

小有小的缺點，大有大的劣勢，超節(jié)點太大，會帶來的以下弊端：

①成本：

Scale-Up的網(wǎng)絡成本（比如NVSwitch或者其他新生代互聯(lián)技術(shù)），本身就高于Scale-Out的網(wǎng)絡成本（RoCE或者IB交換機）。

而節(jié)點越大，卡間全互聯(lián)的線纜就越復雜，距離也會更大，線纜密度和距離會進一步增加成本，這種成本的增加不是線性的。

②故障率與爆炸半徑：

單個節(jié)點規(guī)模越大，內(nèi)部關(guān)鍵器件和連接就越多，潛在的故障點也會隨之增多，比如大規(guī)模的光互聯(lián)。

故障風險也會隨之增大，而且為提高容錯性付出的成本也會更高。

同時，單個節(jié)點的故障域也會變大，一旦發(fā)生故障，會波及更大范圍。

③可維護性與可交付性

太大的超節(jié)點，高規(guī)格的定制機箱、散熱、供電、冗余設置，往往需要特殊的定制化，不僅增加了Capex成本，也大大增加了交付和運維的成本。

甚至，傳統(tǒng)機房的空間、承重、制冷和供電，要經(jīng)過一番傷筋動骨的改造，才能Hold得住大尺碼超節(jié)點。

所以，超節(jié)點雖好，可不要貪大哦。

如何尋求最佳平衡點

超節(jié)點很好，但太大的超節(jié)點又有一堆麻煩事，到底多大合適呢？

有一條鐵律↓

超節(jié)點產(chǎn)品商業(yè)化落地的唯一考量，是每Token成本。

提升算力利用率是建設AI Infra的關(guān)鍵，而不是盲目買個大家伙擺在家里鎮(zhèn)場子。

前面我們說過，目前沒有什么場景是8卡機用Scale-Out方案搞不定的。

但搞得定≠搞得好，因為我們需要用每Token成本來評估好壞。

那些對節(jié)點間通信延遲敏感的場景，比如以DeepSeek為代表的大尺寸MoE模型，通信量大、時延要求苛刻。

用超節(jié)點來跑，才有機會獲得最大化收益（每Token成本更低）。

至于單個超節(jié)點多少卡合適？其實取決于主流模型的特點。

在當下國內(nèi)企業(yè)級本地部署場景，DeepSeek推理仍然是應用最廣泛的，MoE架構(gòu)專家并行、P/D分離部署。

需要綜合考慮互聯(lián)成本、通信開銷、互聯(lián)可靠性，再結(jié)合國產(chǎn)卡的性能最終得到一個甜點區(qū)。

根據(jù)目前的工程經(jīng)驗，在這類場景實際落地中，單節(jié)點32卡-64卡是一個相對不錯的選擇。

比如，以典型的32卡超節(jié)點為例，32路專家并行，把大規(guī)模跨卡通信都壓縮在一個機框內(nèi)。

針對這樣的Case，新華三用自家超節(jié)點UniPod S80000，給出了實際實際落地參考，實戰(zhàn)效果相當不錯。

確定了最佳的Scale-Up域，接下來，我們可以再根據(jù)實際需求，把多臺超節(jié)點，用RoCE網(wǎng)絡組成Scale-Out集群，滿足更大的并發(fā)和彈性需求。

這種架構(gòu)不僅能獲得最優(yōu)的每Token成本，而且運維、部署簡單，具備極佳的可擴展性和準線性性能增長。

當然，我們也應該看到，當前的大模型產(chǎn)品和技術(shù)正在以月甚至以周為單位高速迭代，今天的最優(yōu)架構(gòu)可能明天就落伍了。

未來的主流模型是否還是Transformer架構(gòu)，MoE會不會永遠適用，Scaling Law還能持續(xù)多久，一切都尚無定論。

所以，8卡機與超節(jié)點之爭、小節(jié)點與大節(jié)點之戰(zhàn)，會長期存在，讓我們與時俱進、且戰(zhàn)且看吧。

簡單給本文做個總結(jié)

①、超節(jié)點能干的大模型業(yè)務，普通8卡機（Scale-Out方案）都能干；

②、只有跨卡通信開銷大的場景，超節(jié)點跑起來才有優(yōu)勢；

③、超節(jié)點落地的唯一標準是算力利用率和每Token成本，不要被情緒價值（高端、大氣、上檔次）左右了你的選擇。

④、超節(jié)點的Scale-UP域并非越大越好，“大”意味著更高的額外成本、更大的爆炸半徑、更復雜的運維和部署，以及產(chǎn)品鎖定風險。

⑤、基于目前國內(nèi)企業(yè)級場景和模型生態(tài)，32-72卡超節(jié)點是相對最優(yōu)落地選擇，更高算力利用率，并綜合考慮擴展性、可維護性、故障域、國產(chǎn)化因素。