在硅谷的SAP中心，一場(chǎng)與眾不同的盛會(huì)吸引了無數(shù)目光。Nvidia的掌門人，穿著皮夾克、年逾古稀的黃仁勛，站在人潮洶涌的現(xiàn)場(chǎng)，他開場(chǎng)的話語充滿了戲謔：“我希望你們明白，這里不是音樂會(huì)?！?/p>

這句話揭開了GTC大會(huì)的序幕，這個(gè)會(huì)議與音樂會(huì)的狂熱截然不同，它是一場(chǎng)開發(fā)者的盛宴，討論的是算法、計(jì)算機(jī)架構(gòu)和數(shù)學(xué)等科學(xué)主題。盡管如此，這位市值第三高企業(yè)的CEO，無疑在現(xiàn)場(chǎng)擁有著眾多粉絲。

黃仁勛將音樂會(huì)與音樂會(huì)相提并論并不令人意外，這個(gè)場(chǎng)地確實(shí)非常有音樂會(huì)氣氛

接下來讓我們一起看看本次的GTC大會(huì)發(fā)布了哪些產(chǎn)品吧！

Blackwell：訓(xùn)練速度提升四倍，推理性能提高三十倍

Blackwell已經(jīng)來了。Blackwell是一款由兩個(gè)全尺寸GPU組成的GPU，以“單”個(gè)（雙芯片）GPU的形式提供20 PetaFlops性能，與H100相比，其訓(xùn)練速度提升了四倍，更令人驚嘆的是，每個(gè)GPU的推理吞吐量提高了三十倍。

得益于新的、更快的第五代NVLink，Blackwell能夠擴(kuò)展至576個(gè)GPU（H100擴(kuò)展至256個(gè)）。包括的第二代Transformer引擎采用FP4精度，以及一個(gè)比以前快20倍的解壓縮引擎，都為性能提升做出了貢獻(xiàn)。

GB200和NVL72：面向AI的機(jī)架規(guī)模設(shè)計(jì)點(diǎn)

GB200 和 NVL72：AI 的機(jī)架級(jí)設(shè)計(jì)點(diǎn)

然而，大部分的市場(chǎng)推廣力量并不是集中在Blackwell GPU上，而是集中在一個(gè)稱為GB200的三芯片超級(jí)芯片上，它由兩個(gè)Blackwell和一個(gè)Grace Arm CPU組成。

這種與Grace-Hopper芯片1-1比例不同的做法非常有意義，因?yàn)閷?duì)于GH200來說，Grace的I/O和計(jì)算帶寬足以管理兩個(gè)Blackwell，即四個(gè)GPU。這應(yīng)該有助于降低使用Grace平臺(tái)的總擁有成本，也可能將Grace從Nvidia收入的一小部分轉(zhuǎn)變?yōu)樾掳惭b的重要驅(qū)動(dòng)力。

支持NVLink的GB200 NVL72機(jī)架包含72個(gè)Blackwell GPU和36個(gè)Grace CPU。Nvidia稱，這個(gè)單獨(dú)的機(jī)架就能訓(xùn)練一個(gè)27萬億參數(shù)模型。當(dāng)然，大多數(shù)為此設(shè)計(jì)的AI工廠會(huì)使用多個(gè)機(jī)架來更快地訓(xùn)練如此龐大的模型。

Nvidia表示，其在AWS托管的Ceiba AI超級(jí)計(jì)算機(jī)現(xiàn)將由20,000個(gè)GB200 GPU組成，而不是最初宣布的16,000個(gè)H100。

Grace Blackwell 系統(tǒng)機(jī)架

每個(gè)機(jī)架放兩個(gè)GB200的計(jì)算托盤，一共有18個(gè)托盤。然后兩個(gè)NVSwitch放在一個(gè)交換托盤中。一切都通過每秒2升的水冷系統(tǒng)冷卻，并且重量為3000磅。整個(gè)機(jī)架消耗120千瓦電力。

NVL72 組件

Nvidia令聽眾驚訝地宣稱，GB200對(duì)于“傳統(tǒng)”的LLMS，如GPT3，比H100快了八倍，這已經(jīng)非常不錯(cuò)了，但對(duì)于推理1.8T參數(shù)的MoE，GB200比H100快了驚人的三十倍。

新的Transformer引擎

Transformer引擎這項(xiàng)技術(shù)允許每個(gè)張量在最優(yōu)精度下進(jìn)行計(jì)算，現(xiàn)在精度可達(dá)FP4。這意味著，如果一個(gè)競(jìng)爭(zhēng)對(duì)手的GPU有相同數(shù)量的Flops，由于Transformer引擎的作用，Blackwell在推理處理上可能會(huì)快兩倍。

Nvidia HPC和Hyperscale副總裁Ian Buck表示：“它的作用是跟蹤每層每個(gè)張量以及整個(gè)神經(jīng)網(wǎng)絡(luò)在計(jì)算過程中和模型訓(xùn)練過程中的準(zhǔn)確性動(dòng)態(tài)范圍，我們持續(xù)監(jiān)控每層的范圍并適應(yīng)，以保持在數(shù)值精度的界限內(nèi)，獲得最佳性能?！?/p>

現(xiàn)在讓我們看看這個(gè)怪獸是如何擴(kuò)展的。Nvidia指出，今天的AI模型，如Meta Lama 2，95%是計(jì)算（和內(nèi)存）受限的，只有5%是通信受限的。

但下一代AI模型，為之設(shè)計(jì)的Grace Blackwell，使用了“專家混合”，其中40%是計(jì)算受限的，60%是通信受限的。他們得出結(jié)論，像H100這樣的芯片會(huì)慢18倍，因?yàn)镚PU都在嘗試彼此通信。

NVLink Gen 5：更快，帶有3.6TFlops卸載速度

Nvidia正在將NVLink擴(kuò)展到多機(jī)架規(guī)模，支持3.6TF的網(wǎng)絡(luò)內(nèi)計(jì)算，用于Scalable Hierarchical Aggregation and Reduction Protocol（SHARP）技術(shù)。

SHARP通過將操作從CPU和GPU卸載到網(wǎng)絡(luò)，并消除了在端點(diǎn)之間多次發(fā)送數(shù)據(jù)的需要，改善了MPI和機(jī)器學(xué)習(xí)集體操作的性能。

新的 NVLink

DGX和DGX SuperPOd

像往常一樣，Nvidia也在為OEM和Nvidia DGX系統(tǒng)分別部署新芯片（B200和GB200）到HGX系統(tǒng)板。與NVL72不同，這兩者都是空氣冷卻的，報(bào)告稱推理性能提高了15倍，訓(xùn)練性能提高了3倍，與DGX H100相比。

新的SuperPOD是一種以NVIDIA DGX GB200系統(tǒng)構(gòu)建的液冷機(jī)架規(guī)模架構(gòu)，提供每機(jī)架11.5 exaflops的AI超級(jí)計(jì)算能力，精度為FP4，以及每機(jī)架240 terabytes的快速內(nèi)存。

每個(gè)DGX GB200系統(tǒng)都配備了36個(gè)NVIDIA GB200 Superchip — 包括36個(gè)NVIDIA Grace CPU和72個(gè)NVIDIA Blackwell GPU — 通過第五代NVIDIA NVLink作為一個(gè)超級(jí)計(jì)算機(jī)連接。

硬件可用性

那么，所有這些好東西何時(shí)開始發(fā)貨呢？Nvidia在這個(gè)細(xì)節(jié)上有點(diǎn)含糊，但Jensen展示了每個(gè)一線CSP和每個(gè)大小的Server OEM的logo。所以，看起來Blackwell將成為2024年的收入驅(qū)動(dòng)力，B100盡快發(fā)貨，而GB200將在今年晚些時(shí)候發(fā)貨。

那么H100會(huì)怎樣呢？嗯，如果你是一個(gè)企業(yè)，希望訓(xùn)練或微調(diào)一個(gè)模型，或在這些大約80B模型上運(yùn)行推理，H100將仍然是最具成本效益的平臺(tái)。但如果你是一個(gè)創(chuàng)建10萬億參數(shù)MoE模型的AI工廠，你將需要GB200，可能還需要NVL72機(jī)架。

NIM：預(yù)建的領(lǐng)域特定推理微服務(wù)

在最后一次季度財(cái)報(bào)電話會(huì)議中，Nvidia表示，公司的軟件業(yè)務(wù)正在達(dá)到每年10億美元的運(yùn)營規(guī)模的臨界質(zhì)量。Nvidia的軟件幫助客戶快速啟動(dòng)AI（或HPC），現(xiàn)在又邁出了下一步。公司創(chuàng)建了一個(gè)稱為“NIM”（Nvidia推理微服務(wù)）的概念，包括預(yù)建的Kubernetes容器、模型、API和推理引擎，如Triton，供開發(fā)人員構(gòu)建領(lǐng)域特定副駕駛使用。NIM包含在Nvidia AI企業(yè)解決方案中，每GPU每年4500美元的無限制使用中。

舉例來說，如果Nvidia將100萬GPU（大約四分之一的預(yù)期GPU出貨量）銷售給公司或主權(quán)數(shù)據(jù)中心，并搭配AI企業(yè)解決方案，那將產(chǎn)生45億美元的年收入，這是一個(gè)年度、黏性強(qiáng)、利潤高的收入。當(dāng)然，Nvidia也樂意為數(shù)以億計(jì)的已安裝基礎(chǔ)GPU銷售額外的軟件許可。

因此，人們不禁要問——我們是否即將從“硬件拉動(dòng)一些軟件”模式過渡到新的范式，即“軟件拉動(dòng)硬件”？業(yè)務(wù)價(jià)值和上市時(shí)間由模型和優(yōu)化軟件驅(qū)動(dòng)，NIM可能使部署推理能力更加容易。Nvidia說你可以在10分鐘內(nèi)部署一個(gè)模型。當(dāng)然，這還配備了非?？岬腉PU。

Nvidia NIM：推理微服務(wù)

這里有一個(gè)NIM的例子。Nvidia一直在將“Clara”作為醫(yī)療保健行業(yè)的全面起點(diǎn)進(jìn)行市場(chǎng)營銷?，F(xiàn)在，有了NIM，醫(yī)療保健微服務(wù)已經(jīng)預(yù)構(gòu)建并且易于部署，具有標(biāo)準(zhǔn)的API和部署靈活性，無論是云端還是本地部署。這是Nvidia如何從一個(gè)巨大的工具箱轉(zhuǎn)變?yōu)榭上M(fèi)和可部署的AI的方式。

使用 NIMS 的醫(yī)療保健微服務(wù)

NIM微服務(wù)為從NVIDIA、A121、Adept、Cohere、蓋蒂圖片、Shutterstock以及谷歌、擁抱者AI、Meta、Mistral AI和Stability AI的開放模型，很快還將支持微軟模型的模型部署提供最快速和最高性能的生產(chǎn)AI容器。ServiceNow宣布它正在使用NIM來更快、更經(jīng)濟(jì)地開發(fā)和部署新的領(lǐng)域特定Copilots以及其他生成式AI應(yīng)用。

Omniverse更新

Omniverse是Nvidia用于3D協(xié)作和數(shù)字孿生的平臺(tái)，繼續(xù)擴(kuò)展到新市場(chǎng)并吸引新伙伴。Nvidia宣布了新的API，以簡化將CAD和CAE軟件集成到Omniverse中的過程。

“所有制造出來的東西都將有數(shù)字孿生，”NVIDIA的創(chuàng)始人兼CEO黃仁勛說?！癘mniverse是構(gòu)建和操作物理真實(shí)數(shù)字孿生的操作系統(tǒng)。Omniverse和生成式AI是數(shù)字化50000億美元重工業(yè)市場(chǎng)的基礎(chǔ)技術(shù)?！?/p>

Nvidia在GTC展會(huì)上展示的一個(gè)立即相關(guān)的用例是使用數(shù)據(jù)中心數(shù)字孿生來模擬從舊GPU技術(shù)更換到新的GB200平臺(tái)的過程。為了盡快啟用新數(shù)據(jù)中心，NVIDIA首先使用Omniverse連接的軟件工具構(gòu)建了其數(shù)字孿生。

工程師們使用Cadence Reality數(shù)字孿生平臺(tái)，在全物理精度和照片級(jí)真實(shí)度的通用場(chǎng)景描述（OpenUSD）中可視化多個(gè)CAD數(shù)據(jù)集，該平臺(tái)由NVIDIA Omniverse API提供支持。這項(xiàng)技術(shù)有助于簡化新的和更新的數(shù)據(jù)中心的設(shè)計(jì)和建造過程，特別是在實(shí)施像GB200平臺(tái)這樣的尖端硬件時(shí)。

CuLitho：與Synopsys和TSMC一起進(jìn)入生產(chǎn)階段

半導(dǎo)體制造業(yè)一直在探索使用計(jì)算光刻作為加速吞吐量的方法，自從Nvidia一年前引入這一概念以來?，F(xiàn)在，TSMC和Synopsys準(zhǔn)備將這種光刻吞吐量40倍的改進(jìn)引入TSMC的生產(chǎn)線，而且不僅僅是最先進(jìn)的工藝節(jié)點(diǎn)。普遍認(rèn)為這個(gè)AI平臺(tái)將改變半導(dǎo)體制造業(yè)。

TSMC 和 Synopsys 已將 CiLitho 投入生產(chǎn)

結(jié)論

任何一直在想Nvidia可能會(huì)失去競(jìng)爭(zhēng)優(yōu)勢(shì)的人都應(yīng)該放心，這個(gè)領(lǐng)導(dǎo)者將繼續(xù)領(lǐng)先。有了新發(fā)現(xiàn)的4倍訓(xùn)練優(yōu)勢(shì)，30倍推理優(yōu)勢(shì)和新的NIM推理部署模型，Nvidia看起來很適合應(yīng)對(duì)所有競(jìng)爭(zhēng)對(duì)手，并保持其超過80%的市場(chǎng)份額。

但毫無疑問，競(jìng)爭(zhēng)已經(jīng)從唯一一個(gè)可行的替代品（谷歌TPU）變成了至少8個(gè)，增加了AMD MI300、Intel Gaudi、Microsoft Maia、AWS芯片、Meta MTIA Cerebras和Groq，還有更多準(zhǔn)備加入戰(zhàn)場(chǎng)的選手。

隨著這些玩家將他們的芯片推向市場(chǎng)，Nvidia的軟件堆棧增加了他們必須克服的挑戰(zhàn)。我們暫時(shí)還沒有看到任何人在像NIMS和Omniverse以及企業(yè)AI這樣的軟件上即將接近Nvidia，盡管LLM模型和OpenAI Triton在整個(gè)領(lǐng)域的可用性可能在某種程度上削弱這一優(yōu)勢(shì)。