公眾號(hào)記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過(guò)。

人工智能對(duì)技術(shù)的巨大需求迫使整個(gè)技術(shù)棧的各個(gè)層面都必須做出改變。在機(jī)架間傳輸數(shù)據(jù)時(shí)，計(jì)算機(jī)制造商越來(lái)越多地采用硅光子技術(shù)來(lái)突破銅的局限性。這其中就包括英偉達(dá)，該公司在該領(lǐng)域進(jìn)行了大量投資。但許多決策都是迫不得已的。

在最近的GTC開(kāi)發(fā)者大會(huì)上，英偉達(dá)CEO黃仁勛簡(jiǎn)要介紹了公司打造NVL1152“Kyber”超級(jí)計(jì)算機(jī)的計(jì)劃。這是一款全新的巨型擴(kuò)展型超級(jí)計(jì)算機(jī)，將搭載1152個(gè)GPU。NVL1152預(yù)計(jì)將采用目前計(jì)劃于2028年出貨的“Feynman”一代GPU，其處理器數(shù)量將是公司目前最大的擴(kuò)展型超級(jí)計(jì)算機(jī)NVL72的16倍。

NVL72 是目前世界上性能最強(qiáng)大的單機(jī)架式計(jì)算機(jī)之一。它由機(jī)架頂部和底部的 18 個(gè)計(jì)算托架組成，中間穿插著 9 個(gè)交換機(jī)托架。每個(gè)計(jì)算托架包含兩顆英偉達(dá)超級(jí)芯片（VR200 或 GB200/GB300），每顆芯片包含一個(gè) CPU（Vera 或 Grace）和兩個(gè)英偉達(dá) GPU（Rubin 或 Blackwell）。每個(gè)交換機(jī)托架包含兩顆 NVSwitch ASIC，每個(gè)托架共提供四個(gè) NVLink 端口，可在兩顆超級(jí)芯片之間實(shí)現(xiàn)每秒 1.8 TB 的數(shù)據(jù)傳輸速率。

計(jì)算和交換機(jī)托架的擺放位置體現(xiàn)了NVLink作為無(wú)源全銅纜網(wǎng)絡(luò)的物理限制。在當(dāng)前速度下（NVLink 6.0每鏈路200Gb，NVLink 5.0每鏈路100Gb），無(wú)源銅纜網(wǎng)絡(luò)中的信號(hào)在距離約2米至2.5米處就會(huì)衰減到無(wú)法使用的程度，因此需要將它們物理放置得盡可能近。

英偉達(dá)正在不斷突破機(jī)架式計(jì)算能力的極限。目前，Blackwell NVL72 在滿(mǎn)負(fù)荷運(yùn)行時(shí)功耗約為 132 千瓦，而 Rubin NVL72 機(jī)架式顯卡的功耗則約為 220 千瓦。為了防止硅芯片因過(guò)熱而熔化，目前的 NVL72 系統(tǒng)均采用液冷散熱。隨著 2028 年 Feynman 代 GPU 的推出，英偉達(dá)將轉(zhuǎn)向 800 伏直流機(jī)架式架構(gòu)，這將使其計(jì)算密度進(jìn)一步提升，但目前尚不清楚具體能提升多少。

這就是英偉達(dá)下一代縱向擴(kuò)展NVLink系統(tǒng)面臨的局限性。在目前的計(jì)算密度下，NVL1152理論上可以將16個(gè)NVL72連接成一個(gè)位于同一內(nèi)存空間內(nèi)的縱向擴(kuò)展系統(tǒng)，這將使人工智能公司能夠訓(xùn)練和運(yùn)行比現(xiàn)在規(guī)模大一個(gè)數(shù)量級(jí)的人工智能模型?？v向擴(kuò)展機(jī)器的連接速度比橫向擴(kuò)展機(jī)器快10倍，因此在訓(xùn)練或運(yùn)行大規(guī)模模型時(shí)，即使芯片間和芯片與內(nèi)存之間的微小延遲也會(huì)累積成顯著的性能瓶頸，而縱向擴(kuò)展機(jī)器正是首選方案。

雖然英偉達(dá)尚未透露NVL1152系統(tǒng)的具體設(shè)計(jì)方案，但表示將采用銅和硅光子技術(shù)的混合方案。這體現(xiàn)了計(jì)算機(jī)領(lǐng)域的一條古老格言：能用銅的地方用銅，必須用光子技術(shù)的地方用光子技術(shù)。

英偉達(dá)市場(chǎng)營(yíng)銷(xiāo)高級(jí)副總裁吉拉德·沙伊納表示：“如果能用銅線(xiàn)，我肯定會(huì)在所有地方都用銅線(xiàn)。我希望它能無(wú)處不在。但銅線(xiàn)的局限性在于傳輸距離。隨著網(wǎng)絡(luò)速度的不斷提升，銅線(xiàn)的傳輸距離卻在不斷縮短?！?/p>

Shainer表示，在200Gb/s的傳輸速率下，超過(guò)約2.5米后，無(wú)源銅的插入損耗（dB）會(huì)變得非常大，因此必須考慮其他方案。一種替代方案是使用有源銅，它會(huì)在特定距離間隔處增加信號(hào)放大器，以保持信號(hào)的可用性。有源銅在某些方面與硅光子技術(shù)類(lèi)似，后者也需要額外的電力來(lái)驅(qū)動(dòng)激光器。

但有源銅纜還有另一個(gè)缺點(diǎn)：線(xiàn)纜尺寸。Shainer 表示，有源銅纜的傳輸距離超過(guò) 50 米后，線(xiàn)纜尺寸就會(huì)變得像消防水帶一樣粗?！坝性淬~纜其實(shí)沒(méi)什么意義，”他告訴HPCwire。

硅光子技術(shù)的應(yīng)用方式也多種多樣。目前，大多數(shù)硅光子技術(shù)都采用可插拔收發(fā)器，其本質(zhì)上是沿網(wǎng)絡(luò)線(xiàn)路部署的激光器，能夠?qū)㈦娦盘?hào)轉(zhuǎn)換為光信號(hào)，反之亦然。英偉達(dá)已經(jīng)推出了一系列可插拔收發(fā)器，用于其以太網(wǎng)和InfiniBand橫向擴(kuò)展交換機(jī)，即LinkX產(chǎn)品線(xiàn)。

雖然可插拔收發(fā)器技術(shù)具有一些優(yōu)勢(shì)，但人工智能的蓬勃發(fā)展正促使計(jì)算機(jī)制造商采用共封裝光學(xué)器件 (CPO) 技術(shù)，該技術(shù)將激光收發(fā)器直接集成到芯片上。在 CPO 設(shè)置中，收發(fā)器直接連接到 NVLink 交換機(jī)核心 ASIC 的 SerDes（串行器/解串器），或者連接到 GPU 或其他 XPU 本身的 SerDes。

英偉達(dá)首席執(zhí)行官謝納表示，英偉達(dá)已經(jīng)開(kāi)始出貨采用CPO技術(shù)的Quantum-X InfiniBand交換機(jī)，并計(jì)劃在第三季度末開(kāi)始出貨采用CPO技術(shù)的Spectrum-X以太網(wǎng)交換機(jī)。隨著2028年費(fèi)曼級(jí)GPU的問(wèn)世，英偉達(dá)將邁出下一步，把CPO技術(shù)直接集成到NVLink交換機(jī)中，這將使公司能夠構(gòu)建龐大的NVL1152系統(tǒng)。該系統(tǒng)表面上將以可擴(kuò)展的方式連接16個(gè)采用硅光子技術(shù)的NVL72（盡管如前所述，轉(zhuǎn)向800V直流MGX架構(gòu)可能會(huì)提高計(jì)算密度，從而減少實(shí)現(xiàn)1152個(gè)GPU所需的機(jī)架數(shù)量）。

雖然很明顯英偉達(dá)正在轉(zhuǎn)向采用 CPO 和硅光子技術(shù)，但英偉達(dá)究竟如何使用這項(xiàng)技術(shù)來(lái)構(gòu)建 NVL1152 的許多架構(gòu)細(xì)節(jié)仍在商榷中。

“目前，在橫向擴(kuò)展方面，我們將使用與交換機(jī)和交換網(wǎng)絡(luò)集成的共封裝光模塊。在縱向擴(kuò)展方面，我們將把它用于NVLink網(wǎng)絡(luò)，”Shainer說(shuō)道?！八梢圆渴鹪诮粨Q機(jī)上，也可以部署在其他設(shè)備上。GPU的連接方式多種多樣。我們目前還沒(méi)有透露具體方案，因?yàn)槲覀冞€在研究中。但NVLink交換網(wǎng)絡(luò)顯然會(huì)采用共封裝光模塊，因?yàn)槲覀冃枰獙⒍鄠€(gè)機(jī)架連接在一起?！?/p>

使用 NVL1152 的 NVLink 機(jī)架間連接顯然將采用硅光子技術(shù)，但英偉達(dá)可以選擇保持每個(gè)機(jī)架內(nèi)部的通信完全采用銅纜?！癗VL1152 的設(shè)計(jì)方案還有待確定，”Shainer 說(shuō)，“現(xiàn)在討論這個(gè)問(wèn)題還為時(shí)過(guò)早?！?/p>

正如黃仁勛在GTC主題演講中簡(jiǎn)要提及的那樣，英偉達(dá)正準(zhǔn)備推出Feynman架構(gòu)的重大變革，該架構(gòu)將采用芯片堆疊技術(shù)和定制的HBM顯存。除了GPU之外，英偉達(dá)還將推出新版Groq LPU，即可插入NVLink的LP40。Vera CPU的后續(xù)產(chǎn)品將被命名為Rosa。此外，英偉達(dá)還在研發(fā)BlueField-5 DPU和CX10 SuperNIC。NVLink 8.0 CPO也在產(chǎn)品路線(xiàn)圖上。

英偉達(dá)正與眾多合作伙伴攜手開(kāi)發(fā)其硅光子產(chǎn)品。該公司采用臺(tái)積電的緊湊型通用光子引擎（COUP）平臺(tái)，將光連接直接集成到先進(jìn)芯片封裝中。上個(gè)月，英偉達(dá)分別向兩家光子公司Lumentum 和 Coherent投資了 20 億美元。此外，還有許多其他硅光子廠(chǎng)商也獲得了英偉達(dá)的投資，但尚未公開(kāi)宣布。

黃仁勛在GTC主題演講中表示：“對(duì)于我們生態(tài)系統(tǒng)中的所有參與者來(lái)說(shuō)，我們需要更多的產(chǎn)能。我們需要更多的銅纜產(chǎn)能，我們需要更多的光纜產(chǎn)能，我們需要更多的CPO產(chǎn)能?！?/p>

Shainer表示，英偉達(dá)正在與至少20家硅光子生態(tài)系統(tǒng)合作伙伴開(kāi)展合作，涵蓋光纖、光纖陣列、激光器和封裝等領(lǐng)域。不同的芯片需要不同的光子連接。

Shainer表示，將硅光子器件連接到高基數(shù)以太網(wǎng)交換機(jī)的方式未必適用于網(wǎng)卡或GPU。有些設(shè)計(jì)可能需要將收發(fā)器直接集成在芯片上，而另一些應(yīng)用則可能更適合將收發(fā)器放置在芯片之外或附近，這種方法被稱(chēng)為近封裝光（NPO）。

他表示，臺(tái)積電的COUP技術(shù)將在系統(tǒng)整體協(xié)同工作的設(shè)計(jì)中發(fā)揮關(guān)鍵作用?！拔覀兿Ｍ_(kāi)發(fā)一種新的封裝，能夠容納這些光學(xué)引擎，并能進(jìn)行規(guī)?；?yàn)證，最終實(shí)現(xiàn)所需的性能，”Shainer說(shuō)道?！肮杵旧硎窍嗤?，但封裝方式不同，因此我們能夠真正容納這些光學(xué)引擎。”

若您對(duì)硅光SiGe技術(shù)及流片相關(guān)話(huà)題有更多探討需求，歡迎添加微信深入交流。

（來(lái)源：編譯自hpcwired）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀(guān)點(diǎn)，半導(dǎo)體行業(yè)觀(guān)察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀(guān)點(diǎn)，不代表半導(dǎo)體行業(yè)觀(guān)察對(duì)該觀(guān)點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀(guān)察。

今天是《半導(dǎo)體行業(yè)觀(guān)察》為您分享的第4383內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送

求推薦