公眾號記得加星標(biāo)??，第一時間看推送不會錯過。

為了應(yīng)對生成式人工智能和基礎(chǔ)模型計算需求的快速增長，IBM 研究院采用了全棧式方法，將人工智能計算能力構(gòu)建并集成到我們的系統(tǒng)產(chǎn)品中。IBM Spyre 加速器正是基于這種方法而誕生的。

企業(yè)工作負載由復(fù)雜的執(zhí)行流程構(gòu)成，其中會使用各種類型的模型來自動化決策。將人工智能集成到企業(yè)工作負載中意味著在工作負載執(zhí)行的不同階段可能會使用多種不同的人工智能模型。因此，人工智能加速器必須具備無縫的軟件集成、靈活的硬件集成以及企業(yè)級的穩(wěn)健性和可管理性。從人工智能生命周期的角度來看，Spyre 的首要任務(wù)是加速推理。除此之外，我們還需要一種能夠集成到多個 IBM 平臺（尤其是 IBM Z 和 Power 系統(tǒng)）的解決方案。Spyre 的設(shè)計選擇充分體現(xiàn)了這些考慮因素。

Spyre是 IBM 研究院全新數(shù)據(jù)流架構(gòu) AI 加速器概念的成果。雖然 Spyre 是一款針對推理優(yōu)化的加速器，但我們始終秉持一個關(guān)鍵原則：它還必須支持 AI 的完整生命周期，包括推理、微調(diào)和訓(xùn)練。我們在設(shè)計架構(gòu)、數(shù)字格式和可編程性時，充分考慮了這種通用性和適應(yīng)性。這種架構(gòu)上的“面向未來”設(shè)計，將使后續(xù)版本能夠隨著企業(yè)客戶需求的演變，覆蓋推理以外的更多用例。

從底層開始混合精度

Spyre AI 內(nèi)核專為混合精度 AI 數(shù)學(xué)運算而設(shè)計。每個 Spyre AI 內(nèi)核分為兩個“核心單元”（corelet）。每個核心單元包含一個二維 8x8 SIMD 脈動陣列，用于矩陣乘法和卷積等運算；以及兩個一維向量陣列，用于激活/歸一化函數(shù)和量化/反量化運算。二維陣列包含 64 個低精度數(shù)學(xué)引擎，負責(zé)處理大部分 AI 計算；低精度設(shè)計是實現(xiàn)高能效運行的關(guān)鍵。二維陣列的 64 個引擎支持低精度 fp16、fp8、int8 和 int4 運算。一維向量陣列包含 fp32 功能，用于執(zhí)行諸如激活函數(shù)等無法用低精度運算精確計算的操作。每個內(nèi)核的本地存儲器采用兩級可編程 SRAM 暫存微架構(gòu)。

Spyre 系統(tǒng)級芯片 (SoC) ASIC 包含 32 個活動內(nèi)核（另有 2 個備用內(nèi)核以提高良率），這些內(nèi)核通過雙向環(huán)路互連。該環(huán)路包含一個與內(nèi)存交叉開關(guān)的接口，該交叉開關(guān)連接到 16 個 LPDDR5 通道，這些通道以 6.4 Gbps 的速率運行，可為內(nèi)核提供 204 GB/s 的峰值帶寬。LPDDR5 在低成本下優(yōu)化了容量帶寬比，同時為目標(biāo)應(yīng)用提供了足夠的內(nèi)存帶寬。該交叉開關(guān)具有 DMA 和 RDMA 引擎的端口，分別用于在 Spyre 和主機之間以及多個 Spyre 之間通過 PCIe 傳輸數(shù)據(jù)。該 SoC 支持完全流水線化的 DMA/RDMA 傳輸和執(zhí)行，允許這些階段重疊，從而使不同階段的獨立推理能夠并行運行。Spyre SoC 采用標(biāo)準(zhǔn)的 5nm CMOS 工藝實現(xiàn)，包含 256 億個晶體管。

在功率限制范圍內(nèi)實現(xiàn)適應(yīng)性性能

Spyre 的設(shè)計目標(biāo)是滿足單個 PCIe 插槽的功耗預(yù)算，且無需輔助電源接口。為了降低功耗，我們采用了多電源域策略：芯片上高活動區(qū)域采用 0.55V 的低電壓供電，而對時序要求嚴(yán)格且活動較低的區(qū)域則采用 0.75V 的高電壓供電。在平臺特定的功耗預(yù)算下運行，動態(tài)電源管理對于各種 AI 模型發(fā)揮最佳性能至關(guān)重要。與以往的解決方案不同，Spyre 引入了一種新穎的雙環(huán)電源管理控制機制，該機制能夠通過軟件控制，將峰值功耗調(diào)節(jié)到兩個不同的設(shè)定點和兩個不同的時間常數(shù)。這種機制的性能優(yōu)于單環(huán)電源管理方案。

Spyre SoC 集成于一張單槽 PCIe 卡中，并配備 8 個雙通道 LPDDR5 內(nèi)存模塊和電源管理控制回路電路。多張 Spyre 卡通過 PCIe 交換機通信，組成一個本地組，實現(xiàn)低延遲的互聯(lián)互通，從而支持多卡協(xié)同工作，聚合內(nèi)存帶寬，提升生成式 AI 模型的性能。在 IBM Z 或 LinuxONE 系統(tǒng)中最多可部署 48 張這樣的卡，在 IBM Power 系統(tǒng)中最多可部署 16 張，以擴展 AI 功能。

芯片之外

Spyre 軟件棧對于整個加速器解決方案至關(guān)重要。我們與多家軟件公司建立了合作關(guān)系，旨在簡化與 IBM 基于 Red Hat Linux 的企業(yè)軟件棧的集成。Spyre軟件棧包含編譯器、運行時環(huán)境、設(shè)備驅(qū)動程序和固件，從推理服務(wù)器和深度學(xué)習(xí)框架開始，用于啟動推理作業(yè)。我們的主要框架是 PyTorch 2.x，其架構(gòu)旨在簡化加速器集成。使用 PyTorch 2.x 構(gòu)建的應(yīng)用程序幾乎無需任何軟件更改即可在 Spyre 系統(tǒng)上運行。

Spyre 采用獨特的可編程數(shù)據(jù)流微架構(gòu)和適當(dāng)?shù)恼麛?shù)和浮點數(shù)格式，實現(xiàn)了企業(yè) AI 所需的推理效率、性能水平和靈活性。

（來源：編譯自IBM）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個人觀點，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達一種不同的觀點，不代表半導(dǎo)體行業(yè)觀察對該觀點贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4325期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時間看推送

求推薦