（本文編譯自Electronic Design）

DeepSeek R1的問(wèn)世在人工智能領(lǐng)域引發(fā)巨大震動(dòng)，這不僅源于其卓越的性能表現(xiàn)，更在于其研發(fā)規(guī)模的空前體量。這款擁有6710億參數(shù)的開源語(yǔ)言模型，訓(xùn)練過(guò)程耗費(fèi)超20萬(wàn)億個(gè)tokens，動(dòng)用了數(shù)以萬(wàn)計(jì)的英偉達(dá)H100圖形處理器（GPU），直觀印證了大語(yǔ)言模型（LLMs）領(lǐng)域?qū)?shù)據(jù)的海量需求。

H100 GPU之所以能承載如此龐大的數(shù)據(jù)吞吐量，核心在于其搭載的第三代高帶寬內(nèi)存（HBM3）。每顆H100 SXM GPU配備80GB容量的HBM3內(nèi)存，可提供3.35TB/s的帶寬。盡管這相較于前代產(chǎn)品已是質(zhì)的飛躍，但內(nèi)存容量與帶寬的增長(zhǎng)速度，仍難以跟上人工智能模型指數(shù)級(jí)擴(kuò)張的步伐。

以英偉達(dá)前一代A100 GPU為例，其最初配備40GB容量的第二代高帶寬內(nèi)存（HBM2），帶寬為1.55TB/s，H100的顯存容量與帶寬實(shí)現(xiàn)了翻倍提升。然而在過(guò)去兩年，人工智能模型的規(guī)模增長(zhǎng)超過(guò)百倍，內(nèi)存技術(shù)的迭代速度被遠(yuǎn)遠(yuǎn)甩在身后。

這一差距凸顯出人工智能發(fā)展進(jìn)程中的核心瓶頸：傳統(tǒng)存儲(chǔ)技術(shù)已無(wú)法滿足現(xiàn)代人工智能訓(xùn)練對(duì)帶寬與容量的雙重需求。海量數(shù)據(jù)集需要被高速調(diào)取和處理，若內(nèi)存容量不足、性能滯后，人工智能計(jì)算資源的效能將大打折扣。

高帶寬內(nèi)存應(yīng)運(yùn)而生

高帶寬內(nèi)存（HBM）的出現(xiàn)正是為了破解這一難題（見下表）。通過(guò)垂直堆疊存儲(chǔ)芯片，并借助超寬高速接口實(shí)現(xiàn)互聯(lián)，相比傳統(tǒng)存儲(chǔ)架構(gòu)，HBM在性能與容量上實(shí)現(xiàn)了跨越式突破，迅速成為承載先進(jìn)人工智能工作負(fù)載的首選存儲(chǔ)方案。

表1：HBM在容量與性能上實(shí)現(xiàn)雙重躍升

HBM內(nèi)存的演進(jìn)歷程令人矚目。其初代產(chǎn)品的數(shù)據(jù)傳輸速率為1Gb/s，單個(gè)3D堆疊體最多集成8顆16Gb的存儲(chǔ)芯片。而作為第三代高帶寬內(nèi)存（HBM3）增強(qiáng)版的HBM3e，其數(shù)據(jù)傳輸速率提升至9.6Gb/s，器件可支持堆疊16顆32Gb的存儲(chǔ)芯片，單器件總?cè)萘窟_(dá)到64GB。

為解決人工智能訓(xùn)練、高性能計(jì)算（HPC）及其他高負(fù)載應(yīng)用場(chǎng)景下的內(nèi)存瓶頸，行業(yè)對(duì)下一代高帶寬內(nèi)存產(chǎn)品HBM4的問(wèn)世翹首以盼。近期，固態(tài)技術(shù)協(xié)會(huì)（JEDEC）正式發(fā)布HBM4內(nèi)存標(biāo)準(zhǔn)，預(yù)示著行業(yè)將迎來(lái)又一次重大技術(shù)突破。

JEDEC已就高達(dá)6.4Gb/s的速率等級(jí)達(dá)成初步協(xié)議。此外，HBM4采用2048位寬的接口設(shè)計(jì)，帶寬是前代HBM產(chǎn)品的兩倍，這使得在相同數(shù)據(jù)傳輸速率下，HBM4的內(nèi)存帶寬較初代HBM3翻倍，同時(shí)比HBM3e標(biāo)準(zhǔn)支持的帶寬高出33%。這意味著數(shù)據(jù)存取與處理速度將大幅提升，助力人工智能模型實(shí)現(xiàn)前所未有的高效訓(xùn)練與運(yùn)行。

HBM4還集成了先進(jìn)的可靠性、可用性與可維護(hù)性（RAS）功能。這一點(diǎn)在由數(shù)千顆圖形處理器組成的大規(guī)模并行計(jì)算架構(gòu)中至關(guān)重要，此類系統(tǒng)平均每數(shù)小時(shí)就可能發(fā)生一次硬件故障。更高的可靠性是保障系統(tǒng)性能穩(wěn)定、最大限度縮短停機(jī)時(shí)間的關(guān)鍵所在。

要充分釋放HBM4的性能潛力，高性能的內(nèi)存控制器不可或缺。目前市面上主流的控制器產(chǎn)品均支持JEDEC制定的6.4Gb/s標(biāo)準(zhǔn)，可與第三方或客戶定制的物理層（PHY）解決方案搭配，構(gòu)建完整的HBM4內(nèi)存子系統(tǒng)。

HBM4的應(yīng)用挑戰(zhàn)

HBM4的落地應(yīng)用面臨諸多新挑戰(zhàn)。首要難題是如何在更高速率下應(yīng)對(duì)數(shù)據(jù)并行處理的復(fù)雜性。新一代HBM4控制器內(nèi)置更精密的重排序邏輯，通過(guò)優(yōu)化輸出的HBM事務(wù)與輸入的HBM讀取數(shù)據(jù)，確保高帶寬數(shù)據(jù)接口在功耗可控的前提下始終保持高效利用狀態(tài)。

另一項(xiàng)挑戰(zhàn)在于熱管理。隨著性能的提升，HBM內(nèi)存控制器必須警惕熱熱點(diǎn)（thermal hotspot）的產(chǎn)生風(fēng)險(xiǎn)。對(duì)此，下一代HBM4控制器專門設(shè)計(jì)了相應(yīng)機(jī)制，允許主機(jī)系統(tǒng)讀取存儲(chǔ)裸片的溫度狀態(tài)，從而幫助系統(tǒng)在熱參數(shù)范圍內(nèi)實(shí)現(xiàn)高效統(tǒng)籌管理。

生成式人工智能時(shí)代正加速到來(lái)，性能更先進(jìn)、數(shù)據(jù)需求量更大的模型將不斷涌現(xiàn)，內(nèi)存帶寬的重要性再怎么強(qiáng)調(diào)都不為過(guò)。推動(dòng)下一代人工智能發(fā)展，需要進(jìn)一步挖掘HBM4乃至更先進(jìn)內(nèi)存產(chǎn)品的性能潛力。芯片設(shè)計(jì)人員正著眼未來(lái)，勾勒人工智能革命的發(fā)展藍(lán)圖，助力科研與開發(fā)人員不斷突破技術(shù)邊界，探索更多創(chuàng)新可能。