隨著人工智能模型的計算需求不斷飆升，傳統(tǒng)的內(nèi)存技術正面臨前所未有的挑戰(zhàn)。為了滿足日益增長的數(shù)據(jù)吞吐需求，一種叫做“高帶寬內(nèi)存（HBM）”的新型內(nèi)存結構正迅速成為高性能計算和AI訓練的“標配”。然而，HBM帶來的不僅是性能的大幅躍升，也引發(fā)了一個新的問題：過熱。

韓國科學技術研究院（KAIST）的Joungho Kim教授最近在接受《The Elec》采訪時指出，“冷卻技術將成為未來HBM技術競爭的關鍵?！边@意味著，未來芯片性能的差異，不再僅僅依靠誰的運算更快，而是誰的冷卻做得更好。

什么是HBM？為什么它會“發(fā)熱”？

HBM（High Bandwidth Memory）是一種將多個DRAM芯片垂直堆疊，并通過硅通孔（TSV）進行高速連接的三維內(nèi)存結構。相比傳統(tǒng)的DDR內(nèi)存，HBM擁有更高的數(shù)據(jù)傳輸速度、更小的占板面積，并且功耗更低。

在目前的AI芯片中，比如NVIDIA的H100或AMD的MI300系列，HBM已經(jīng)成為核心配置之一。尤其是在訓練像GPT-4或大模型時，HBM能將數(shù)千億參數(shù)的訪問延遲降低到極小。但問題也隨之而來：數(shù)據(jù)吞吐越快，發(fā)熱就越多。

冷卻問題從HBM4開始變得嚴重

Kim教授指出，從HBM4開始，內(nèi)存不僅承擔存儲功能，還開始“協(xié)助”GPU處理部分計算工作。這讓位于芯片底部的“基座芯片”（base die）溫度明顯升高。尤其是在多堆疊（如16層、20層）的HBM結構中，散熱路徑更長，熱量更難以釋放。

當前普遍使用的冷卻方法是“頂部液冷”——即通過在芯片封裝頂部加裝散熱器，然后將冷卻液泵送至熱源。這種方式雖然在HBM2/HBM3階段仍能勝任，但到了HBM4及以后，將逐漸力不從心。

浸沒式冷卻：HBM5的未來解法

為了應對更高的熱密度，Kim教授預計，從HBM5開始，冷卻技術將迎來根本性變革。

其中一種關鍵技術就是浸沒式冷卻（Immersion Cooling）——讓整個芯片封裝連同其基座都直接浸泡在絕緣冷卻液中，類似于給芯片“泡澡”。這種方式可以讓冷卻液直接接觸熱源，有效將熱量快速帶走，特別適合HBM堆疊密集、熱流密度高的環(huán)境。

值得注意的是，這種冷卻方案不僅是簡單的“浸泡”，而是要與芯片結構深度集成，因此對芯片設計、封裝方式以及冷卻液材料提出更高要求。

KAIST公布HBM技術路線圖：2040年直指HBM8

Kim教授領導的KAIST Teralab團隊發(fā)布了一份涵蓋2025年至2040年的HBM技術發(fā)展路線圖，從HBM4到HBM8，詳細勾畫了未來內(nèi)存系統(tǒng)的冷卻與結構演進：

• HBM4（2025）：輔助計算，頂部液冷，熱挑戰(zhàn)初顯
• HBM5（~2029）：引入浸沒式冷卻，采用混合鍵合技術
• HBM6（~2032）：混合中介層（玻璃+硅），更高層堆疊
• HBM7（~2035）：嵌入式冷卻、液體流通DRAM堆棧
• HBM8（~2040）：內(nèi)存直接集成在GPU之上，異構架構徹底融合

HBM7：讓冷卻液“穿行”芯片堆疊

當HBM發(fā)展到第七代，常規(guī)冷卻方式已經(jīng)無法應對熱量挑戰(zhàn)。Kim教授提出了一種更為激進的方案——嵌入式冷卻（Embedded Cooling）。

其核心是讓冷卻液直接穿行在每層DRAM芯片之間。要實現(xiàn)這種“芯片間流動”，需要引入新型的流體通孔（TSV），包括：

• TTV（熱通孔）：用于加強垂直方向的散熱；
• TPV（熱穿孔）：改善熱流分布；
• 柵極 TSV：優(yōu)化信號傳輸與熱傳導的協(xié)調(diào)。

這將大幅提升冷卻效率，使HBM堆疊結構不再是“散熱瓶頸”。

HBM與高帶寬閃存（HBF）的融合趨勢

除了冷卻技術演進，未來的HBM也將逐步融合其他存儲技術。Kim教授提到，未來的HBM7及以后版本，可能會與高帶寬閃存（HBF）融合。

這種結構中，傳統(tǒng)的NAND閃存將模仿HBM的堆疊方式，構建高速緩存與非易失存儲共存的架構，從而提高AI模型的持久性、響應速度與容量靈活性。

HBM性能的另一關鍵：混合鍵合技術

冷卻不是HBM演進唯一的技術挑戰(zhàn)，封裝方式與互聯(lián)結構的提升同樣重要。

Kim教授指出，從HBM6開始，業(yè)界將引入混合鍵合（Hybrid Bonding）方式，這種技術能夠?qū)崿F(xiàn)更小間距、更高密度的垂直連接。與此同時，為了提升信號完整性和散熱效率，HBM6/7將采用混合中介層結構，即用玻璃和硅材料共同構建芯片之間的中轉(zhuǎn)平臺。

據(jù)調(diào)研機構TrendForce指出，當前HBM制造商已在考慮是否在HBM4的16層堆疊中試點混合鍵合技術，但大多數(shù)企業(yè)計劃從HBM5的20層堆疊開始正式部署。

內(nèi)存冷卻已成為“新摩爾定律”

過去幾十年，芯片性能的提升依賴于晶體管尺寸的不斷縮小，即所謂的“摩爾定律”。然而，進入AI計算時代后，我們迎來了一個新的瓶頸：熱。

從HBM4開始，冷卻已不再是簡單的“輔助手段”，而是芯片架構的“第一類公民”。是否能讓冷卻系統(tǒng)與芯片深度融合，將直接決定未來AI計算的性能上線。

在未來的AI世界里，冷得快，才是真的快。