韓國半導(dǎo)體公司SK海力士日前宣布，已完成下一代超高性能AI存儲器產(chǎn)品HBM4的開發(fā)，并且已經(jīng)為全球首次量產(chǎn)準(zhǔn)備就緒。

HBM4將是下一代數(shù)據(jù)中心和AI芯片的首選標(biāo)準(zhǔn)，是存儲三巨頭海力士、三星和美光爭壓的一張王牌。將使用它的英偉達Rubin GPU，已經(jīng)最近在臺積電成功流片，2026年量產(chǎn)。

(從HBM3到HBM4架構(gòu)）

HBM4 擁有業(yè)界最佳的數(shù)據(jù)處理速度和能效，采用2,048 個 I/O 端口，帶寬較上一代翻倍，能效提升 40% 以上。預(yù)計該產(chǎn)品應(yīng)用后，AI 服務(wù)性能將提升高達 69%，從而解決數(shù)據(jù)瓶頸問題，并大幅降低數(shù)據(jù)中心的電力成本。

SK海力士表示：“HBM4的開發(fā)完成將成為行業(yè)新的里程碑?！蔽磥?，HBM將不再是標(biāo)準(zhǔn)化產(chǎn)品。為了降低整體的功耗和性能損失，上游AI芯片廠商紛紛開啟了定制化趨勢。它主要是用針對特定AI加速器架構(gòu)定制的基底裸片（custom base die），取代了傳統(tǒng)的通用裸片，優(yōu)化信號路徑、電源分配和接口協(xié)議，從而實現(xiàn)更高的能效和帶寬密度。Semianalysis認(rèn)為，這是一次革新架構(gòu)層面的重大飛躍，徹底改變了HBM與AI加速器的集成方式。

今年6月，SK海力士已與英偉達、微軟、博通達成HBM4E定制合作，三星也在與博通、AMD談判。這對中國廠商意味著更高的技術(shù)門檻與商業(yè)壁壘。亞馬遜AWS高管甚至稱，定制化可能“關(guān)閉其他玩家的大門”。HBM國產(chǎn)替代仍要加速奔跑，盡早實現(xiàn)國產(chǎn)AI算力生態(tài)閉環(huán)。

HBM5時代，英偉達殺入

存儲墻的長期存在，成本持續(xù)上漲，威脅著英偉達未來的市場地位。從Ampere到Blackwell Ultra，HBM不僅在材料清單（BOM）中成本超過一半，而且還在繼續(xù)增長，BOM增長中絕對和相對增長的最大部分都來自HBM。

在計算與存儲架構(gòu)融合的趨勢下，HBM決定著未來AI芯片制高點，英偉達從去年即開始布局掌握核心技術(shù)。最近更是傳出英偉達將自己設(shè)計HBM基礎(chǔ)裸片。這是一項至關(guān)重要的核心技術(shù)，英偉達已經(jīng)決定，今后無論用誰家的HBM，基礎(chǔ)裸片必須自家設(shè)計。據(jù)業(yè)內(nèi)盛傳，3納米制程的基礎(chǔ)裸片，預(yù)計將于2027年下半年小規(guī)模量產(chǎn)。

實際上，英偉達已經(jīng)于2024年8月就向美國專利局提交了一份專利申請，并于12月獲批。這項專利是一種 3D 堆疊式“近存儲計算”架構(gòu)，通過讓處理器裸芯片與存儲裸層層堆疊并一一對應(yīng)，提升了數(shù)據(jù)局部性和運算效率，特別適用于 AI 大模型訓(xùn)練和高性能計算場景。

這樣的話，英偉達的自己設(shè)計的裸芯片將有可能用于HBM5。據(jù)韓國科學(xué)技術(shù)院（KAIST）的Tera Lab最近展望，HBM5 將于 2029 年上市，瞄準(zhǔn)英偉達的費曼（Feynman）產(chǎn)品。

HBF將取代HBM

HBM 已經(jīng)成為韓國半導(dǎo)體產(chǎn)業(yè)同義詞，而韓國 KAIST（韓國科學(xué)技術(shù)研究院）的金正浩教授被稱為“HBM之父”。他讓韓國AI半導(dǎo)體享譽世界，為三星電子、SK海力士等韓國半導(dǎo)體企業(yè)主導(dǎo)全球高寬帶存儲產(chǎn)業(yè)，提供了理論與技術(shù)的支持。

今年6月，金教授指導(dǎo)TeraLab 公布了一份至2038年的 HBM 路線圖，規(guī)劃了從HBM4 到HBM8的技術(shù)進步。

金教授預(yù)測：“在HBM4中，一些GPU功能將被整合進基底芯片，同時使用LPDDR 存儲器，可以緩解數(shù)據(jù)瓶頸。”到了HBM5階段，構(gòu)成 HBM 的DRAM 中的TSV（硅通孔）數(shù)量將增加到 4000 根以上，嵌入SRAM 緩存，并且將封裝直接浸入冷卻液，這種浸沒式冷卻會成為標(biāo)準(zhǔn)。HBM6將在基底芯片上以“雙子塔”的形式排列多個HBM堆棧，并引入玻璃與硅結(jié)合的混合中介層。

金教授認(rèn)為，這時真正的變革才開始。

HBM7將采用嵌入式冷卻技術(shù)，讓冷卻液直接在存儲晶片之間流動。更重要的是，在這一階段，一個名為高帶寬閃存（HBF）的新概念將出現(xiàn)，它利用 NAND。最終，HBM8將演化為完全的3D結(jié)構(gòu)，HBM 將同時置于GPU的上下兩側(cè)，帶寬有望達到每秒64TB。

9月3日，在仁川松島會展中心舉行的國際先進半導(dǎo)體基板·封裝產(chǎn)業(yè)展（KPCA Show）Insight 2025主旨演講中，金教授表示：“未來，將NAND閃存像高帶寬內(nèi)存（HBM）一樣堆疊的HBF，將左右整個業(yè)界的性能表現(xiàn)。”

HBF是一種基于NAND閃存的堆疊式內(nèi)存，其技術(shù)概念與HBM相似。今年初，美國存儲公司SanDisk公開表示正在開發(fā)這項技術(shù)。它與HBM的實現(xiàn)方式類似，后者是將DRAM芯片像塔一樣垂直堆疊，然后通過硅通孔（TSV）進行垂直互連。HBF的不同之處在于，它用NAND閃存取代了DRAM芯片，以特定的方式進行堆疊。

Sandisk認(rèn)為，今年以來發(fā)布的大模型出現(xiàn)了明顯的趨勢。每一代新模型尺寸和上下文長度都在增加，這推動了對更高內(nèi)存容量的需求，而混合專家 (MoE) 等架構(gòu)創(chuàng)新的實施導(dǎo)致計算需求呈下降趨勢。這種對更多內(nèi)存和更少計算需求的組合催生了一種新范式，Sandisk稱之為“以內(nèi)存為中心的 AI”的新范式——它最適合基于 HBF 的系統(tǒng)。

而基于 NAND 的架構(gòu)可提供 8 到 16 倍于HBM的容量，同時以相同的價格提供相同的讀取帶寬。

（來源：Sandisk)

金教授指出：“目前，三星電子和SK海力士的業(yè)績主要由HBM決定，但十年后，HBF將取而代之?！?br/>

他說：“HBM負(fù)責(zé)速度，而HBF將負(fù)責(zé)容量。”他的設(shè)想是堆疊數(shù)百層NAND閃存，將其重構(gòu)為類似HBM的高帶寬結(jié)構(gòu)。預(yù)計在未來10年內(nèi)，HBF可能會成為存儲市場的另一大支柱。已有一些海外公司希望在這一研究上與金教授進行合作。

HBF可以取代HBM基底芯片上LPDDR的位置。通過補充HBM的容量限制，HBF可以直接在GPU內(nèi)存儲大型AI模型。在這種架構(gòu)中，HBM將扮演臨時快速處理數(shù)據(jù)的緩存角色，而HBF則充當(dāng)存儲海量AI模型本身的主內(nèi)存角色。金教授預(yù)測：“同時生產(chǎn)DRAM和NAND閃存的三星電子和SK海力士這兩家公司將迎來巨大的發(fā)展機遇。”Sandisk已經(jīng)與 SK海力士合作，共同制定HBF的全面行業(yè)標(biāo)準(zhǔn)。

除了內(nèi)存帶寬和容量之外，金教授還將HBM的穩(wěn)定供電和散熱管理列為重要的AI性能決定因素。他分析道：“TSV在供電和散熱管理中扮演著重要角色。三星電子和SK海力士的產(chǎn)品在質(zhì)量上可能存在差異，部分原因可能在于對TSV的精簡。”

金氏定律

如果說在加速計算領(lǐng)域有“黃氏定律”，在存儲領(lǐng)域就有“金氏定律”（Kim's law）。金教授于2017年提出，密集三維集成電路中堆疊和層數(shù)大約每兩年翻一番，并預(yù)測這一增長率將持續(xù)多年。

金教授的預(yù)測多年來已被證實。它已被用于指導(dǎo)韓國半導(dǎo)體行業(yè)的長期規(guī)劃和制定研發(fā)目標(biāo)。高帶寬系統(tǒng)的進步與金氏定律密切相關(guān)：數(shù)據(jù)帶寬、I/O數(shù)量和內(nèi)存容量。高數(shù)據(jù)帶寬系統(tǒng)促進了圖形計算、高性能計算系統(tǒng)和機器學(xué)習(xí)應(yīng)用的最新發(fā)展。

當(dāng)HBM剛開始研發(fā)時，很多人質(zhì)疑誰會使用這樣昂貴而復(fù)雜的存儲器，但金教授團隊追求學(xué)術(shù)成就，堅持研究，隨著ChatGPT的出現(xiàn)，他們的成果迎來了爆發(fā)。SK海力士和三星電子開發(fā)的HBM都融合了金教授的研究。實驗室的成果也在ISSCC、VLSI等國際會議上發(fā)表，并為 HBM 標(biāo)準(zhǔn)化進程提供了關(guān)鍵理論。

金教授表示：“決定AI性能的不是 GPU，而是HBM的帶寬和連接數(shù)量。”其團隊的使命，就是為了實現(xiàn)這一藍圖奠定理論基礎(chǔ)。

其原因在于，人工智能（AI）的性能提升越來越依賴于內(nèi)存帶寬和容量。金教授解釋說：“當(dāng)前的AI主要基于Transformer深度學(xué)習(xí)架構(gòu)的生成式AI。要處理一個輸入Token達到100萬個的模型，需要TB級別的數(shù)據(jù)。”他補充道：“當(dāng)每秒需要對TB級別的大數(shù)據(jù)進行數(shù)千次的讀寫操作時，如果內(nèi)存帶寬不足，就會出現(xiàn)瓶頸現(xiàn)象?！?/p>

一旦出現(xiàn)瓶頸，基于OpenAI的ChatGPT或Google Gemini等大型語言模型的生成式AI服務(wù)響應(yīng)速度就會變慢。這種瓶頸源于當(dāng)前計算機的基礎(chǔ)架構(gòu)，即馮·諾依曼架構(gòu)。在這種架構(gòu)下，CPU或GPU與內(nèi)存是物理分離的，因此兩者之間的數(shù)據(jù)傳輸速度（即帶寬）至關(guān)重要。金教授強調(diào)：“即使GPU的尺寸擴大一倍，如果內(nèi)存帶寬不足，也無濟于事。AI的性能最終受限于內(nèi)存，并由內(nèi)存的性能決定?！?/p>

Teralab，HBM研究樞紐

（金教授在TeraLab門口）

自 2000 年代初金正浩教授創(chuàng)建 TeraLab 以來，這里就成為一個專注于存儲與封裝的全球研究樞紐。HBM是其中的核心。TeraLab把 HBM從一個概念變?yōu)楝F(xiàn)實，并且一步一步地把曾經(jīng)被視為低價值元件的存儲半導(dǎo)體，轉(zhuǎn)變?yōu)楦邇r值的半導(dǎo)體和AI的核心部件。金教授也因此被稱為“HBM 之父”。

金教授的團隊和實驗室連接著產(chǎn)業(yè)現(xiàn)場。自2010年代初期起，他們便參與與三星電子、SK海力士的HBM商用化研究，架起了學(xué)界與產(chǎn)業(yè)的橋梁。實驗室開發(fā)的封裝仿真技術(shù)，以及電源與信號完整性分析方法，成為全球首款 HBM 產(chǎn)品開發(fā)的基石。

TeraLab的論文在學(xué)術(shù)界和業(yè)界被廣泛引用，尤其是封裝與存儲接口論文已被引用數(shù)百次，實驗室提出的“基于混合鍵合的TSV結(jié)構(gòu)”，直接被應(yīng)用于HBM3E和下一代HBM的設(shè)計中。

HBM并不是唯一的研究重點。實驗室的2.5D 和 3D封裝技術(shù)同樣世界領(lǐng)先。他們提出的微通道冷卻設(shè)計和中介層功耗優(yōu)化分析，已經(jīng)成為全球公司在設(shè)計下一代 GPU 和 AI 芯片時參考的基礎(chǔ)模型。金教授還代表韓國參與了《國際半導(dǎo)體技術(shù)路線圖》（ITRS）和 IEEE 《異構(gòu)集成路線圖》（HIR），把TeraLab的研究成果帶入全球標(biāo)準(zhǔn)化討論。

這些研究成果也促進了人才培養(yǎng)。迄今為止，已有 200 多名學(xué)生在 TeraLab 獲得碩士和博士學(xué)位，許多人如今在三星電子、SK 海力士、英偉達、谷歌和蘋果等全球半導(dǎo)體公司擔(dān)任核心技術(shù)人員。許多科技巨頭都熱衷于招募擁有半導(dǎo)體背景經(jīng)驗的學(xué)生。這些學(xué)生不僅進入主要的半導(dǎo)體公司，還加入了 Meta、特斯拉和 Groq。金教授說：“如今，連蘋果都迫切希望招收我們實驗室的學(xué)生?！?/p>

TeraLab 的運營模式非同尋常。金教授認(rèn)為：“靠短期的政府項目是無法中大獎的?！彼J(rèn)為政府主導(dǎo)的研究支持實際上會限制創(chuàng)造力。相反，實驗室通過與企業(yè)的合作研究項目來保證研究費用，而碩博生的論文研究則專注于 HBM。在金教授辦公室外，可以看到眾多與其合作過的公司 Logo，甚至包括現(xiàn)代汽車。實驗室通過企業(yè)項目籌資，而論文研究則完全專注于長期的特定主題，學(xué)生獲得了企業(yè)研究環(huán)境的經(jīng)驗，成為可立即投入工作的技術(shù)人才。

金教授在研究成果處理上也采取了不同的做法。他說：“HBM 能成功，是因為我們沒有執(zhí)著于專利?！彼J(rèn)為如果把申請專利當(dāng)作目標(biāo)，技術(shù)反而會受到束縛。“讓更多人自由使用和發(fā)展想法更重要。”加州大學(xué)伯克利分校發(fā)明 FinFET 技術(shù)的胡正明教授（自 2010 年以來推動半導(dǎo)體小型化），也因類似原因沒有為該技術(shù)申請專利。

最近，金教授對Agentic AI產(chǎn)生了濃厚興趣。即便離退休不遠，他仍全力投入新領(lǐng)域。他和學(xué)生們?nèi)缃裾谘芯坷?Agentic AI 實現(xiàn)自動化的 HBM 設(shè)計。

參考：

https://www.thelec.kr/news/articleView.html?idxno=40242

https://cm.asiae.co.kr/en/article/2025091111213906379

https://tera.kaist.ac.kr/

https://www.sandisk.com/company/newsroom/blogs/2025/memory-centric-ai-sandisks-high-bandwidth-flash-will-redefine-ai-infrastructure