AI對(duì)內(nèi)存的需求，正在以連美光自己都沒(méi)預(yù)料到的速度爆炸式增長(zhǎng)。

The Circuit播客近日發(fā)布了一期對(duì)話節(jié)目，主持人專訪了美光科技數(shù)據(jù)中心業(yè)務(wù)部門高級(jí)副總裁兼總經(jīng)理Jeremy Werner。對(duì)話圍繞AI時(shí)代內(nèi)存與存儲(chǔ)行業(yè)的結(jié)構(gòu)性變化展開(kāi)。

Werner開(kāi)門見(jiàn)山地表示，這一輪內(nèi)存行業(yè)的繁榮與以往的周期性波動(dòng)有本質(zhì)區(qū)別。

內(nèi)存已經(jīng)成為數(shù)據(jù)中心推理環(huán)節(jié)突破瓶頸的關(guān)鍵戰(zhàn)略資產(chǎn)，也是訓(xùn)練全球最先進(jìn)模型的核心支撐。我不認(rèn)為這個(gè)趨勢(shì)會(huì)放緩。

AI推理的“內(nèi)存墻”：不夠用就得從頭算

Werner用一個(gè)直白的邏輯解釋了為什么推理對(duì)內(nèi)存的需求如此特殊。

訓(xùn)練和推理對(duì)內(nèi)存的使用方式截然不同。Werner說(shuō)：“訓(xùn)練用內(nèi)存來(lái)學(xué)習(xí)，然后遺忘，最終輸出一個(gè)模型。但推理用內(nèi)存來(lái)記憶�！�

推理過(guò)程分為兩個(gè)階段：預(yù)填充（prefill）和解碼（decode）。在解碼階段，模型需要不斷調(diào)用此前的計(jì)算結(jié)果——也就是所謂的KV緩存（KV Cache）——來(lái)生成更準(zhǔn)確的答案。

問(wèn)題在于：如果內(nèi)存不夠存下這些歷史狀態(tài)，模型就必須從頭重新計(jì)算。Werner解釋了這意味著什么：

每一輪重新計(jì)算，所需的算力相當(dāng)于此前所有輪次的總和。也就是說(shuō)，算力需求是指數(shù)級(jí)增長(zhǎng)的。而如果你能存下上一輪的狀態(tài)，每一輪只需要線性地多做一步。

換句話說(shuō)，內(nèi)存不足會(huì)讓GPU的算力利用率急劇下降。反過(guò)來(lái)，Werner指出：“如果你能提供足夠快、足夠大的內(nèi)存，理論上可以從GPU中榨取出平方倍的算力�！�

推動(dòng)KV緩存需求膨脹的因素有三個(gè)：上下文窗口越來(lái)越長(zhǎng)、模型參數(shù)量越來(lái)越大、同時(shí)并發(fā)使用AI的用戶越來(lái)越多。Werner透露，目前上下文長(zhǎng)度正以每年30倍的速度增長(zhǎng)。

內(nèi)存層級(jí)：從HBM到SSD，一條完整的“存儲(chǔ)鏈”

Werner詳細(xì)梳理了AI數(shù)據(jù)中心的內(nèi)存層級(jí)結(jié)構(gòu)，從最靠近GPU的高帶寬內(nèi)存（HBM）到最遠(yuǎn)端的海量SSD，構(gòu)成一條完整的“存儲(chǔ)鏈”。

第一層：HBM，緊貼GPU，典型容量在10至100GB之間，速度最快，但容量有限。

第二層：主內(nèi)存（Main Memory），連接至CPU，容量通常是HBM的4至20倍，但速度更慢、距離更遠(yuǎn)。以英偉達(dá)Blackwell系統(tǒng)為例，主內(nèi)存連接至Grace CPU。

第三層：擴(kuò)展內(nèi)存（Expansion Memory），通過(guò)光纖連接獨(dú)立內(nèi)存模塊，目前尚未大規(guī)模量產(chǎn)部署，但已是業(yè)界關(guān)注的方向。

第四層：上下文內(nèi)存存儲(chǔ)（Context Memory Storage），即用SSD來(lái)存儲(chǔ)KV緩存。Werner指出，英偉達(dá)CEO黃仁勛今年已公開(kāi)談及這一方向。與HBM相比，SSD的延遲更高、帶寬更低，但容量可達(dá)HBM的1000倍。

第五層：數(shù)據(jù)湖，數(shù)據(jù)中心底層的海量SSD存儲(chǔ)，以EB（艾字節(jié)）計(jì)。

Werner表示，目前整個(gè)層級(jí)從上到下都處于供不應(yīng)求的狀態(tài)：“只要我們發(fā)布產(chǎn)品，他們就會(huì)消耗掉。只要我們提升容量和性能，他們就會(huì)找到方法部署�！�

HBM4與245TB SSD：美光的兩張王牌

面對(duì)上述需求，美光正在兩個(gè)方向同時(shí)發(fā)力。

HBM4方面，Werner透露，美光剛剛發(fā)布了HBM4產(chǎn)品，帶寬是上一代HBM3e的兩倍以上。他強(qiáng)調(diào)，提升帶寬的核心邏輯在于：當(dāng)瓶頸不是算力而是內(nèi)存帶寬時(shí)，必須加快數(shù)據(jù)送達(dá)GPU的速度。

SSD方面，美光推出了一款245TB超大容量SSD，Werner形容“這個(gè)東西比一副撲克牌大不了多少”。

這款產(chǎn)品的意義不僅在于容量本身。Werner解釋，目前數(shù)據(jù)中心部署的硬盤容量普遍在30TB出頭，而245TB的SSD意味著同等存儲(chǔ)量所需的設(shè)備數(shù)量大幅減少，連帶減少了網(wǎng)絡(luò)連接、電源、風(fēng)扇等配套設(shè)施，最終將存儲(chǔ)占地面積壓縮逾80%，同時(shí)顯著降低功耗。

“你只需要為你真正需要的性能付費(fèi)，而這些性能是以更高效的每瓦特GB來(lái)交付的�！盬erner說(shuō)。

這直接回應(yīng)了數(shù)據(jù)中心當(dāng)前最棘手的兩大約束：電力預(yù)算和物理空間。Werner表示：“如果電力是限制增長(zhǎng)的瓶頸，那我們就必須在固定功耗預(yù)算內(nèi)，找到提供更高效性能的方法。這正是我們大量創(chuàng)新的來(lái)源�！�

產(chǎn)能已經(jīng)跟不上：全球五座晶圓廠同步開(kāi)建

盡管需求旺盛，Werner坦承，內(nèi)存行業(yè)的產(chǎn)能已經(jīng)無(wú)法跟上需求。

“我們沒(méi)有在全球建造足夠多的晶圓廠�！彼苯诱f(shuō)道。

目前美光正在全球同步推進(jìn)五座晶圓廠的建設(shè)：

愛(ài)達(dá)荷州博伊西：60萬(wàn)平方英尺潔凈室，相當(dāng)于10個(gè)足球場(chǎng)大小

紐約州北部：已宣布開(kāi)工建設(shè)

弗吉尼亞州：現(xiàn)有晶圓廠擴(kuò)建

新加坡：南部晶圓廠（Nanfab）破土動(dòng)工

日本：DRAM生產(chǎn)設(shè)施擴(kuò)建

中國(guó)臺(tái)灣：剛剛從PSMC收購(gòu)一座晶圓廠

Werner表示，目前整個(gè)行業(yè)都受制于潔凈室空間，這一狀況短期內(nèi)難以改變。

我們已經(jīng)無(wú)法跟上需求了，其他所有人也一樣——英特爾、英偉達(dá)、臺(tái)積電都在說(shuō)，我們已經(jīng)滿負(fù)荷了。晶圓廠不是說(shuō)長(zhǎng)就能長(zhǎng)出來(lái)的。

市場(chǎng)還沒(méi)看懂這件事

對(duì)于市場(chǎng)的擔(dān)憂，Werner有不同看法。

他認(rèn)為，市場(chǎng)目前看到云服務(wù)商（CSP）資本開(kāi)支大幅增加，就開(kāi)始擔(dān)心這是否可持續(xù)。但他的判斷是：“這些企業(yè)正在經(jīng)歷一場(chǎng)巨大的革命，其潛力仍然超出大多數(shù)人的想象�！�

Werner還指出，AI的應(yīng)用場(chǎng)景遠(yuǎn)未飽和。訓(xùn)練時(shí)代已經(jīng)過(guò)去，推理時(shí)代剛剛開(kāi)始，而Agentic AI（智能體AI）和物理AI（Physical AI）甚至還沒(méi)有真正大規(guī)模落地�！拔艺娴南嘈牛覀冎皇莿倓傆|及AI將要帶來(lái)的變革的表面�！�

他也承認(rèn)，硅谷內(nèi)外對(duì)AI的認(rèn)知存在巨大落差：

在硅谷，大家都非常興奮，很容易陷入自己的信息繭房。但當(dāng)我和不在這個(gè)行業(yè)的朋友聊天，他們很多人還沒(méi)有意識(shí)到未來(lái)20年將會(huì)發(fā)生什么。

?星標(biāo)華爾街見(jiàn)聞，好內(nèi)容不錯(cuò)過(guò)?

本文不構(gòu)成個(gè)人投資建議，不代表平臺(tái)觀點(diǎn)，市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎，請(qǐng)獨(dú)立判斷和決策。

覺(jué)得好看，請(qǐng)點(diǎn)“在看”