《科創(chuàng)板日報(bào)》1月7日訊 從美股到A股，今日全球存儲概念股集體暴漲。美股閃迪大漲27%，西部數(shù)據(jù)漲超16%，美光漲10%，A股恒坤新材20CM漲停，安集科技、長川科技、普冉股份、聚辰股份大幅走強(qiáng)。

在這背后，黃仁勛在CES發(fā)布的演講和新品，再次推高了本就火熱的存儲行情。

他表示，存儲“目前仍是一個(gè)完全未被開發(fā)的市場”。AI驅(qū)動的存儲需求已經(jīng)超過了現(xiàn)有基礎(chǔ)設(shè)施的容量。“我們現(xiàn)在處理的上下文內(nèi)存、token內(nèi)存和KV緩存的數(shù)量都太大了,舊的存儲系統(tǒng)根本無法滿足需求?！?/p>

“AI正在重塑整個(gè)計(jì)算棧——而現(xiàn)在，也包括存儲。AI不再是一次性問答的聊天機(jī)器人，而是能夠理解物理世界、進(jìn)行長周期推理、保持事實(shí)一致性、調(diào)用工具完成真實(shí)工作的智能協(xié)作者，并具備短期與長期記憶能力?！?/p>

之后他宣布英偉達(dá)將推出由BlueField-4 驅(qū)動新一代AI原生儲存基礎(chǔ)架構(gòu)，重構(gòu)面向下一階段AI的存儲架構(gòu)，并用“革命性”一詞來形容這一項(xiàng)創(chuàng)新。

▌新存儲平臺是什么？

英偉達(dá)的存儲新平臺全稱為NVIDIA Inference Context Memory Storage Platform（英偉達(dá)推理情境內(nèi)存存儲平臺）。

據(jù)官方介紹，該平臺通過擴(kuò)展GPU可用內(nèi)存容量，為上下文記憶提供基礎(chǔ)設(shè)施支持，實(shí)現(xiàn)跨節(jié)點(diǎn)的高速共享。

從架構(gòu)上來說，這個(gè)平臺實(shí)際上是為了AI推理專門打造了一層高速、低能耗的“上下文記憶”存儲層，將原本只能放在昂貴且有限的GPU HBM的KV cache（KV緩存）擴(kuò)展到NVMe 閃存和跨機(jī)群共享。

與傳統(tǒng)存儲方案相比，其可將每秒可處理的token數(shù)提升最高5倍，并實(shí)現(xiàn)最高5倍的能效優(yōu)化。

▌有何突出?

本次英偉達(dá)的新平臺是首次將AI推理KV緩存當(dāng)成獨(dú)立基礎(chǔ)設(shè)施層來設(shè)計(jì)。

在此之前，一般KV緩存有三個(gè)路徑選擇：GPU的HBM（快，但貴且容量極?。?、 CPU內(nèi)存（稍慢且規(guī)模有限）、SSD/存儲（便宜但延遲不可控）。

黃仁勛在CES的演講中，用“革命性的”來形容這一項(xiàng)創(chuàng)新。

他指出，這本質(zhì)上是在機(jī)架內(nèi)直接加入一個(gè)極快的KV緩存上下文存儲系統(tǒng)。整個(gè)行業(yè)之所以如此興奮，是因?yàn)閷τ诋?dāng)今所有進(jìn)行大規(guī)模Token生成的機(jī)構(gòu)企業(yè)而言，KV緩存都是一個(gè)痛點(diǎn)?！八?，我們要創(chuàng)建一個(gè)新平臺、一個(gè)新處理器來運(yùn)行整個(gè)Dynamo KV緩存上下文內(nèi)存管理系統(tǒng)，并將其放置在離機(jī)架其余部分非常近的地方，這個(gè)想法是完全革命性的?！?/p>

▌AI推理瓶頸轉(zhuǎn)向上下文存儲

在新平臺的介紹中，“KV緩存”一詞頻繁出現(xiàn)，一定程度上來說，這也是促使英偉達(dá)開發(fā)新平臺的關(guān)鍵原因之一。

黃仁勛在最新的CES演講中強(qiáng)調(diào)，AI推理瓶頸正從計(jì)算轉(zhuǎn)向上下文存儲。隨著模型規(guī)模提升以及用戶使用量的提升，AI處理需要多輪對話、多步推理的復(fù)雜任務(wù)時(shí)會產(chǎn)生大量上下文數(shù)據(jù)。而傳統(tǒng)網(wǎng)絡(luò)存儲對短期上下文而言效率過低，AI存儲架構(gòu)需要重構(gòu)。

這種海量的上下文數(shù)據(jù)通常以KV緩存的形式存在，對推理準(zhǔn)確性、用戶體驗(yàn)以及交互連續(xù)性——即備受追捧的“個(gè)性化AI”能力至關(guān)重要。

“推理時(shí)代”下，KV緩存顯存占用隨Token數(shù)量線性增長，同時(shí)KV Cache的優(yōu)化效果也與文本長度正相關(guān)。