河南
快科技1月13日消息，花旗銀行在最新報(bào)告中指出，隨著NVIDIA采用推論情境記憶存儲(chǔ)（Inference Context Memory Storage，ICMS）等新技術(shù)，全球NAND供應(yīng)短缺的狀況將進(jìn)一步惡化。
在AI推理過(guò)程中，為了避免重復(fù)計(jì)算、提升響應(yīng)速度，系統(tǒng)會(huì)使用 KV緩存機(jī)制，類(lèi)似于AI模型的"短期記憶"，但隨著上下文長(zhǎng)度的爆炸式增長(zhǎng)，昂貴的HBM早已不堪重負(fù)。
為了解決這一瓶頸，NVIDIA在宣布推出由BlueField-4 DPU驅(qū)動(dòng)的ICMS平臺(tái)，該平臺(tái)建立了一個(gè)名為G3.5的全新存儲(chǔ)層級(jí)：將原本擠在HBM中的KV緩存放到可擴(kuò)展性更強(qiáng)的本地 SSD中。
得益于此，NVIDIA能夠明顯提升推理速度，最高可達(dá)5倍，同時(shí)能源效率提升高達(dá)5倍，延遲也大幅降低。
花旗預(yù)計(jì)，為了支持ICMS運(yùn)作，在一套Vera Rubin NVL72 AI配置中，NVIDIA將為每個(gè)機(jī)架配置最多16TB的額外存儲(chǔ)，總體SSD容量達(dá)到約1152TB。
根據(jù)市場(chǎng)預(yù)測(cè)，Vera Rubin服務(wù)器在2026年的出貨量預(yù)計(jì)為3萬(wàn)臺(tái)，2027年將達(dá)到10萬(wàn)臺(tái)。
這意味著2026年由此產(chǎn)生的額外NAND需求將達(dá)到3456萬(wàn)TB，占全球總需求2.8%，到2027年需求將飆升至1.15億TB，占全球NAND總需求的9.3%。
而且花旗的分析僅基于Vera Rubin平臺(tái)，并未考慮更高規(guī)格的Rubin Ultra系統(tǒng)，也未納入后續(xù)Feynman架構(gòu)可能帶來(lái)的新增需求，這意味著實(shí)際NAND需求增長(zhǎng)可能比目前預(yù)測(cè)的更為顯著。
花旗認(rèn)為，NVIDIA采用ICMS技術(shù)，將成為NAND供應(yīng)商的積極催化劑，三星、SK海力士、鎧俠、西部數(shù)據(jù)及美光將成為最大受益者。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
