都說(shuō)英偉達(dá)是 AI 淘金熱潮下的「賣(mài)鏟人」，但大模型的上游贏家不只是英偉達(dá)和臺(tái)積電，還有以 SK 海力士為代表的 HBM（高帶寬內(nèi)存）廠商。SK 海力士預(yù)計(jì)，HBM 將于每年 30%左右的速度增長(zhǎng)，到 2030 年總規(guī)模將達(dá)到約 980 億美元。

在大模型推理的世界里，HBM 幾乎是性能與效率的代名詞。無(wú)論是 GPT-5 這樣的通用模型，還是面向垂直領(lǐng)域的專用大模型，推理階段都要頻繁訪問(wèn)海量的 Key-Value 緩存（KV Cache）。這些緩存像「記憶」一樣存放著模型已處理過(guò)的上下文信息，而它們的讀寫(xiě)速度，直接取決于顯存帶寬和容量：

這也是 HBM 的強(qiáng)項(xiàng)。

但 HBM 昂貴、稀缺，還被產(chǎn)能掣肘，直接成了當(dāng)下推理性能和成本之間的一道硬門(mén)檻。不過(guò)就在最近舉辦的一場(chǎng)活動(dòng)上，華為推出了與銀聯(lián)聯(lián)合打造的一項(xiàng) AI 推理新技術(shù) ——UCM（Unified Cache Manager，統(tǒng)一緩存管理器），直指大模型推理中對(duì) HBM 依賴過(guò)重的頑疾。

圖片來(lái)源：華為

UCM 的核心思路并不神秘：不是把所有「記憶」都塞進(jìn)貴又稀缺的 HBM，而是根據(jù)熱度分區(qū)——常用的放在高速區(qū)，不常用的轉(zhuǎn)移到更便宜、更容易擴(kuò)展的存儲(chǔ)里。這樣一來(lái)，HBM 的壓力減輕了，模型依然能快速響應(yīng)，而且能記得更多內(nèi)容。

更重要的是，UCM 把這一切封裝成一個(gè)可適配多種推理引擎的統(tǒng)一套件，在軟件層面重新定義推理存儲(chǔ)調(diào)度的規(guī)則。

而按照華為的說(shuō)法，這套技術(shù)能讓長(zhǎng)對(duì)話或長(zhǎng)文本處理的速度大幅提升，首個(gè)字的生成時(shí)間縮短到原來(lái)的十分之一，模型的「記憶范圍」擴(kuò)展到過(guò)去的十倍。對(duì)于一個(gè)高度依賴硬件的領(lǐng)域來(lái)說(shuō)，這聽(tīng)起來(lái)像是通過(guò)軟件把硬件的瓶頸松開(kāi)了一道口子：

幾乎在改變 AI 推理的游戲規(guī)則。

為什么HBM需要UCM來(lái)救場(chǎng)？

在 AI 進(jìn)入日常生活的今天，大模型的「推理」——也就是 AI 理解問(wèn)題、給出答案的過(guò)程，才是真正創(chuàng)造價(jià)值的環(huán)節(jié)。問(wèn)題是，推理體驗(yàn)并不總是令人滿意，尤其是在國(guó)內(nèi)。

在華為推出 UCM 技術(shù)的活動(dòng)上，華為昇騰計(jì)算產(chǎn)品部總裁周躍峰博士就指出，今天模型訓(xùn)練、推理效率與體驗(yàn)都以 Token 數(shù)為量綱，「由于在基礎(chǔ)設(shè)施投資當(dāng)中的差距，中國(guó)互聯(lián)網(wǎng)的大模型首 Token 時(shí)延普遍慢于海外互聯(lián)網(wǎng)頭部的首 Token 時(shí)延?！?/p>

圖片來(lái)源：華為

不僅如此，生成 Token 的效率也更低。按照華為公布的數(shù)據(jù)，海外主流模型的單用戶輸出速度進(jìn)入了 200 Tokens/s 區(qū)間（時(shí)延 5ms），但國(guó)內(nèi)普遍小于 60Tokens/s（時(shí)延 50 - 100ms）。

簡(jiǎn)單來(lái)說(shuō)，國(guó)內(nèi) AI 用戶在同等問(wèn)題下得到回復(fù)的速度可能更慢，甚至在處理長(zhǎng)對(duì)話、長(zhǎng)文檔時(shí)，模型會(huì)「遺忘」上下文——看了這一段忘了上一段，看了下一段又忘了前面。而造成這種差距的一個(gè)重要原因就是：AI 推理的「記憶力」瓶頸。

問(wèn)題在于，過(guò)去的推理系統(tǒng)幾乎只用到了 HBM 和 DRAM，而對(duì) SSD 這類低成本、大容量的存儲(chǔ)幾乎沒(méi)有利用。這就像一個(gè)人只用腦袋和短期記憶，不用筆記本和外部存檔，結(jié)果是要么記不住全部?jī)?nèi)容，要么被大量不常用的信息擠占了「腦子」里最寶貴的空間。

事實(shí)上，華為推出 UCM 要解決的，就是這種「內(nèi)存結(jié)構(gòu)失衡」的問(wèn)題。UCM 通過(guò)算法把推理過(guò)程中的數(shù)據(jù)按熱度和延時(shí)需求分級(jí)存放：實(shí)時(shí)需要的熱數(shù)據(jù)放在 HBM ，中期會(huì)用到但不那么緊急的數(shù)據(jù)放到 DRAM，而那些體量大但訪問(wèn)頻率低的「冷數(shù)據(jù)」則下沉到 SSD。

這樣一來(lái)，HBM 可以專心處理最高優(yōu)先級(jí)的任務(wù)，不再被冷數(shù)據(jù)「占坑」，整個(gè)系統(tǒng)的推理效率就能被充分釋放。而 UCM 也并非一個(gè)孤立的軟件工具，它由三部分組成：