論文入選ISSCC 2026。

編譯 | 程茜

編輯 | Panken

芯東西2月26日消息，2月15日-19日，在被業(yè)界譽(yù)為“芯片設(shè)計(jì)國際奧林匹克會(huì)議”的國際固態(tài)電路大會(huì)（ISSCC 2026）上，清華大學(xué)、華為等大學(xué)與公司的研究人員發(fā)表論文，首次提出一款基于HYDAR框架的28nm混合存內(nèi)計(jì)算（CiR）芯片的推薦系統(tǒng)（RecSys）加速器。

這款36M RRAM CiR芯片能實(shí)現(xiàn)390K QPS的吞吐率與1574K QPS/W能效比。其構(gòu)建的多芯片系統(tǒng)可實(shí)現(xiàn)百萬級(jí)實(shí)時(shí)端到端推薦系統(tǒng)（RecSys）。

▲芯片顯微照片與系統(tǒng)概述

在實(shí)際推薦系統(tǒng)任務(wù)中，CiR通過擴(kuò)展至576M規(guī)模的多芯片系統(tǒng)，QPS提升了66倍，QPS/W提升181倍，準(zhǔn)確率與CPU相當(dāng)。

▲芯片性能與當(dāng)前頂尖設(shè)計(jì)的對(duì)比

該芯片的核心優(yōu)勢(shì)包括：采用DL-ADC實(shí)現(xiàn)非Top-K計(jì)算的早期終止；基于預(yù)測(cè)的預(yù)取調(diào)度流水線（PPSP）數(shù)據(jù)流提升不規(guī)則工作負(fù)載的吞吐量；由粗到細(xì)的檢索架構(gòu)（coarse-to-fine）在保證系統(tǒng)召回精度的同時(shí)，可擴(kuò)展至大規(guī)模應(yīng)用。

推薦系統(tǒng)中的核心運(yùn)算單元是相似向量檢索（SVS），該方式通過計(jì)算查詢向量與大規(guī)模向量庫之間的距離，檢索出Top?K最鄰近向量。

SVS會(huì)占據(jù)推薦系統(tǒng)絕大部分的計(jì)算時(shí)間與功耗，主要原因是外部存儲(chǔ)器訪問（EMA）開銷。其中，采用混合鍵合技術(shù)的DRAM加速器成本高昂，基于NAND TCAM的加速器存在讀取延遲高、數(shù)據(jù)與距離表示精度有限等問題。

針對(duì)上述痛點(diǎn)，研究人員提出一種基于RRAM的數(shù)?；旌洗鎯?nèi)計(jì)算加速器HYDAR，可實(shí)現(xiàn)高吞吐量、高能效、高精度的SVS。

基于RRAM的存內(nèi)計(jì)算（Compute-in-RRAM，CiR）因能最大限度減少數(shù)據(jù)移動(dòng)、存儲(chǔ)密度高、并行度極大，已被公認(rèn)為深度學(xué)習(xí)加速的極具前景的技術(shù)路線。但將CiR應(yīng)用于SVS仍會(huì)帶來額外挑戰(zhàn)，如能耗與延遲急劇增加、降低PE利用率與吞吐量、精度降低等。

▲面向高效推薦系統(tǒng)的、基于CiR的SVS加速器的研究動(dòng)機(jī)與設(shè)計(jì)挑戰(zhàn)

HYDAR通過CiR PE（存內(nèi)計(jì)算處理單元）、混合芯片設(shè)計(jì)與多芯片系統(tǒng)架構(gòu)協(xié)同優(yōu)化，解決了上述挑戰(zhàn)：

首先是帶動(dòng)態(tài)延遲ADC（DL?ADC）的CiR PE，其通過多位模擬CiR PE集成DL?ADC，用于基于直方圖的相似向量檢索，可提前將距離與檢索閾值比較，并跳過非Top?K向量，從而降低延遲與功耗。

其次是基于預(yù)測(cè)的搶占式調(diào)度流水線（PPSP），通過這種混合芯片機(jī)制，預(yù)測(cè)每個(gè)PE的運(yùn)行時(shí)間、中斷不平衡任務(wù)、插入短任務(wù)來平衡負(fù)載，以適應(yīng)動(dòng)態(tài)SVS工作流，提升利用率與吞吐量。

最后是兩步由粗到精的檢索架構(gòu)，其軟硬件協(xié)同設(shè)計(jì)框架，先在CiR PE上進(jìn)行粗粒度檢索以保證高吞吐量，再在數(shù)字SVS引擎上進(jìn)行精粒度檢索，在保證召回精度的同時(shí)最大化吞吐量。

在此基礎(chǔ)上，基于HYDAR框架，研究人員采用28nm工藝流片實(shí)現(xiàn)了一款CiR原型芯片，包含36M RRAM單元，分為16個(gè)并行PE，每個(gè)PE包含一個(gè)288×4096陣列

▲HYDAR整體架構(gòu)與核心特性及基于CiR的端到端檢索系統(tǒng)

具體來看基于模擬存內(nèi)計(jì)算單元（CiR PE）的直方圖相似向量檢索（SVS）實(shí)現(xiàn)，以及支持計(jì)算提前終止的DL?ADC設(shè)計(jì)。

其通過查詢向量與基礎(chǔ)向量之間的距離分布直方圖來確定Top?K檢索的截?cái)嚅撝担–K）。在歐氏距離框架下，距離超過CK的基礎(chǔ)向量由雙模DL?ADC過濾，該ADC可動(dòng)態(tài)監(jiān)測(cè)比較結(jié)果，實(shí)現(xiàn)非Top?K向量的計(jì)算提前終止。

歐氏距離計(jì)算可在288×4096的CiR陣列上完成，其中每個(gè)2T2R單元表示一個(gè)4位維度，每一列代表一個(gè)256維基礎(chǔ)向量及32維偏置。

本設(shè)計(jì)中，CiR PE在計(jì)算過程中將直方圖存入本地直方圖存儲(chǔ)器，隨后同步至跨PE直方圖單元（CHU），合并分布式結(jié)果以生成CK。該論文設(shè)計(jì)了三條定制指令來執(zhí)行該流程。

在DL?ADC方面，基于逐次逼近寄存器（SAR）的結(jié)構(gòu)支持提前終止模式（ET），將預(yù)生成的CK作為輸入，與每個(gè)周期生成的SAR碼一同送入按位比較器。

在迭代調(diào)整IDAC以逼近ADC輸入電流的過程中，任何一位不匹配都表明計(jì)算結(jié)果與CK存在差異，觸發(fā)提前終止，停止計(jì)算并輸出2位向量掩碼（vMask）。

最后，通過將DL?ADC設(shè)置為ET模式，距離計(jì)算與過濾可同時(shí)執(zhí)行。

▲基于動(dòng)態(tài)延遲ADC（DL?ADC）的直方圖式SVS的CiR實(shí)現(xiàn)

該ET機(jī)制在數(shù)據(jù)庫規(guī)模擴(kuò)大時(shí)效果顯著，平均減少60%的計(jì)算時(shí)間和71%的功耗，宏單元面積開銷增加7%。

其次是面向SVS負(fù)載提出的基于預(yù)測(cè)的搶占式調(diào)度流水線（PPSP）。

查詢?cè)诓煌琍E間并行計(jì)算，而每個(gè)PE參與計(jì)算的基礎(chǔ)向量數(shù)量通常不同，這會(huì)造成計(jì)算周期差異與PE間同步開銷，進(jìn)而引發(fā)調(diào)度停頓與流水線氣泡。

PPSP采用連續(xù)搶占式調(diào)度與動(dòng)態(tài)任務(wù)調(diào)度器（DTS）解決了這一問題。

DTS會(huì)對(duì)各PE上查詢執(zhí)行的完成時(shí)間戳進(jìn)行監(jiān)測(cè)與預(yù)測(cè)。該論文提出的搶占式調(diào)度機(jī)制允許新任務(wù)搶占那些即將完成的正在運(yùn)行任務(wù)，這可以消除流水線氣泡、讓任務(wù)更早完成、PE更快釋放，以服務(wù)后續(xù)查詢。

在接收到指令時(shí)，任務(wù)會(huì)占用一個(gè)DTS槽位，并將其PE/段掩碼存入任務(wù)表，然后作為子任務(wù)路由到目標(biāo)PE的兩個(gè)待處理緩沖區(qū)之一。

DTS同時(shí)監(jiān)控每個(gè)任務(wù)的預(yù)測(cè)關(guān)鍵結(jié)束時(shí)間（PCET），其定義為所有子任務(wù)PET的最大值。其中的仲裁器檢查PE與正在運(yùn)行任務(wù)的重疊情況，如果新任務(wù)的PET可以降低且不影響正在運(yùn)行任務(wù)的PCET，則切換待處理緩沖區(qū)以搶占式調(diào)度新任務(wù)，從而提升吞吐量、降低延遲。

此外，在查詢調(diào)度期間，DTS會(huì)在后端內(nèi)存分配器中為每個(gè)查詢預(yù)分配地址空間，使得PE可以直接將結(jié)果寫入輸出緩沖區(qū)，無需PE間同步，從而實(shí)現(xiàn)PE快速釋放以處理新查詢。

▲面向動(dòng)態(tài)SVS負(fù)載的、所提出的基于預(yù)測(cè)的搶占式調(diào)度流水線（PPSP）

通過以上優(yōu)化，PPSP將PE利用率提升至91%，平均查詢延遲降低30%，QPS吞吐量提升1.82倍。

最后是面向SVS、基于CiR的兩步檢索架構(gòu)。

為提升系統(tǒng)精度，該架構(gòu)集成了數(shù)字精檢索引擎，在高吞吐粗檢索結(jié)果中精確篩選向量。這使得即使在模擬CiR存在噪聲與低精度處理的情況下，仍能保持高召回精度。

該架構(gòu)還通過多CiR芯片并行擴(kuò)展了向量庫容量，并支持更廣泛的并行粗檢索，同時(shí)采用Thresh?IVF流程與系統(tǒng)流水線，進(jìn)一步提升吞吐量。

CiR PE分為三類：質(zhì)心PE（CPE）存儲(chǔ)聚類中心坐標(biāo)，采樣PE（SPE）存儲(chǔ)從每個(gè)聚類中采樣的少量向量，用于表征分布并生成CK；全量庫PE（FPE）存儲(chǔ)所有基礎(chǔ)向量，并全程運(yùn)行在高能效的DL?ADC提前終止（ET）模式下，在整個(gè)流程中占據(jù)92.7%的向量存儲(chǔ)。

CiR專用的Thresh?IVF工作流程包括查詢首先送入CPE，通過IT運(yùn)算計(jì)算查詢與聚類中心的距離，識(shí)別最近的聚類；系統(tǒng)將查詢路由到所選聚類的SPE，通過IH在多芯片間生成直方圖，進(jìn)而生成CK；CK被路由到步驟1所確定聚類的所有FPE，通過IC完成粗檢索ID生成。

這種系統(tǒng)級(jí)基于閾值的粗檢索，最小化了每個(gè)芯片輸出的過濾結(jié)果數(shù)量，避免了在各芯片上執(zhí)行相同Top?K計(jì)算帶來的冗余ID過濾。最后，少量候選ID被送入數(shù)字引擎，以FP16格式進(jìn)行精檢索，使系統(tǒng)級(jí)存儲(chǔ)帶寬需求降低97.44%。

▲兩步由粗到精檢索系統(tǒng)架構(gòu)與工作流程

該設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)級(jí)四級(jí)流水線并行；同時(shí)芯片內(nèi)不同PE也可并行處理不同任務(wù)。相較于傳統(tǒng)基于CPU的IVF方案，這種多芯片層級(jí)流水線可將延遲降低90.17%。

推薦系統(tǒng)在連接用戶與海量內(nèi)容和服務(wù)方面發(fā)揮著至關(guān)重要的作用，已廣泛部署于電商和流媒體平臺(tái)，但作為其核心運(yùn)算單元相似向量檢索占據(jù)了推薦系統(tǒng)絕大部分的計(jì)算時(shí)間和功耗。

其中采用混合鍵合技術(shù)的DRAM加速器提升了帶寬以緩解EMA問題，但其成本高昂，且仍受限于DRAM與邏輯單元之間的數(shù)據(jù)傳輸瓶頸；基于NAND TCAM的加速器將計(jì)算集成到存儲(chǔ)陣列中以減少EMA，但存在讀取延遲高、數(shù)據(jù)和距離表示精度有限的問題。

基于此，這篇最新研究提出了一款高效的SVS加速器，能在保證高吞吐量檢索的同時(shí)，不犧牲召回精度，進(jìn)一步降低推薦系統(tǒng)的功耗。