由于SRAM在最新的工藝節(jié)點中無法實現(xiàn)可擴展性，業(yè)界必須評估其對所有計算形式的影響。

SRAM 是所有計算系統(tǒng)的重要組成部分，但它未能跟上邏輯電路的擴展步伐，造成了越來越棘手的問題，而這些問題在過去五年中變得更加嚴重。

早在1990年，亨尼西和帕特森就出版了《計算機體系結構：量化方法》一書。作者當時就已清楚地認識到，內(nèi)存容量和性能將成為未來處理能力發(fā)展的關鍵瓶頸（見圖1）。幾十年來，硬件架構一直在回避這個問題，通常使用SRAM作為緩存，并輔以容量更大的片外DRAM。雖然這使得內(nèi)存看起來更大，但速度往往慢得多。這就是所謂的“內(nèi)存墻”。

圖1：內(nèi)存墻的早期識別。來源：Hennessy & Patterson，《計算機體系結構：定量方法》。

在所有計算形式中，程序和數(shù)據(jù)都存儲在靜態(tài)隨機存取存儲器（SRAM）中。處理器從該存儲器中讀取指令。這些指令告訴處理器要對同樣存儲在該存儲器中的數(shù)據(jù)執(zhí)行哪些操作。

SRAM 比處理器內(nèi)部臨時存儲數(shù)據(jù)的寄存器更便宜。雖然寄存器單元可以使用與 SRAM 相同數(shù)量的晶體管，但寄存器使用更昂貴的解碼和訪問機制，這種機制無法隨著寄存器組大小的增加而擴展。

SRAM 存儲器由一系列存儲單元組成，周圍環(huán)繞著電路，這些電路能夠以隨機方式讀取和存儲數(shù)據(jù)。在許多情況下，周圍的邏輯電路是半定制的，因為它會隨著存儲陣列規(guī)模的增大而變化。事實上，許多存儲器速度的提升都來自于這些電路的改進，而不是存儲陣列本身的改進。

隨著SRAM容量和性能的提升幾乎停滯不前，未來前景愈發(fā)黯淡。這意味著，隨著制程節(jié)點的不斷縮小，相同容量的SRAM所占用的芯片面積比例卻越來越高。隨著越來越多的芯片達到光刻工藝的極限，這種狀況難以承受，制造商不得不比以往更多地依賴外部存儲器。而外部存儲器的速度要慢得多。

在人工智能時代，訪問模式發(fā)生了變化，這也迅速成為主要的限制因素。

臺積電承認SRAM微縮存在一些問題，但該公司聲稱其新的2nm納米片技術（見圖2）已有所改進。然而，很難獲得確鑿的數(shù)據(jù)來支持這一說法。過去，實際結果往往低于大規(guī)模應用前公布的數(shù)據(jù)。

圖2：臺積電 SRAM 單元尺寸（數(shù)據(jù)來自公開渠道）。來源：半導體工程

雖然這可以被視為內(nèi)存問題，但歸根結底是計算問題?！靶阅懿⒎鞘芟抻谟嬎隳芰?，”Eliyan的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Ramin Farjadrad 表示，“在很多情況下，大多數(shù)功能的處理器利用率只有 20%，甚至更低。性能主要受限于內(nèi)存和內(nèi)存帶寬。這就是所謂的內(nèi)存墻?！?/p>

SRAM 微縮

人們很容易認為，當晶體管尺寸縮小時，由六個晶體管組成的SRAM 單元的尺寸和性能也會隨之降低。“SRAM 微縮停滯不前，是因為傳統(tǒng)的 6T 位單元達到了物理極限和工藝偏差極限，” Synopsys嵌入式存儲器IP 首席產(chǎn)品經(jīng)理 Daryl Seitzer 表示?！癝RAM 位單元的設計初衷是實現(xiàn)高密度存儲，但它存在一個固有的缺陷，即讀寫需求相互沖突。訪問晶體管與存儲晶體管之間存在競爭，這種競爭需要仔細平衡，并考慮工藝偏差。隨著幾何尺寸的縮小，工藝偏差對位單元讀寫特性的影響比例會越來越大?！?/p>

問題遠不止于此?！半S著制程節(jié)點的縮小，靜電控制和隨機波動成為主要制約因素，阻礙了單元面積的相應縮小，”Arteris產(chǎn)品管理高級經(jīng)理Andre Bonnardot 表示。“此外，由于導線電阻和位線電容的增加，SRAM 的速度已經(jīng)達到瓶頸，而 Vdd 在最近的制程節(jié)點中幾乎沒有降低。邏輯電路可以通過器件和布線方面的創(chuàng)新繼續(xù)縮小尺寸，但 SRAM 卻無法做到這一點。”

隨著制程節(jié)點的更新，這些問題愈發(fā)嚴重?！霸谙冗M的2nm及以下制程工藝上，SRAM位單元的密度提升幅度已降至不足15%。”Cadence硅解決方案集團研究員Gopi Ranganathan表示，“這遠低于我們在65nm到5nm工藝技術迭代過程中所經(jīng)歷的50%到100%的逐代縮小幅度。這種下降可歸因于先進制程節(jié)點上器件、柵極觸點、MEOL以及V0/V1的尺寸極其狹窄，而進一步有意義的尺寸縮小受到工具的限制以及硅良率的制約?！?/p>

其影響是成本更高、性能更低?！爸饕憩F(xiàn)為存儲器密度擴展速度落后于傳統(tǒng)存儲器，”Quadric首席技術官Nigel Drego 表示?！懊科椒胶撩组T數(shù)(Gate/mm2)的發(fā)展速度超過了每平方毫米兆字節(jié)數(shù)(MB/mm2 )。此外，由于線路延遲和物理定律與 SoC 設計人員的需求不符，訪問速度也受到影響。然而，巧妙的架構調(diào)整可以緩解邏輯和 SRAM 速度之間的依賴性?！?/p>

自20 世紀 80 年代以來，這種差距一直在擴大，那么如今的計算機技術與二十年前相比如何呢？Eliyan 公司的 Farjadrad 表示：“計算機或處理器的性能提升了近五個數(shù)量級。但這些計算機需要處理來自內(nèi)存的數(shù)據(jù)。內(nèi)存帶寬甚至沒有提升 100 倍，因此，計算機實際處理或能夠處理的數(shù)據(jù)量與實際輸入的數(shù)據(jù)量之間存在超過 1000 倍的差距?！?/p>

這不僅僅是前沿人工智能技術的問題。最終，它將影響到所有領域——甚至包括小型微控制器（MCU）和微處理器（MPU）——尤其是在人工智能向邊緣應用發(fā)展的過程中?！霸谀撤N程度上，它變得無法擴展，屆時SRAM將占據(jù)芯片總面積的更大比例，”瑞薩電子首席產(chǎn)品營銷經(jīng)理Kavita Char表示。“這是我們必須考慮的問題。這也會影響芯片用戶，因為他們必須考慮哪些功能可以在芯片上實現(xiàn)，以及何時需要使用外部存儲器。隨著芯片幾何尺寸的縮小，成本也會越來越高?！?/p>

目前尚不清楚N2的位單元面積是否比上一代產(chǎn)品更優(yōu)?！癝RAM近期的性能提升主要得益于邏輯電路尺寸的縮小，并將其應用于SRAM宏的解碼和控制電路，”Synopsys嵌入式存儲器IP高級產(chǎn)品經(jīng)理Rahul Thukral表示?！斑@需要設計上的創(chuàng)新，而我們能夠在位單元尺寸未縮小的情況下實現(xiàn)這樣的面積優(yōu)勢。隨著環(huán)柵（GAA）技術的改進以及器件寬度控制靈活性的提高，預計未來性能將進一步提升。GAA晶體管能夠提供更好的靜電控制，從而降低漏電并改善讀寫性能，預計還將帶來更多改進。對于最初的2nm工藝，存儲器面積正在改善，其中大部分性能提升來自解碼和數(shù)據(jù)通路電路中的邏輯器件。然而，隨著GAA晶體管的進一步縮小，位單元面積有望進一步縮小，預計在后續(xù)節(jié)點中位單元面積將進一步降低?！?/p>

Arteris公司的Bonnardot表示：“我們認為SRAM擴展速度的放緩正處于系統(tǒng)架構的拐點。當內(nèi)存密度增長放緩時，簡單地增加緩存就變得不經(jīng)濟了?！?/p>

對軟件的影響

對軟件的影響范圍廣泛，挑戰(zhàn)了長期以來“軟件生產(chǎn)力是優(yōu)化最重要的目標”這一觀念。如今，許多領域都在質(zhì)疑這一觀點，尤其是在越來越多的產(chǎn)品走向軟件定義化之后?！耙蕾囉诤Ａ勘镜豐RAM和多層快速緩存的處理器架構將受到最大的影響，”Quadric公司的Drego表示?！癈PU無法避免這些硬件密集型的內(nèi)存架構，因為我們手機、筆記本電腦和數(shù)據(jù)中心中的CPU被設計用于運行具有非結構化內(nèi)存引用的隨機用戶代碼，并同時處理數(shù)十個線程?！?/p>

對于這類公司而言，選擇余地不多。“SRAM 現(xiàn)在占據(jù)了芯片面積和成本的更大比例，”Bonnardot 表示?！按笮图拇嫫魑募途彺鎸哟谓Y構不再能夠自由擴展，這加大了對芯片尺寸、良率、能效和數(shù)據(jù)傳輸效率的壓力。這使得瓶頸從計算密度轉(zhuǎn)移到了內(nèi)存架構和互連效率。軟件必須假定內(nèi)存的層次結構更加復雜，速度也更加分散。局部性、分塊、分區(qū)和流量可預測性變得更加重要，而延遲差異則成為系統(tǒng)級性能的限制因素?！?/p>

人工智能也無法擺脫這些問題?！半S著人工智能模型規(guī)模和上下文長度的增長，內(nèi)存帶寬和片上緩存成為性能瓶頸，”Synopsys公司的Seitzer表示。“這在LLM推理中表現(xiàn)得尤為明顯，鍵值緩存帶寬成為瓶頸。因此，軟件必須優(yōu)化數(shù)據(jù)局部性、內(nèi)存感知調(diào)度、量化、稀疏性和內(nèi)存分層，因為計算能力的提升已無法彌補內(nèi)存擴展速度的緩慢。”

人工智能架構的一些差異可以被利用?！叭斯ぶ悄芤?，尤其是人工智能推理處理器，可以長時間處理結構良好的代碼，其運行時間比頻繁切換任務的CPU長幾個數(shù)量級，”Drego說道?！爸悄苋斯ぶ悄芗軜媽?nèi)存管理推入離線編譯器，這些編譯器可以調(diào)度顯式的代碼驅(qū)動的DMA傳輸，用于傳輸人工智能模型的權重和激活值。整個人工智能推理處理引擎都可以構建成不需要任何數(shù)據(jù)緩存的架構。這減輕了使用最高速度、最高功耗的SRAM來設計分層緩存、緩存標簽和轉(zhuǎn)換緩沖區(qū)的壓力。隨著越來越多的工作負載依賴于人工智能模型，先進SoC芯片面積中越來越大的部分可以避免SRAM密度/速度瓶頸，從而將這一設計挑戰(zhàn)限制在關鍵的CPU子模塊中?！?/p>

或許業(yè)內(nèi)并非所有人都注意到了這一點?！皩τ谌斯ぶ悄苣Ｐ蛠碚f，有一個叫做算術強度的概念，”Eliyan公司的Farjadrad說道，“它指的是處理器在內(nèi)存上運行的函數(shù)或操作的數(shù)量。遺憾的是，近期人工智能模型的算術強度遠低于以往。因此，從內(nèi)存到處理器的帶寬需求更大了?！?/p>

3D SRAM

如果SRAM 無法擴展，那么使用最昂貴的工藝節(jié)點就毫無意義。目前，人們越來越傾向于將 SRAM 集成到芯片上，并安裝在處理器之上。Cadence 公司的 Ranganathan 表示：“SoC 設計人員正在探索解耦方案，即將少量 SRAM 放置在采用最先進工藝節(jié)點設計的芯片上。最關鍵的需求是 CPU/GPU/AI 工作負載，例如 1 級、2 級甚至 3 級。在這種情況下，更大的 SRAM 容量（例如 4 級）則放置在更早工藝節(jié)點的芯片上，從而降低每個晶體管的成本。更快的芯片間通信鏈路和更小的互連間距的出現(xiàn)，使得多存儲器層次結構的集成更加容易，從而在合理的延遲影響下降低成本?！?/p>

目前，這是一種成本高昂的解決方案?！坝捎诜庋b成本高、散熱復雜且標準化程度有限，基于3D和芯片組的SRAM目前僅適用于高端AI/HPC芯片，”Seitzer表示?！叭缃?，SRAM密集型芯片組仍然集中在高端設備中，需要通過定制解決方案將SRAM與其他高價值IP集成在一起。短期內(nèi)實現(xiàn)低成本、面向大眾市場的SRAM芯片組似乎不太可能?！?/p>

但那一天或許終會到來?！靶酒M（Chiplets）提供了一種絕佳的解決方案，能夠以更低的功耗實現(xiàn)更高的帶寬，”Farjadrad說道?！懊總€人都需要讓它發(fā)揮作用，這就是為什么整個行業(yè)如此關注解決這些挑戰(zhàn)的原因。這才是打破性能瓶頸的途徑，不僅適用于2.5D，也適用于3D?！?/p>

替代方案

每當內(nèi)存出現(xiàn)問題時，人們總會討論可以用哪些新型內(nèi)存技術來替代SRAM?！靶屡d技術在某些特定情況下有所幫助，但它們并不能完全替代SRAM，”Bonnardot說道?！拔磥淼拇蠖鄶?shù)系統(tǒng)將會使用更多層級的內(nèi)存，而不是更少?！?/p>

未來的系統(tǒng)架構也可能有所不同?！皟?nèi)存計算或近內(nèi)存計算的概念，正是人工智能的發(fā)展方向，這意味著傳統(tǒng)模型將會發(fā)生一些變化，”Baya Systems首席商務官Nandan Nayampally表示?！皞鹘y(tǒng)模型圍繞著龐大的計算引擎構建，這些引擎試圖從相對靠近內(nèi)存的位置提取數(shù)據(jù)。因此，系統(tǒng)將持續(xù)演進，開始使用不同的存儲器，因為我們最終可以說SRAM已經(jīng)無法擴展。這是一種看待問題的方式。另一種看待問題的方式是，我們目前使用SRAM的方式是否已經(jīng)達到了架構上的極限？我認為后一種情況更為明顯。Cerebras在晶圓級應用方面邁出了重要一步，即將更多的存儲器集中在芯片上，從而改變了一些限制?！?/p>

即使有了這些進步，單個芯片上可容納的模型尺寸仍然有限?！斑@就引出了一個主要問題：‘在一片晶圓上究竟能高效地實現(xiàn)什么？’ 如果開始堆疊晶圓或生產(chǎn)更大的晶圓，這種架構還能繼續(xù)正常擴展嗎？還是最終會遇到同樣的限制？所謂的‘內(nèi)存墻’并非一次性的障礙，”納亞姆帕利說道。 “如果架構保持不變，模型尺寸的每一次增大都會帶來新的障礙。因此，設計決策必須著重考慮系統(tǒng)的可擴展性，從單芯片到多芯片乃至更大范圍。最初，我們看到的是CPU集群。后來是芯片組集群。再后來，發(fā)展到板級集群。如今，擴展意味著要讓整個機架作為一個統(tǒng)一的計算資源運行，甚至更進一步。在每個階段，無論是納米級、毫米級、厘米級、米級還是公里級，都會出現(xiàn)新的挑戰(zhàn)。最終，如何劃分和管理資源決定了你克服這些反復出現(xiàn)的障礙的能力?！?/p>

新型存儲器也正在站穩(wěn)腳跟?！耙恍┬屡d的嵌入式存儲器確實展現(xiàn)出了真正的市場吸引力，尤其是在SRAM或嵌入式閃存難以勝任的領域，”Seitzer說道?！袄纾琈RAM具有良好的可擴展性、低泄漏、高耐久性，有望取代SoC中的部分嵌入式閃存/SRAM。ReRAM由于易于集成和成本較低，正被越來越多地采用，成為一種更經(jīng)濟高效的嵌入式非易失性存儲技術。這些技術可以增強而非取代L1/L2緩存中的高性能SRAM，但它們有望取代某些控制器、MCU和加速器中的嵌入式存儲器?！?/p>

高帶寬內(nèi)存(HBM) 備受關注，它顯著提升了 DRAM 的帶寬。HBM 由多層 DRAM 堆疊而成，其底層傳統(tǒng)上是與處理器直接連接的芯片級物理層 (PHY)。由于底層芯片采用了與位單元層相同的工藝技術——一種針對存儲單元而非邏輯電路優(yōu)化的工藝——因此其功耗密度和熱密度受到限制。如果將底層芯片的工藝升級為針對邏輯電路優(yōu)化的工藝，則可以支持更多潛在功能并實現(xiàn)更高的性能。

“通過這種方式，我們可以在HBM基片和GPU之間實現(xiàn)更高帶寬的芯片間接口，”Farjadrad說道?！拔覀兛梢岳没硪粋?cè)的剩余帶寬來連接其他設備。這些額外設備可以是另一排HBM，從而使GPU可訪問的HBM容量翻倍?；蛘撸部梢詫⑵溆糜贗/O芯片組，以提供更高的外部帶寬，或者兩者兼而有之?！?/p>

此外，緩存管理方面也有了更大的空間。“在SRAM擴展不再自動的時代，架構效率，尤其是在結構和一致性層面，成為了每平方毫米性能和每瓦性能的關鍵所在，”Bonnardot說道?！巴ㄟ^智能地管理緩存位置和流量行為，緩存可以在不成比例增加SRAM面積的情況下，提供足夠的內(nèi)存容量和帶寬提升?！?/p>

結論

內(nèi)存瓶頸日益凸顯，而且短期內(nèi)幾乎沒有改變的跡象。SRAM 擴展不太可能重現(xiàn)昔日的輝煌，這意味著必須尋找替代方案。3D 堆疊技術可能會變得更加普及，尤其是在價格下降的情況下。但目前還沒有萬全之策。如果高速內(nèi)存成為計算能力的瓶頸，那么計算就必須更有效地利用現(xiàn)有內(nèi)存。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個人觀點，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認同，如有異議，請聯(lián)系后臺。