国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

內(nèi)存計算對邊緣AI為何如此重要?

0
分享至

(本文編譯自Semiconductor Engineering)

在大眾媒體中,“人工智能”通常指運行在昂貴且高功耗數(shù)據(jù)中心的大型語言模型。然而,對于許多應用場景來說,在本地硬件上運行的小型模型則更為貼切。

自動駕駛汽車需要實時響應,避免數(shù)據(jù)傳輸延遲。醫(yī)療和工業(yè)應用通常依賴于無法與第三方共享的敏感數(shù)據(jù)。盡管邊緣人工智能應用速度更快、更安全,但它們的計算資源卻非常有限。它們無法擁有TB級的內(nèi)存空間,也沒有近乎無限的電力供應。

對于數(shù)據(jù)中心來說,這些限制可能有些抽象,但卻對邊緣人工智能施加了嚴格的限制。在2025年IEEE國際存儲器研討會上的一篇特邀論文及其后續(xù)預印本中,蘇黎世聯(lián)邦理工學院計算機科學教授Onur Mutlu及其同事指出,在典型的移動工作負載中,數(shù)據(jù)在內(nèi)存中的移動占總能耗的62%。內(nèi)存無疑是占用硬件空間最多的組件,但內(nèi)存延遲往往也是導致執(zhí)行時間延長的主要因素。

多年來,器件縮放一直是降低功耗的關(guān)鍵,但現(xiàn)在卻使問題更加嚴重。Mutlu表示,規(guī)模龐大的DRAM穩(wěn)定性較差,需要更頻繁的刷新周期。大型內(nèi)存陣列的訪問難度也更大,因為帶寬的增長速度不如內(nèi)存條本身的增長速度快。

內(nèi)存計算和近內(nèi)存計算提供了可能的解決方案。即使是商用的現(xiàn)成DRAM,只要軟件基礎(chǔ)設施支持,也可以執(zhí)行原始的數(shù)據(jù)復制、初始化和按位邏輯運算。

結(jié)合了RRAM和鐵電體的混合解決方案

然而,DRAM刷新功耗的問題仍然存在。在神經(jīng)網(wǎng)絡模型中,訓練和推理任務都會重復使用存儲的權(quán)重矩陣。然而,兩者的要求卻截然不同。

正如CEA-Leti的Michele Martemucci及其同事所解釋的,訓練任務涉及對權(quán)重矩陣進行多次小幅更新,使其逐漸收斂至穩(wěn)定值。這類任務要求存儲器具備高寫入耐久性和存儲精確值的能力。相比之下,推理任務使用的是穩(wěn)定不變的權(quán)重矩陣,但可能會將其多次應用于輸入數(shù)據(jù),因此更適合采用具有高讀取耐久性的非易失性存儲器。無論是訓練還是推理,近內(nèi)存計算都需要與標準CMOS邏輯工藝兼容的設備。

阻變存儲器(RRAM)結(jié)構(gòu)簡單,依靠氧化層中形成的導電細絲來實現(xiàn)極高的讀取耐久性。通過精心設計的編程方案,它們可以存儲模擬值,從而減小存儲器陣列的大小。Martemucci表示,RRAM技術(shù)已經(jīng)足夠成熟,可以在邊緣推理場景中進行商業(yè)部署。

遺憾的是,RRAM的寫入耐久性相對較低。隨著時間的推移,編程脈沖會模糊存儲值之間的電阻差異。設計人員通常使用傳統(tǒng)硬件訓練模型,然后將預先計算的權(quán)重加載到RRAM陣列中。然而,在許多應用中,邊緣設備需要具備“學習”能力。它要么需要根據(jù)用戶的特定需求進行訓練,要么需要修改模型以反映實際流程的變化。

與此同時,鐵電電容器支持超快速切換,且具備極高的寫入耐久性,能夠輕松承受訓練任務中頻繁的寫入操作。然而,盡管其存儲的值具有非易失性,但讀取操作卻具有破壞性。Martemucci表示,這類器件不適合長期存儲權(quán)重矩陣,也不適合需要頻繁讀取操作的推理任務。

將鐵電晶體管集成到CMOS工藝中非常復雜,需要高溫工藝和額外的掩模層。而鐵電電容器和隧道結(jié)則簡單得多,因此多個研究團隊開始嘗試結(jié)合阻變存儲器和鐵電結(jié)構(gòu)。例如,在今年的VLSI技術(shù)研討會上,SK海力士的研究人員展示了一種兼具電阻和鐵電開關(guān)功能的混合鐵電隧道結(jié)(FTJ)。

在傳統(tǒng)的FTJ中,頂部和底部電極之間的隧道勢壘取決于鐵電極性。SK海力士的器件將鐵電鉿鋯氧化物(HZO)層夾在兩個電極之間,鉭層用作氧空位儲存器。鉭層附近的導電細絲在器件頂部提供歐姆導電,從而降低了鐵電隧道勢壘的有效厚度。這些器件實現(xiàn)了精確的模擬乘法累加運算,效率高達每瓦224.4萬億次運算(TOPS/W)。

在另一種混合方法中,Martemucci團隊將摻雜硅的HfO2電容器與鈦氧清除層整合到標準CMOS BEOL工藝中。這些器件最初表現(xiàn)為鐵電電容器,其中一些器件接收一次性“喚醒”脈沖以穩(wěn)定鐵電響應。同時,電容器陣列的另一部分經(jīng)過一次性“成型”工藝,形成由氧空位構(gòu)成的導電細絲。鈦層充當氧空位儲存器,可防止細絲溶解。由此產(chǎn)生的憶阻器器件可以在高阻和低阻狀態(tài)之間切換。


圖1:金屬-鐵電-金屬堆疊結(jié)構(gòu)可作為鐵電電容器(FeCAP)或憶阻器使用。

(圖源:CEA-Leti)

鐵電電容器用作二進制元件,存儲用于訓練計算的高精度權(quán)重。憶阻器存儲的模擬權(quán)重精度足以應對推理任務。在訓練過程中,憶阻器陣列每完成100個輸入步驟后更新一次,而鐵電陣列則持續(xù)更新。針對標準數(shù)字識別任務訓練該結(jié)構(gòu)時,總寫入操作次數(shù)比憶阻器的耐久性上限低17倍,比鐵電電容器的耐久性上限低75倍,同時能耗比持續(xù)更新憶阻器陣列所需的能耗低38倍。

人工智能不僅僅是神經(jīng)網(wǎng)絡

內(nèi)存計算不僅可以提高傳統(tǒng)神經(jīng)網(wǎng)絡計算的能效,還能促進其他建模方法的發(fā)展。例如,許多計算難度高的問題可以建模為伊辛模型,即一組連接的節(jié)點共同演化至最低能量狀態(tài)。現(xiàn)實世界中,這類問題可能涉及數(shù)千甚至數(shù)百萬個連接。

解決伊辛模型問題是量子計算最引人入勝的潛在應用之一。更傳統(tǒng)的方法是,在去年的IEEE電子設備會議上,德克薩斯大學研究員Tanvir Haider Pantha和他的同事們提出,在CMOS邏輯工藝的后端工藝(BEOL)中整合鐵電場效應晶體管(FeFET),構(gòu)建三維結(jié)構(gòu)。每個節(jié)點由四個交叉耦合的FeFET組成,可存儲一個帶符號的模擬值,該值映射到待解決問題的伊辛耦合矩陣。每個節(jié)點的輸出是其相鄰節(jié)點的輸入,從而在整個網(wǎng)絡中建立振蕩,最終達到穩(wěn)定的最小能量配置。


圖2:四個交叉耦合雙柵FeFET構(gòu)成相變納米振蕩器。

(圖源:IEDM)

內(nèi)存計算需要新框架

傳統(tǒng)的CPU和GPU是通用器件。只需更改軟件即可應用于許多不同的問題。而近內(nèi)存和內(nèi)存加速器目前與其預期任務密不可分。伊辛模型求解器、點云網(wǎng)絡和圖像識別網(wǎng)絡將以不同的方式處理數(shù)據(jù),需要不同的硬件設計。Mutlu表示,內(nèi)存計算的下一步將需要能夠重新映射內(nèi)存訪問以滿足特定問題要求的軟件框架。反過來,這些框架將需要能夠獨立于外部內(nèi)存控制器、進行自我管理的內(nèi)存硬件。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
敲定!曼聯(lián) 13 萬周薪球星一月離隊,轉(zhuǎn)會即將完成

敲定!曼聯(lián) 13 萬周薪球星一月離隊,轉(zhuǎn)會即將完成

奶蓋熊本熊
2025-12-24 09:58:25
很多學醫(yī)的朋友說:他們醫(yī)院也停發(fā)績效了!

很多學醫(yī)的朋友說:他們醫(yī)院也停發(fā)績效了!

黯泉
2025-12-23 22:56:19
真話難聽!外協(xié)稱國乒男隊出問題,樊振東德甲隊長回應戰(zhàn)勝王楚欽

真話難聽!外協(xié)稱國乒男隊出問題,樊振東德甲隊長回應戰(zhàn)勝王楚欽

三十年萊斯特城球迷
2025-12-23 19:51:41
2025年12月25日「萬靈吉歷」運勢提前看

2025年12月25日「萬靈吉歷」運勢提前看

白龍王
2025-12-24 19:52:27
烤雞少年使用“肉寶王”調(diào)味引爭議 業(yè)內(nèi)人士:使用已有二十多年,過量反而不好吃

烤雞少年使用“肉寶王”調(diào)味引爭議 業(yè)內(nèi)人士:使用已有二十多年,過量反而不好吃

封面新聞
2025-12-23 17:37:03
中國拒絕哈薩克斯坦稀土借道,美國算盤落空

中國拒絕哈薩克斯坦稀土借道,美國算盤落空

胥言
2025-12-04 14:58:40
朱德女兒晚年時堅定表示:我常常怨恨母親,一輩子不能原諒她

朱德女兒晚年時堅定表示:我常常怨恨母親,一輩子不能原諒她

大運河時空
2025-12-23 10:05:02
火箭108-128慘敗快船,一戰(zhàn)讓人看清以下三位球員!

火箭108-128慘敗快船,一戰(zhàn)讓人看清以下三位球員!

君子一劍似水流年
2025-12-24 14:32:22
為了得到巔峰期的伊萬卡,姆巴佩到底花了多少“轉(zhuǎn)會費”?

為了得到巔峰期的伊萬卡,姆巴佩到底花了多少“轉(zhuǎn)會費”?

羅氏八卦
2025-12-24 11:56:24
一城雙超!深圳有望再添中超球隊,簽國安主帥,引梅州玉昆3外援

一城雙超!深圳有望再添中超球隊,簽國安主帥,引梅州玉昆3外援

體壇鑒春秋
2025-12-24 12:09:45
何穗生完孩子老了不少,化妝P圖都沒用,時尚芭莎封面照蒼老疲憊

何穗生完孩子老了不少,化妝P圖都沒用,時尚芭莎封面照蒼老疲憊

樂悠悠娛樂
2025-12-24 11:17:27
難以想象!上?!案欢?年花光1300萬,“每頓飯一萬多,出去一次一百多萬……”

難以想象!上?!案欢?年花光1300萬,“每頓飯一萬多,出去一次一百多萬……”

環(huán)球網(wǎng)資訊
2025-12-23 19:51:46
歷史上最難造反成功的朝代,從建國到滅亡,434次起義均未成功

歷史上最難造反成功的朝代,從建國到滅亡,434次起義均未成功

銘記歷史呀
2025-12-24 19:08:32
胡錫進:《江南春》等幾幅流向市場的書畫應該歸還給龐家

胡錫進:《江南春》等幾幅流向市場的書畫應該歸還給龐家

映射生活的身影
2025-12-24 20:07:27
“保險都是騙人的”,如果你相信了這句話,那恭喜你,你上當了

“保險都是騙人的”,如果你相信了這句話,那恭喜你,你上當了

流蘇晚晴
2025-12-23 18:23:40
全球新第一高樓已建到80層,目標直指1008米!

全球新第一高樓已建到80層,目標直指1008米!

GA環(huán)球建筑
2025-12-23 22:01:46
新型和隱性腐敗發(fā)現(xiàn)取證定性難 中央紀委國家監(jiān)委印發(fā)證據(jù)指引

新型和隱性腐敗發(fā)現(xiàn)取證定性難 中央紀委國家監(jiān)委印發(fā)證據(jù)指引

新京報
2025-12-24 13:41:08
“新冠疫苗之父”落馬,榮譽清零!打過三針的網(wǎng)友慌了

“新冠疫苗之父”落馬,榮譽清零!打過三針的網(wǎng)友慌了

胡嚴亂語
2025-12-07 15:51:07
請保留住民眾低俗的權(quán)利

請保留住民眾低俗的權(quán)利

細雨中的呼喊
2025-12-23 16:34:15
雷軍、劉強東都穿的跑鞋,成了進入中產(chǎn)的新“敲門磚”?

雷軍、劉強東都穿的跑鞋,成了進入中產(chǎn)的新“敲門磚”?

新10億商業(yè)參考
2025-12-23 18:42:48
2025-12-24 20:48:49
TechSugar incentive-icons
TechSugar
做你身邊值得信賴的科技新媒體
4950文章數(shù) 12726關(guān)注度
往期回顧 全部

科技要聞

智譜和MiniMax拿出了“血淋淋”的賬本

頭條要聞

月薪3850元男子為漲薪給領(lǐng)導發(fā)紅包被開 案子打到高院

頭條要聞

月薪3850元男子為漲薪給領(lǐng)導發(fā)紅包被開 案子打到高院

體育要聞

26歲廣西球王,在質(zhì)疑聲中成為本土得分王

娛樂要聞

懷孕增重30斤!闞清子驚傳誕一女夭折?

財經(jīng)要聞

北京進一步放松限購 滬深是否會跟進?

汽車要聞

“運動版庫里南”一月份亮相???或命名極氪9S

態(tài)度原創(chuàng)

家居
健康
時尚
數(shù)碼
藝術(shù)

家居要聞

法式大平層 智能家居添彩

這些新療法,讓化療不再那么痛苦

赫本黑色高領(lǐng)衫的4種搭配,太值得借鑒!

數(shù)碼要聞

MAINGEAR推出BYO RAM模式:用戶自帶內(nèi)存,規(guī)避漲價沖擊

藝術(shù)要聞

2026第一福!孫曉云親筆“?!弊殖鰻t

無障礙瀏覽 進入關(guān)懷版