公眾號記得加星標(biāo)??，第一時(shí)間看推送不會錯(cuò)過。

人工智能領(lǐng)域?qū)τ?jì)算能力的需求如此之大，以至于半導(dǎo)體行業(yè)難以滿足這一需求。問題不僅在于計(jì)算能力，還在于人工智能數(shù)據(jù)中心消耗的大量電力。

對于人工智能超大規(guī)模數(shù)據(jù)中心而言，這些問題在邊緣產(chǎn)品制造商身上也有著類似的縮影，這些邊緣產(chǎn)品通常在設(shè)備端執(zhí)行人工智能，并依靠電池供電。邊緣應(yīng)用開發(fā)者希望部署規(guī)模越來越大的模型，以獲得更精確的推理并為系統(tǒng)注入更多智能，但卻受到微控制器和微處理器的人工智能性能緩慢和功耗高的限制。

半導(dǎo)體行業(yè)目前采用的漸進(jìn)式人工智能芯片改進(jìn)方法，無法快速解決這個(gè)問題。大多數(shù)半導(dǎo)體公司在人工智能領(lǐng)域的做法是，沿用傳統(tǒng)的計(jì)算功能架構(gòu)，然后對其進(jìn)行微調(diào)，使其乘加運(yùn)算（神經(jīng)網(wǎng)絡(luò)的核心運(yùn)算）的執(zhí)行速度和效率略有提高。

但這種方法忽略了一個(gè)事實(shí)：過去幾十年邏輯芯片中使用的通用計(jì)算架構(gòu)并不適用于人工智能系統(tǒng)所需的大規(guī)模并行和互聯(lián)矩陣計(jì)算操作。人工智能行業(yè)對低功耗、高速矩陣計(jì)算的迫切需求，需要在硅芯片層面采用一種全新的方法。正如我們將在本文中看到的，Ambient Scientific 在其 GPX 系列人工智能處理器中正是實(shí)現(xiàn)了這一點(diǎn)。

傳統(tǒng)馮·諾依曼架構(gòu)：在神經(jīng)網(wǎng)絡(luò)中效率低下

經(jīng)典的馮·諾依曼架構(gòu)幾十年來一直是通用計(jì)算的中流砥柱。如圖 1 所示，該模型通過在一個(gè)周期內(nèi)依次獲取、解碼和執(zhí)行指令來運(yùn)行，該周期涉及控制單元、算術(shù)邏輯單元 (ALU) 和存儲器。

馮·諾依曼架構(gòu)之所以占據(jù)主導(dǎo)地位，是因?yàn)樗苡行У靥幚碇蝹鹘y(tǒng)軟件應(yīng)用的順序指令。此外，該架構(gòu)本身靈活、簡單，且相對容易在硅片上制造。然而，這種適用于標(biāo)準(zhǔn)軟件的順序式、指令逐條執(zhí)行的計(jì)算模型，卻并不適用于人工智能軟件。人工智能模型以矩陣形式構(gòu)建，而非線性序列，因此需要大規(guī)模并行計(jì)算操作。

將神經(jīng)網(wǎng)絡(luò)的 MAC 工作負(fù)載編譯到馮·諾依曼型處理器的指令集架構(gòu) (ISA) 會產(chǎn)生海量的運(yùn)算。對于一個(gè)參數(shù)量在 500 億到 5000 億之間的大型語言模型 (LLM)，一次推理可能需要 1000 億到 10000 億次運(yùn)算。

當(dāng)執(zhí)行數(shù)十億次運(yùn)算時(shí)，處理器性能的一個(gè)重要決定因素是內(nèi)存訪問時(shí)間，而這正是馮·諾依曼架構(gòu)的一個(gè)眾所周知的局限性。即使通過將最快的SRAM內(nèi)存與ALU綁定來優(yōu)化性能，對于最大的模型而言，推理性能仍然令人失望，并且使得處理器價(jià)格高得驚人。

基本計(jì)算模塊（即馮·諾依曼單元）固有的內(nèi)存訪問問題，不僅制約著傳統(tǒng)CPU，也嚴(yán)重制約著圖形處理器（GPU）或神經(jīng)網(wǎng)絡(luò)處理器（NPU）等并行計(jì)算架構(gòu)。它們的速度和功耗仍然依賴于內(nèi)存訪問：這些數(shù)字架構(gòu)無法將足夠的內(nèi)存放置在足夠靠近算術(shù)邏輯單元（ALU）的位置。它們受限于DRAM的低速（DRAM無法與ALU集成在同一芯片上，這也是目前GPU性能/功耗問題的原因之一），或者受限于高速片上靜態(tài)隨機(jī)存取存儲器（SRAM）的容量有限，

使計(jì)算架構(gòu)適應(yīng)計(jì)算任務(wù)

在傳統(tǒng)計(jì)算架構(gòu)上實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)操作存在的問題促使計(jì)算機(jī)科學(xué)家探索另一種方法：脈動(dòng)陣列，如圖 2 所示。

這與神經(jīng)網(wǎng)絡(luò)互連的多層結(jié)構(gòu)更為契合。然而，以往在硅芯片上實(shí)現(xiàn)脈動(dòng)陣列的嘗試，在實(shí)際應(yīng)用中難以實(shí)現(xiàn)如此密集互連的結(jié)構(gòu)。此外，內(nèi)存與計(jì)算模塊的物理分離，也會導(dǎo)致與馮·諾依曼架構(gòu)相同的內(nèi)存訪問問題——降低吞吐量并增加功耗。

脈動(dòng)陣列是解決計(jì)算架構(gòu)與神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)映射問題的有效方案，但要實(shí)現(xiàn)它，需要在芯片層面進(jìn)行創(chuàng)新。Ambient Scientific 的 DigAn 技術(shù)正是實(shí)現(xiàn)了這一點(diǎn)。

一種新型人工智能處理器：可配置矩陣計(jì)算機(jī)

DigAn 技術(shù)使 Ambient Scientific 能夠在芯片級上制造可配置矩陣計(jì)算機(jī)。這種全新的方法包含一種新型計(jì)算單元——模擬 MAC。該模塊承擔(dān)了馮·諾依曼架構(gòu)中 ALU 和存儲單元的功能（見圖 3）。

模擬 MAC 針對 AI 系統(tǒng)進(jìn)行了優(yōu)化，其中 MAC 運(yùn)算占計(jì)算工作負(fù)載的 95%。它支持內(nèi)存計(jì)算，從而解決了馮·諾依曼架構(gòu)中內(nèi)存和計(jì)算模塊物理分離的問題。這得益于 Ambient Scientific 的另一項(xiàng)創(chuàng)新——HyperPort 3D 內(nèi)存架構(gòu)，該架構(gòu)實(shí)現(xiàn)了每個(gè) MAC 單元內(nèi)存元件的垂直堆疊。

馮·諾依曼架構(gòu)在神經(jīng)網(wǎng)絡(luò)運(yùn)算中的第二個(gè)缺陷是其將神經(jīng)網(wǎng)絡(luò)模型編譯成指令的方式效率極低。我們通過創(chuàng)建矩陣計(jì)算機(jī)來解決這個(gè)問題。它將模擬 MAC 模塊排列成與神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)相對應(yīng)的形狀。

每個(gè) DigAn 單元都是一個(gè)獨(dú)立的單片電路，在一個(gè)周期內(nèi)即可計(jì)算出一整層神經(jīng)元。如圖 4 所示，多層 DigAn 電路可以擴(kuò)展成一個(gè)矩陣計(jì)算機(jī)，其結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相呼應(yīng)。

其實(shí)際結(jié)果是指令周期效率得到了驚人的提高：一個(gè) DigAn 計(jì)算塊可以在一個(gè)周期內(nèi)計(jì)算一個(gè) 1 × 32 × 8 矩陣，而基于傳統(tǒng)硅架構(gòu)的 AI 處理器則需要 38,600 個(gè)周期。

多層 DigAn 模塊構(gòu)成了一個(gè)矩陣計(jì)算機(jī)：一個(gè)典型的 1 × 32 × 8 神經(jīng)網(wǎng)絡(luò)矩陣的 32 層運(yùn)算，在傳統(tǒng)的計(jì)算架構(gòu)中需要 1,235,200 個(gè)時(shí)鐘周期才能完成。而在 DigAn 矩陣計(jì)算機(jī)中，這只需要 32 個(gè)時(shí)鐘周期。

將神經(jīng)網(wǎng)絡(luò)運(yùn)算次數(shù)從 1,235,200 次減少到 32 次，應(yīng)用程序的性能和功耗都得到了顯著提升：性能比同等功耗的典型 MCU 高出 100 多倍，或者性能與典型 GPU 相同，但能耗卻不到其 1%。

GPX系列芯片采用全新硅技術(shù)

上述性能和功耗方面的突破源于Ambient Scientific致力于采用新型處理架構(gòu)并開發(fā)全新的硅芯片技術(shù)來實(shí)現(xiàn)該架構(gòu)。為了實(shí)現(xiàn)高速、低功耗的人工智能，這項(xiàng)核心技術(shù)必須能夠方便地供嵌入式系統(tǒng)工程師使用。此外，芯片還必須配備相應(yīng)的開發(fā)環(huán)境，以便將訓(xùn)練好的人工智能模型編譯到設(shè)備中。

GPX芯片系列提供了這種DigAn實(shí)現(xiàn)方案。在GPX產(chǎn)品中，DigAn模塊被組合成AI處理器內(nèi)核（見圖5），這些內(nèi)核可擴(kuò)展以適應(yīng)不同的應(yīng)用需求。這些內(nèi)核被稱為MX8內(nèi)核。

截至2025年底，GPX系列包括GPX10和GPX10 Pro兩款產(chǎn)品。其中較新的GPX10 Pro采用兩組各包含五個(gè)MX8內(nèi)核的集群，以極低的功耗實(shí)現(xiàn)高性能推理。如圖6所示，它是一款完整的系統(tǒng)級芯片（SoC），通過其Arm Cortex-M4F控制器內(nèi)核管理控制和傳感器接口操作。

盡管GPX設(shè)備系列采用了全新的底層技術(shù)，工程師仍然可以繼續(xù)使用成熟可靠的框架和工具進(jìn)行模型訓(xùn)練和開發(fā)。GPX處理器支持主流的機(jī)器學(xué)習(xí)框架，例如TensorFlow、PyTorch、Keras和ONNX。

Ambient Scientific 的 Nebula 軟件開發(fā)工具包（適用于 GPX 設(shè)備）還提供了完整的模型訓(xùn)練工具鏈。它包括將 AI 模型轉(zhuǎn)換為 MX8 內(nèi)核的工具，以及用于配置中間件（例如設(shè)備驅(qū)動(dòng)程序和實(shí)時(shí)操作系統(tǒng)）的工具，這些中間件運(yùn)行在設(shè)備的 Cortex-M4F 內(nèi)核上。

因此，基于 GPX10 或 GPX10 Pro 的邊緣 AI 設(shè)計(jì)的工程師可以使用熟悉的平臺軟件進(jìn)行模型開發(fā)，并在使用 Ambient Scientific IDE 時(shí)保持他們期望從傳統(tǒng) MCU 獲得的設(shè)計(jì)效率。

總結(jié)

新的GPX芯片系列并沒有采用不適用于人工智能功能的通用計(jì)算架構(gòu)，而是采用了專為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的硅架構(gòu)。由于MX8 AI內(nèi)核易于擴(kuò)展，產(chǎn)品路線圖設(shè)想未來的GPX設(shè)備將擴(kuò)展到8000個(gè)內(nèi)核，用于數(shù)據(jù)中心服務(wù)器和超級計(jì)算機(jī)。

對于優(yōu)先考慮性能和功耗的 AI 系統(tǒng)開發(fā)人員來說，這些新芯片和 DigAn 架構(gòu)預(yù)示著 AI 處理和神經(jīng)網(wǎng)絡(luò)操作的變革時(shí)代即將到來。

https://www.allaboutcircuits.com/industry-articles/the-configurable-matrix-computer-a-new-alternative-to-the-von-neumann-architecture/

（來源：編譯自allaboutcircuits）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4266期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送，小號防走丟

求推薦