由前谷歌工程師創(chuàng)立的芯片初創(chuàng)公司MatX Inc.已獲得5億美元融資，用于推出其首款產(chǎn)品。

Jane Street和Situational Awareness領(lǐng)投了這輪B輪融資。MatX今日表示，還有六家以上投資者參與，包括芯片制造商Marvell Technology Inc.和Stripe Inc.的聯(lián)合創(chuàng)始人。該公司此前已從包括多個(gè)相同支持者在內(nèi)的財(cái)團(tuán)籌集了超過(guò)1億美元。

MatX正在開(kāi)發(fā)一款專(zhuān)門(mén)為運(yùn)行大語(yǔ)言模型而優(yōu)化的處理器。該公司表示，這款名為MatX One的芯片將提供比當(dāng)今圖形卡更高的吞吐量。數(shù)十萬(wàn)個(gè)MatX One加速器可以連接成集群，用于運(yùn)行大規(guī)模訓(xùn)練和推理工作負(fù)載。

許多人工智能處理器都采用了一種稱(chēng)為脈動(dòng)陣列的電路設(shè)計(jì)。這是一個(gè)由網(wǎng)絡(luò)連接的相對(duì)簡(jiǎn)單、相同的計(jì)算模塊集合。每個(gè)模塊處理人工智能提示處理中涉及的一小部分計(jì)算。

MatX One基于該公司稱(chēng)為可分割脈動(dòng)陣列的架構(gòu)。這個(gè)名稱(chēng)暗示該芯片可能能夠?qū)⑵涿}動(dòng)陣列分割成多個(gè)較小的陣列。這種方法使得芯片電路的配置能夠針對(duì)它們處理的數(shù)據(jù)集進(jìn)行定制，從而提高效率。

該處理器將在SRAM單元中存儲(chǔ)大部分模型權(quán)重，這些權(quán)重是決定大語(yǔ)言模型如何處理提示的設(shè)置。SRAM是一種高速內(nèi)存類(lèi)型，通常直接嵌入到芯片中，緊鄰其邏輯電路。該技術(shù)提供比其他類(lèi)型RAM更低的延遲，從而加快處理速度。

MatX One將使用稱(chēng)為HBM的較慢、容量更大的內(nèi)存來(lái)存儲(chǔ)KV緩存數(shù)據(jù)。KV緩存是大語(yǔ)言模型用來(lái)加速處理的機(jī)制。它通過(guò)緩存頻繁出現(xiàn)的計(jì)算結(jié)果來(lái)減少重復(fù)計(jì)算的需要，從而節(jié)省時(shí)間。

MatX網(wǎng)站上的一系列研究博客文章暗示其芯片還將支持其他性能優(yōu)化方法。一篇文章透露，該公司一直在努力結(jié)合兩種最流行的方法：推測(cè)解碼和塊級(jí)稀疏注意力。前者技術(shù)加速提示響應(yīng)生成，而后者提高大語(yǔ)言模型注意力機(jī)制的效率。

"該芯片結(jié)合了SRAM優(yōu)先設(shè)計(jì)的低延遲和HBM的長(zhǎng)上下文支持，"MatX聯(lián)合創(chuàng)始人兼首席執(zhí)行官Reiner Pope在今日的博客文章中寫(xiě)道。"這些元素，加上對(duì)數(shù)值計(jì)算的全新理解，在大語(yǔ)言模型上提供了比任何已發(fā)布系統(tǒng)更高的吞吐量，同時(shí)匹配SRAM優(yōu)先設(shè)計(jì)的延遲。"

該公司將使用新籌集的資金來(lái)完善其芯片設(shè)計(jì)。MatX希望在一年內(nèi)完成流片過(guò)程，這是半導(dǎo)體開(kāi)發(fā)工作流程的最后一步。

Q&A

Q1：MatX One芯片有什么特殊技術(shù)優(yōu)勢(shì)？

A：MatX One基于可分割脈動(dòng)陣列架構(gòu)，能夠?qū)⒚}動(dòng)陣列分割成多個(gè)較小陣列，針對(duì)不同數(shù)據(jù)集定制電路配置提高效率。同時(shí)采用SRAM存儲(chǔ)模型權(quán)重以降低延遲，用HBM存儲(chǔ)KV緩存數(shù)據(jù)，結(jié)合了低延遲和長(zhǎng)上下文支持的優(yōu)勢(shì)。

Q2：MatX公司的融資情況如何？

A：MatX在B輪融資中獲得5億美元，由Jane Street和Situational Awareness領(lǐng)投，參投方包括芯片制造商Marvell Technology和Stripe聯(lián)合創(chuàng)始人等六家以上投資者。此前公司已從相似投資者財(cái)團(tuán)籌集超過(guò)1億美元。

Q3：MatX One芯片什么時(shí)候能夠上市？

A：MatX計(jì)劃使用新融資來(lái)完善芯片設(shè)計(jì)，目標(biāo)是在一年內(nèi)完成流片過(guò)程。流片是半導(dǎo)體開(kāi)發(fā)的最后步驟，完成后才能進(jìn)入量產(chǎn)階段，具體上市時(shí)間取決于后續(xù)測(cè)試和生產(chǎn)準(zhǔn)備情況。