比英偉達(dá)芯片更好，谷歌前TPU員工創(chuàng)業(yè)公司MatX正在受到關(guān)注。

之所以注意到這家公司，這還得感謝宣傳委員卡帕西（沒錯(cuò)，MatX最新B輪5億美元融資他也投了）。

卡帕西表示，參考英偉達(dá)4.6萬(wàn)億美元市值，MatX正在向“當(dāng)今最有趣、回報(bào)也最高的智力難題”發(fā)起挑戰(zhàn)。

MatX團(tuán)隊(duì)非常出色，我很榮幸能參與其中，并祝賀他們獲得融資！

當(dāng)然也不光是卡帕西背書，MatX也有自己的“殺手锏”——一條不同于當(dāng)下主流AI芯片路線的技術(shù)選擇。

過去幾年，AI芯片陣營(yíng)大致分成兩派：

一派以英偉達(dá)、谷歌為代表，重押高帶寬內(nèi)存HBM，優(yōu)先解決大規(guī)模訓(xùn)練和吞吐問題；

另一派則以Cerebras Systems（年初還獲得了AMD投資）為代表，強(qiáng)調(diào)片上SRAM（靜態(tài)隨機(jī)存儲(chǔ)器）和低延遲，主打推理場(chǎng)景。

而MatX的態(tài)度是：小孩子才做選擇，成年人當(dāng)然是都要。

在他們看來，真正的勝負(fù)手不在于單點(diǎn)技能拉滿，而在于能否在同一顆芯片里，把“訓(xùn)練級(jí)吞吐”和“推理級(jí)低延遲”同時(shí)做好——尤其是在長(zhǎng)上下文、Agent循環(huán)這些更復(fù)雜的真實(shí)工作流中。

而且不止說說而已，據(jù)MatX創(chuàng)始人透露，他們目前正在打造一款“LLM專用芯片”MatX One：

其吞吐量遠(yuǎn)高于其他任何芯片，同時(shí)延遲也最低。

所以，MatX到底是誰(shuí)？它真能對(duì)霸主英偉達(dá)構(gòu)成威脅嗎？

咱這就接著瞧，接著看。

誰(shuí)是MatX？

關(guān)于MatX的第一印象，谷歌二字始終是繞不開的。

沒辦法，誰(shuí)讓兩位創(chuàng)始人都來自谷歌TPU團(tuán)隊(duì)。

創(chuàng)始人兼CEO Reiner Pope，身上有著很明顯的“軟件”標(biāo)簽。

2012年加入谷歌時(shí)，主要負(fù)責(zé)谷歌地圖的部分網(wǎng)頁(yè)開發(fā)，并逐漸成為5人團(tuán)小主管。

后來又設(shè)計(jì)并參與了谷歌大型機(jī)器學(xué)習(xí)系統(tǒng)Sibyl的開發(fā)，該系統(tǒng)曾為YouTube、Gmail、Android等提供重要支撐，直到2017年被更靈活、支持深度學(xué)習(xí)的TensorFlow Extended（TFX）平臺(tái)逐步取代。

也是在這一年，他開始接觸芯片設(shè)計(jì)——加入谷歌內(nèi)部項(xiàng)目孵化平臺(tái)“登月工廠”（Moonshot Factory），并專注于下一代計(jì)算的架構(gòu)設(shè)計(jì)。

自此，他逐漸從“做系統(tǒng)的人”，變成了“理解模型與硬件如何協(xié)同的人”。

從2019年起，他開始擔(dān)任谷歌機(jī)器學(xué)習(xí)芯片的技術(shù)主管兼架構(gòu)師，連續(xù)參與了兩代ML芯片的設(shè)計(jì)，并成為第二代芯片的主要負(fù)責(zé)人之一。

后來更是參與了谷歌當(dāng)時(shí)規(guī)模最大的模型——PaLM的訓(xùn)練，而且是PaLM的軟件/硬件效率負(fù)責(zé)人。

可以說，Reiner Pope是早期谷歌TPU軟件棧的重要成員之一，而且不是單純做芯片電路的人，他懂得如何讓芯片真正跑起大模型。

創(chuàng)始人兼CTO Mike Gunter，則剛好有著很明顯的“硬件”標(biāo)簽。

而且他屬于那種從底層邏輯電路一路打到系統(tǒng)架構(gòu)的老派硬件工程師。

加入谷歌前，他就已經(jīng)是一名連續(xù)創(chuàng)業(yè)者——早在2000年便聯(lián)合創(chuàng)辦無線通信芯片公司Gossett and Gunter，后來公司被谷歌收購(gòu)，他也隨之加入谷歌。

而在谷歌，他做過無線通信、多天線系統(tǒng)、ASIC設(shè)計(jì)，甚至是谷歌內(nèi)部第一位邏輯設(shè)計(jì)師、第一位被“正式付薪寫 Haskell”的工程師。

從2008年開始，他便主導(dǎo)了谷歌第一個(gè)硬件加速項(xiàng)目，該項(xiàng)目最終把谷歌計(jì)算密集型任務(wù)的性價(jià)比提高了10倍以上。

再到后來，他和Reiner Pope的交集開始變多——

Sibyl系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)有他、和Reiner Pope幾乎同一時(shí)間加入Moonshot Factory、ML芯片項(xiàng)目有他（任首席工程師）等等。

總之，如果說Reiner Pope是在模型規(guī)模爆炸時(shí)代，解決“模型如何高效跑在芯片上”的問題，那Mike Gunter更像是在更早階段思考“芯片應(yīng)該如何為未來的計(jì)算形態(tài)而設(shè)計(jì)”。

他倆合起來幾乎把“軟硬全?！弊吡艘槐?。一個(gè)站在模型效率前線，參與過PaLM級(jí)別的訓(xùn)練；另一個(gè)站在芯片最底層，從晶體管和微架構(gòu)一路搭到系統(tǒng)。

而軟硬結(jié)合這一點(diǎn)，也正是MatX身上很大的一個(gè)看點(diǎn)，體現(xiàn)在正在設(shè)計(jì)的MatX One芯片上即為——

MatX One芯片基于一種可拆分的脈動(dòng)陣列（splittable systolic array）架構(gòu)。該架構(gòu)既繼承了大型脈動(dòng)陣列在能效和面積效率方面的優(yōu)勢(shì)，又能夠在尺寸更小、形狀更靈活的矩陣計(jì)算中保持較高的利用率。
這款芯片將SRAM優(yōu)先設(shè)計(jì)（SRAM-first designs）的低延遲特性與HBM（高帶寬內(nèi)存）支持長(zhǎng)上下文處理的能力結(jié)合在一起。在此基礎(chǔ)上，再配合一套全新的數(shù)值計(jì)算方案（numerics設(shè)計(jì)），使其在大語(yǔ)言模型上的吞吐量超過目前所有已公布的系統(tǒng)，同時(shí)在延遲方面達(dá)到SRAM-first設(shè)計(jì)的水平。

為便于理解，我們可以結(jié)合卡帕西的觀點(diǎn)來解釋。

在卡帕西看來，隨著token用量的激增，如今大家面臨的問題是——

怎么把“算力”和“內(nèi)存”調(diào)配到剛剛好，才能讓大模型更快、更便宜地吐出更多token？

很多人沒有意識(shí)到，目前市面上兩種主流的芯片路線都有其局限性：

以英偉達(dá)為代表的HBM路線，其核心邏輯在于“大模型訓(xùn)練是帶寬游戲”，即模型越大、參數(shù)越多、上下文越長(zhǎng)，就越需要把權(quán)重和激活值在芯片之間高速搬運(yùn)。

于是堆HBM、堆帶寬、堆互連，成為主流解法，它解決的是吞吐問題。

而以Cerebras Systems為代表的片上SRAM路線，其核心邏輯在于“推理時(shí)代的關(guān)鍵不是帶寬，而是響應(yīng)速度”。

于是把盡可能多的數(shù)據(jù)放在片上SRAM中成為解法，如此一來便能減少外部訪存，降低單次查詢延遲，后者解決的是延遲問題。

但問題在于，今天的大模型，其訓(xùn)練和推理不再是涇渭分明的兩個(gè)世界——

如果只強(qiáng)調(diào)HBM帶寬，延遲難以下降；如果只強(qiáng)調(diào)片上SRAM，規(guī)模又難以擴(kuò)展。

所以卡帕西就問了，是否存在一種更優(yōu)的物理基板，使計(jì)算與內(nèi)存的比例從一開始就為大模型而設(shè)計(jì)？

MatX的回答是：與其在既有架構(gòu)上打補(bǔ)丁，不如從架構(gòu)層面重構(gòu)算力與存儲(chǔ)的關(guān)系。

沒錯(cuò)，就是從零開始。

2022年從谷歌離職創(chuàng)辦MatX，二人便下定決心要從零打造一款更優(yōu)秀的芯片——

目標(biāo)是設(shè)計(jì)一條全新的、具有競(jìng)爭(zhēng)力的硬件產(chǎn)品線，融合其他芯片制造商使用的兩種截然不同的方法。

MatX試圖證明，未來的AI芯片不必在“速度”和“容量”之間痛苦權(quán)衡，因?yàn)檎嬲能浻步Y(jié)合，可以讓芯片同時(shí)擁有兩者的優(yōu)勢(shì)。按Reiner Pope的話來說就是：

實(shí)際上可以在同一個(gè)產(chǎn)品中同時(shí)做到這兩點(diǎn)，而且這樣會(huì)得到一個(gè)更好的產(chǎn)品。

而正在孕育的MatX One，毫無疑問便承載著這一理念。

一旦成功，同時(shí)實(shí)現(xiàn)更高的吞吐量+更低的延遲便意味著——

在同樣的預(yù)算下，你可以訓(xùn)練更大的模型、跑更長(zhǎng)的上下文、支撐更復(fù)雜的Agent循環(huán)，同時(shí)讓每一次用戶交互都更快地得到響應(yīng)。

這正是卡帕西所說的“設(shè)計(jì)最優(yōu)物理基板，編排內(nèi)存與計(jì)算，以求最快、最便宜地獲取token”的現(xiàn)實(shí)注腳。

顯而易見，從團(tuán)隊(duì)到理念到產(chǎn)品，MatX已經(jīng)做足了準(zhǔn)備。

而對(duì)這樣一支團(tuán)隊(duì)，市場(chǎng)也給予了足夠的注目和支持。

明年出貨、估值已達(dá)數(shù)十億美元

截至目前，這家公司已經(jīng)獲得6億美元公開融資、估值已達(dá)數(shù)十億美元

MatX官網(wǎng)顯示，2025年3月這家公司獲得了1億美元A輪融資，領(lǐng)投方為Anthropic早期投資者Spark Capital。

頂級(jí)量化Jane Street Group、知名投資人Daniel Gross（早期投資了Figma/Notion等）、Nat Friedman（GitHub前CEO）、Adam D‘Angelo（Quora聯(lián)創(chuàng)兼CEO）等均參與投資。

當(dāng)時(shí)Reiner Pope還對(duì)MatX做了一個(gè)階段性總結(jié)：

兩年內(nèi)，我們?cè)跈C(jī)器學(xué)習(xí)數(shù)值計(jì)算、芯片設(shè)計(jì)和實(shí)現(xiàn)、軟件和系統(tǒng)設(shè)計(jì)等方面的所有技術(shù)投入都得到了驗(yàn)證，并建立了所有必要的合作伙伴關(guān)系，從而開發(fā)出了我們的芯片。
憑借這一輪投資，我們現(xiàn)在擁有足夠的資金將我們的系統(tǒng)推向市場(chǎng)。

而在快速發(fā)展近一年后，規(guī)模接近100人的MatX這次又獲得了最新5億美元（約合人民幣34億元）B輪融資，而且陣容還在增加。

具體而言，B輪領(lǐng)投方變成了兩家：Jane Street和Situational Awareness LP。

原有投資方Spark Capital、Triatomic Capital、Harpoon Ventures等繼續(xù)跟投，而且還新增了Dwarkesh Patel、卡帕西、 Stripe聯(lián)創(chuàng)兼CEO Patrick Collison及其弟弟等人。

Reiner Pope繼續(xù)總結(jié)陳詞：

創(chuàng)立MatX的初衷是，我們認(rèn)為最適合LLM的芯片應(yīng)該從根本上進(jìn)行設(shè)計(jì)，并深刻理解LLM的需求及其發(fā)展趨勢(shì)。為了打造這樣一款芯片，我們甚至愿意放棄小模型性能、低容量工作負(fù)載，以及編程的便捷性。

可以說，此舉已經(jīng)將人們對(duì)MatX One的好奇心拉滿了。

內(nèi)部測(cè)試表明，根據(jù)每平方毫米的計(jì)算性能指標(biāo)，其芯片性能可以超越英偉達(dá)即將推出的Rubin Ultra產(chǎn)品。

據(jù)悉MatX將與臺(tái)積電展開合作，目標(biāo)是今年完成芯片的全部設(shè)計(jì)，并于2027年開始出貨，主要銷售對(duì)象為少數(shù)幾家領(lǐng)先的人工智能實(shí)驗(yàn)室。

MatX表示，這筆融資將幫助公司預(yù)留產(chǎn)能和零部件，以確保一旦準(zhǔn)備就緒就能迅速發(fā)貨。

這一輪融資讓我們幾乎與那些擁有巨額資金的公司站在了同一起跑線上。

One More Thing

聯(lián)想到剛被老黃打包收購(gòu)的Groq，我們實(shí)在想看MatX的未來。

畢竟這兩家手上拿的劇本可太一致了——

同是谷歌TPU核心成員創(chuàng)業(yè)、同是要挑戰(zhàn)英偉達(dá)芯片霸主地位。

結(jié)果呢，老黃甩出200億美元就把Groq打包帶走了——包括創(chuàng)始人和90%團(tuán)隊(duì)員工。

更別說MatX創(chuàng)始人兼CTO Mike Gunter還有被谷歌打包收購(gòu)的經(jīng)歷……

只能說，如果MatX真做出了比英偉達(dá)芯片更好的東西，不說老黃有沒有想法，谷歌可能也去爭(zhēng)一爭(zhēng)也不一定。