一家還沒(méi)大規(guī)模出貨芯片的公司，正在試圖改寫(xiě) AI 算力的性價(jià)比公式。

近日，由哈佛大學(xué)輟學(xué)生創(chuàng)立的 AI 芯片公司 Etched 拿到了近 5 億美元的新一輪融資。這家初創(chuàng)公司估值據(jù)稱達(dá) 50 億美元，總?cè)谫Y接近 10 億美元。

該輪融資由 Stripes 領(lǐng)投，Peter Thiel、Positive Sum 和 Ribbit Capital 也參與了投資。此前的支持者還包括 Primary Venture Partners，以及前 GitHub 的 CEO 托馬斯·多姆克（Thomas Dohmke）和前 Coinbase 高管巴拉吉·斯里尼瓦桑（Balaji Srinivasan）等知名天使投資人。

有意思的是，這家公司既不做通用 GPU，也不是要完全取代英偉達(dá)。而是想把一件事做到極致：讓 Transformer 跑得更便宜。

圖丨Sohu 芯片（來(lái)源：Etched）

從 GPU 市場(chǎng)來(lái)看，英偉達(dá)占主導(dǎo)地位。據(jù)市場(chǎng)預(yù)測(cè)，到 2026 年底，英偉達(dá)數(shù)據(jù)中心累計(jì)銷(xiāo)售額將超過(guò) 5,000 億美元。 Etched 對(duì)市場(chǎng)的判斷是：過(guò)去幾年，計(jì)算密度（TFLOPS/mm2）僅提升了約 15%。新一代 GPU（NVIDIA B200、AMD MI300X、Intel Gaudi 3、AWS Trainium2 等）現(xiàn)在將兩個(gè)芯片視為一張卡，使性能“翻倍”。

現(xiàn)在，隨著大模型訓(xùn)練放緩和推理暴漲，模型對(duì)推理時(shí)間的計(jì)算和搜索能力利用率嚴(yán)重不足，算力的需求已經(jīng)不再只拼 FLOPS，而是成本、延遲和能耗的綜合比拼。借助更優(yōu)秀的算法和更快的硬件，有望改善這一局面。

Etched 打造的是為 Transformer 架構(gòu)的 AI 模型設(shè)計(jì)的專用定制芯片（ASIC）。Etched稱，這款名為 Sohu 的芯片是“史上速度最快的 AI 芯片”。在特定測(cè)試配置下，Sohu 在運(yùn)行 Llama 70B 模型時(shí)，可實(shí)現(xiàn)每秒處理超過(guò) 50 萬(wàn)個(gè) token 的吞吐量，能夠構(gòu)建僅靠 GPU 無(wú)法實(shí)現(xiàn)的產(chǎn)品。

“在運(yùn)行文本、圖像和視頻 Transformer 時(shí)，Sohu 的速度比英偉達(dá) Blackwell GB200 GPU 快 1 個(gè)數(shù)量級(jí)，價(jià)格也更低?！盓tched 公司聯(lián)合創(chuàng)始人兼 CEO 加文·烏貝蒂（Gavin Uberti）在接受媒體采訪時(shí)表示，“在 Etched 給定的特定推理配置下，一臺(tái)由 8 顆 Sohu 芯片組成的服務(wù)器可以替代 160 塊 H100 GPU。對(duì)于需要專用芯片的企業(yè)來(lái)說(shuō)，Sohu 將是一個(gè)更經(jīng)濟(jì)、更高效、更環(huán)保的選擇。”

（來(lái)源：Etched）

盡管這對(duì)英偉達(dá)技術(shù)是一種挑戰(zhàn)，但該公司的目標(biāo)并不是全面取代英偉達(dá)，而是“繞過(guò)”后者的技術(shù)路線。與通用型 GPU 不同的是， Sohu 采取了一種高度專業(yè)化的策略：旨在降低能耗的同時(shí)，比通用 GPU 更高效地運(yùn)行 Transformer 模型。

如今，AI 模型的訓(xùn)練成本超過(guò) 10 億美元，而其推理應(yīng)用規(guī)?？赡軙?huì)超過(guò) 100 億美元。在如此龐大的規(guī)模下，1% 的性能提升足以支撐一個(gè)耗資 5,000 萬(wàn)至 1 億美元的定制芯片項(xiàng)目。

（來(lái)源：Etched）

據(jù) Etched 官網(wǎng)，這款芯片用于生產(chǎn)級(jí)推理，在密集模型、稀疏模態(tài)、擴(kuò)散等場(chǎng)景下，每美元（以及瓦）的計(jì)算效率都提高 1 個(gè)數(shù)量級(jí)。如果成功，這意味著在推動(dòng)規(guī)模之外，也能夠推動(dòng) AI 硬件的發(fā)展。

（來(lái)源：Etched）

公開(kāi)資料顯示，Sohu 采用臺(tái)積電 4nm 工藝制造，并從上游供應(yīng)商取得 HBM 內(nèi)存和服務(wù)器硬件供應(yīng)，來(lái)支持芯片與服務(wù)器集成的生產(chǎn)能力。

實(shí)際上，很多初創(chuàng)公司和科技巨頭都在開(kāi)發(fā)專門(mén)運(yùn)行 AI 模型的芯片，即推理芯片。例如，Meta 的 MTIA，亞馬遜的 Graviton 和 Inferentia 等。

但 Etched 芯片的獨(dú)特之處在于“做減法”：它僅專注于運(yùn)行 Transformer 模型，而無(wú)法運(yùn)行包括 CNN、LSTM、SSM 在內(nèi)的其他 AI 模型。也正因?yàn)檫@樣，它可以避免與此無(wú)關(guān)的硬件組件以及其他類型工作負(fù)載的芯片所帶來(lái)的軟件開(kāi)銷(xiāo)。

圖丨 Sohu 芯片（來(lái)源：Etched）

此外，Etched 還與 Decart 公司合作推出了 AI 生成游戲 Oasis，可以將其理解為非官方的《我的世界》，游戲畫(huà)面在玩家交互過(guò)程中由生成模型實(shí)時(shí)合成，而非傳統(tǒng)的預(yù)制資產(chǎn)渲染。Etched 稱，這款模型在 Sohu 上的運(yùn)行速度提升了 10 倍以上。

（來(lái)源：Etched）

2022 年，加文·烏貝蒂（Gavin Uberti）和 Chris Zhu 從哈佛大學(xué)輟學(xué)，創(chuàng)立了 Etched，公司總部位于美國(guó)加州圣何塞。之后，聯(lián)合創(chuàng)始人兼總裁羅伯特·瓦亨（Robert Wachen）和 CFO 馬克·羅斯（Mark Ross）也加入了他們。

圖丨左至右依次為：羅伯特·瓦亨、加文·烏貝蒂與 Chris Zhu

公司聯(lián)合創(chuàng)始人兼 CEO 加文·烏貝蒂（Gavin Uberti）曾在哈佛大學(xué)擔(dān)任數(shù)學(xué)研究員兼人工智能編譯器專家，為 Apache TVM 編寫(xiě)了 Cortex-M 后端。聯(lián)合創(chuàng)始人 Chris Zhu 曾擔(dān)任哈佛數(shù)學(xué)與高性能計(jì)算研究員、蒂爾學(xué)者（Thiel Fellow），發(fā)表過(guò)組合數(shù)學(xué)領(lǐng)域的相關(guān)研究。

二人是哈佛大學(xué)校友，他們分別攻讀數(shù)學(xué)和計(jì)算機(jī)科學(xué)課程。2022 年年底，他們?cè)谶M(jìn)行研究時(shí)，意識(shí)到在運(yùn)行生成式 AI 模型時(shí)，每美元的性能可以達(dá)到傳統(tǒng)圖形處理器的 140 倍。正是看到了窗口期極短的工程機(jī)會(huì)，他們決定利用這一發(fā)現(xiàn)做更大的事情——從哈佛退學(xué)成立公司。

聯(lián)合創(chuàng)始人兼總裁羅伯特·瓦亨（Robert Wachen）曾擔(dān)任創(chuàng)業(yè)孵化器 Prod 的聯(lián)合創(chuàng)始人，旗下孵化企業(yè)估值超過(guò) 500 億美元。CTO 馬克·羅斯（Mark Ross）曾任 Cypress 公司 CTO（該公司以 90 億美元被收購(gòu)）。

加文·烏貝蒂和 Chris Zhu 此前在接受媒體采訪時(shí)曾表示，雖然現(xiàn)在只生產(chǎn)能夠運(yùn)行生成文本的人工智能語(yǔ)言模型的芯片，但整個(gè)公司不應(yīng)該僅僅依賴于單一產(chǎn)品。公司有很多新技術(shù)，包括圖像和視頻生成以及蛋白質(zhì)折疊模擬等。Etched 更長(zhǎng)遠(yuǎn)的愿景是，為不同類型的 AI 模型制造其他芯片。

圖丨Etched 核心成員（來(lái)源：Etched）

目前，也有相關(guān)公司展示了與 Etched 類似的思路。例如，AI 芯片初創(chuàng)公司 Perceive 展示了一款具備 Transformer 硬件加速功能的處理器 Ergo 2，可在對(duì)參數(shù)超過(guò) 1 億的 Transformer 模型進(jìn)行邊緣推理、以更高幀速率處理視頻，以及同時(shí)推理多個(gè)大型神經(jīng)網(wǎng)絡(luò)。

智能芯片公司 Groq 的 LPU（Language Processing Unit）是專為推理場(chǎng)景量身定制的 AI ASIC，目標(biāo)是高效率、低延遲地運(yùn)行大模型（Transformer 推理）。

此外，AI 芯片公司 Tenstorrent 基于 RISC-V 架構(gòu)開(kāi)發(fā)高度可擴(kuò)展的 AI 處理器（如 Grayskull/Wormhole/Blackhole），也在積極尋找 AI 推理或訓(xùn)練中 GPU 之外的替代方案。

盡管前景美好，但也需要看到的是，Etched 的成功是押注在 Transformer 模型繼續(xù)扮演主流架構(gòu)的角色。未來(lái)如果這個(gè)假設(shè)發(fā)生變化，那所有一切可能要再次來(lái)過(guò)?？梢哉f(shuō)，Etched 賭的不是一顆芯片，而是一種時(shí)代判斷：AI 的未來(lái)，或許并不需要那么多“全能”，而只要“剛剛好”就足夠了。

參考資料：

https://x.com/Etched/status/1805625693113663834

https://techfundingnews.com/nvidia-rival-ai-chip-maker-etched-founded-by-harvard-dropouts-lands-500m-at-5b-valuation/

https://www.canopy.space/members/member-profile-etched/

https://www.embedded.com/ai-chip-features-hardware-support-for-transformer-models/

https://techcrunch.com/2024/06/25/etched-is-building-an-ai-chip-that-only-runs-transformer-models/

https://siliconangle.com/2024/06/25/transformer-model-chipmaker-etched-ai-raises-120m-challenge-nvidias-market-dominance/

https://www.cnbc.com/2024/06/25/etched-raises-120-million-to-build-chip-to-take-on-nvidia-in-ai.html

運(yùn)營(yíng)/排版：何晨龍