2026 年 2 月 21 日，一家名為 Taalas 的芯片初創(chuàng)公司正式揭開面紗，發(fā)布了它的第一款產(chǎn)品：一顆將 Meta 的 Llama 3.1 8B 大語言模型幾乎完整“刻進”硅片的推理芯片 HC1。按照該公司公布的數(shù)據(jù)，這顆芯片在單用戶場景下可以跑到 17,000 tokens/s 的輸出速度，大約是目前市面上最快競品 Cerebras 的近 9 倍，是 Nvidia Blackwell 架構(gòu) GPU 的近 50 倍。構(gòu)建成本據(jù)稱只有同等 GPU 方案的二十分之一，功耗低一個數(shù)量級。

圖丨TaalasHC1（來源：Taalas）

不過這顆芯片的局限也非常明顯，那就是它只能跑 Llama 3.1 8B。要想換個模型？就只能再造一顆芯片。

這是 AI 芯片行業(yè)迄今為止最激進的專用化嘗試，沒有之一。

當前主流的推理部署依賴 GPU，尤其是 Nvidia 的 H100/H200 和最新的 Blackwell 系列。GPU 的優(yōu)勢在于通用性和成熟的軟件生態(tài)，但它的架構(gòu)天然存在一個瓶頸：計算單元和存儲單元是分離的。模型的參數(shù)存儲在 HBM（High Bandwidth Memory，高帶寬內(nèi)存）中，計算核心每次運算都需要從 HBM 搬運數(shù)據(jù)，這個搬運過程消耗大量能量和時間。

為了緩解這個問題，整個行業(yè)在先進封裝、3D 堆疊、液冷散熱、高速互聯(lián)等方向上投入了巨大的工程資源。Nvidia 的 GB200 NVL72 機柜級系統(tǒng)就是這種路線的極致體現(xiàn)：72 顆 GPU 通過 NVLink 互聯(lián)，單機柜功耗接近 120 kW，需要液冷支持，造價以百萬美元計。

（來源：Taalas）

Taalas 的做法是把這套復雜性連根拔掉。

他們的核心思路可以概括為三個詞：全面專用化、存算合一、極度簡化。HC1 芯片采用 Mask ROM（掩模只讀存儲器）工藝將模型權(quán)重直接編碼在芯片的金屬互連層中，和計算邏輯共存于同一塊硅片上，不再需要外部 DRAM 或 HBM。芯片上保留了一小塊 SRAM（Static Random-Access Memory，靜態(tài)隨機存取存儲器），用于存放 KV Cache（鍵值緩存，Transformer 推理時緩存歷史注意力信息的數(shù)據(jù)結(jié)構(gòu)）和 LoRA（Low-Rank Adaptation，低秩適配）微調(diào)權(quán)重，提供有限的靈活性，但整體架構(gòu)的可編程性幾乎為零。

據(jù)報道，HC1 基于臺積電 N6 工藝制造，芯片面積 815 mm2，接近光罩極限（reticle limit），單顆芯片即可容納完整的 8B 參數(shù)模型。功耗約 250W，10 塊 HC1 板卡裝進一臺服務(wù)器總功耗約 2.5 kW，可以在標準風冷機架中運行。這和動輒數(shù)十千瓦、必須上液冷的 GPU 服務(wù)器差別很大。

Taalas 的 CEO Ljubisa Bajic 是 Tenstorrent 的聯(lián)合創(chuàng)始人，曾擔任該公司的 CEO 和 CTO。Tenstorrent 是 AI 芯片領(lǐng)域另一家知名初創(chuàng)企業(yè)，走的是基于 RISC-V 架構(gòu)的可編程 AI 加速器路線，后來由芯片行業(yè)傳奇人物 Jim Keller 接任 CEO 并繼續(xù)發(fā)展。Bajic 離開 Tenstorrent 后大約在 2023 年中創(chuàng)立了 Taalas，走了一條和 Tenstorrent 幾乎完全相反的路：不追求通用性，而是把專用化推到極端。目前，Taalas 團隊規(guī)模約 25 人，累計融資超過 2 億美元，但據(jù) Bajic 本人披露，第一款產(chǎn)品實際只花費了約 3000 萬美元。

圖丨LjubisaBajic（來源：Tenstorrent）

Taalas 的芯片定制流程借鑒了 2000 年代早期結(jié)構(gòu)化 ASIC（Application-Specific Integrated Circuit，專用集成電路）的思路。結(jié)構(gòu)化 ASIC 通過固化門陣列和硬化 IP 模塊，只修改互連層來適配不同工作負載，在成本和性能上介于 FPGA（Field-Programmable Gate Array，現(xiàn)場可編程門陣列）和全定制 ASIC 之間。

Taalas 的做法類似但更進一步：每次為新模型定制芯片時只需更換兩層掩模，這兩層掩模同時決定模型權(quán)重的編碼和數(shù)據(jù)在芯片內(nèi)部的流動路徑。Bajic 表示，從拿到一個新模型到生成 RTL（Register Transfer Level，寄存器傳輸級描述）大約只需要一周的工程工作量，整個從模型到芯片的周期目標是兩個月。

這個兩個月的周轉(zhuǎn)速度如果能穩(wěn)定實現(xiàn)，意味著什么？意味著當一個模型在生產(chǎn)環(huán)境中被驗證有效、用戶粘性足夠高、預計至少運行一年時，Taalas 可以在較短時間內(nèi)為它制造專用硅片，以遠低于 GPU 的成本和功耗來提供推理服務(wù)。Bajic 承認，這種模式要求客戶對某個特定模型做出至少一年的承諾，“肯定有很多人不愿意，但會有人愿意”。

那么，這種極端專用化能擴展到更大的模型嗎？Taalas 給出了他們對 DeepSeek R1 671B 的模擬數(shù)據(jù)。671B 參數(shù)的模型需要大約 30 顆芯片協(xié)同工作，每顆芯片承載約 20B 參數(shù)（采用 MXFP4 格式，并將 SRAM 分離到獨立芯片以提高密度）。30 顆芯片意味著 30 次增量流片，但 Bajic 指出由于每次只改兩層掩模，增量流片成本并不高。

模擬結(jié)果顯示，這套 30 芯片系統(tǒng)在 DeepSeek R1 上可以達到約 12,000 tokens/s/user，而當前 GPU 最優(yōu)水平大約在 200 tokens/s/user。推理成本約 7.6 美分/百萬 token，不到 GPU 吞吐優(yōu)化方案的一半。

這些數(shù)字當然還停留在模擬階段。實際多芯片系統(tǒng)面臨的互聯(lián)、同步、良率等工程挑戰(zhàn)不可小覷，30 顆大面積芯片協(xié)同工作的驗證復雜度也是指數(shù)級增長的。Bajic 自己也提到，因為芯片完全不可編程，“出錯的余地基本為零”，唯一能建立信心的方法就是在流片前對整個模型進行完整的仿真——如何在合理時間內(nèi)完成 30 顆芯片的聯(lián)合仿真，本身就是一個巨大的工程問題。Taalas 聲稱已經(jīng)建立了可以在大規(guī)模計算集群上運行的仿真流程來應(yīng)對。

還有一個值得關(guān)注的細節(jié)是，HC1 使用了自定義的 3-bit 基礎(chǔ)數(shù)據(jù)類型進行激進量化，結(jié)合 3-bit 和 6-bit 參數(shù)，會帶來相對于標準量化模型的質(zhì)量損失。Taalas 對此并未回避，承認模型在質(zhì)量基準測試中會有退化。他們的第二代硅平臺 HC2 將采用標準 4-bit 浮點格式以改善這一問題。第二款產(chǎn)品預計是一個中等規(guī)模的推理模型，計劃今年春季在實驗室完成，隨后接入推理服務(wù)?；?HC2 平臺的前沿大模型則計劃冬季部署。

當前 AI 推理芯片市場大致可以按專用化程度排列成一個光譜：一端是 Nvidia GPU 這樣的高度通用方案；中間是 Groq、Cerebras、SambaNova 等，它們設(shè)計了針對 LLM 推理優(yōu)化的定制架構(gòu)，但仍保留可編程性，能運行多種模型；Etched 更往前走一步，專門針對 Transformer 架構(gòu)設(shè)計芯片，犧牲部分靈活性換效率；而 Taalas 直接站在了最末端，把一個特定模型焊死在硅片里。

（來源：Gemini生成）

這種極端策略的風險很明顯。AI 領(lǐng)域模型迭代速度極快，去年的前沿模型今年可能就被淘汰。如果一顆芯片只能跑一個模型，而那個模型在芯片壽命結(jié)束前就過時了，投資就打了水漂。這也是 Bajic 所說的“為什么之前沒人敢走到這個角落”。但他認為隨著行業(yè)成熟，總有一些模型在實際業(yè)務(wù)中被長期使用。Taalas 產(chǎn)品副總裁 Paresh Kharya（此前曾在 Nvidia 長期任職）也對 EE Times 表示，對于在重要業(yè)務(wù)場景中運行的模型，用戶粘性可能持續(xù)一年甚至更久。

商業(yè)模式上 Taalas 還在摸索。Kharya 透露了幾種可能方向：自建基礎(chǔ)設(shè)施運行開源模型并提供 API 推理服務(wù)；直接向客戶出售芯片；或者與模型開發(fā)者合作，為他們的模型定制專用芯片供其自有推理基礎(chǔ)設(shè)施使用。哪種模式最終能跑通，取決于市場對這種極端專用化方案的接受程度。

不過從純技術(shù)角度來說，Taalas 的方案確實觸及了一個被主流路線忽略的設(shè)計空間。存算分離帶來的帶寬墻（memory wall）是當前推理硬件的核心瓶頸，而 Taalas 通過將權(quán)重以 Mask ROM 形式與計算邏輯同層集成，從根本上消除了這個瓶頸。代價是靈活性的徹底喪失，但如果應(yīng)用場景允許這種剛性，換來的性能和成本優(yōu)勢是實打?qū)嵉摹?/p>

Bajic 還透露，Taalas 能用單個晶體管同時存儲 4-bit 模型參數(shù)并完成乘法運算。他拒絕透露更多，但確認計算仍然是全數(shù)字的。如果屬實，這意味著 Taalas 在電路層面實現(xiàn)了一種極為高效的存內(nèi)計算（Compute-in-Memory）機制，雖然不同于學術(shù)界討論較多的模擬存內(nèi)計算方案，但目標一致：讓數(shù)據(jù)就地參與運算，不再搬來搬去。

硬接線芯片還帶來了一個意想不到的副產(chǎn)品：軟件棧的極度簡化。Bajic 說“軟件作為一個東西基本消失了”，公司只有一個工程師負責軟件棧，而且這人還兼顧其他工作。對比當前 GPU 推理系統(tǒng)中 vLLM、TensorRT-LLM、PagedAttention 等復雜軟件優(yōu)化層的工程投入，這種簡化幾乎是降維式的。當然，這種簡化是以極端硬件專用化為前提的，不具有一般性。

Bajic 在博客中用 ENIAC 到晶體管的演化做類比，暗示當前以 GPU 數(shù)據(jù)中心為核心的 AI 基礎(chǔ)設(shè)施可能只是早期的“笨重原型”，未來終將被更高效的方案取代。這個類比有一定道理，但也不宜過度引申。GPU 數(shù)據(jù)中心的“暴力”不僅僅是硬件層面的，它背后是整個 CUDA 軟件生態(tài)、成熟的開發(fā)工具鏈和龐大的工程師社區(qū)。顛覆硬件容易，顛覆生態(tài)難。Taalas 的芯片或許在特定場景下?lián)碛袎旱剐缘男阅芎统杀緝?yōu)勢，但要成為主流路線的替代方案，需要的遠不止一顆跑得快的芯片。

不過，Taalas 可能也從未打算成為“替代方案”。Kharya 表示：“模型最優(yōu)硅片不會取代滿是 GPU 的大型數(shù)據(jù)中心，但它會適合某些應(yīng)用。”

參考資料：

1.https://taalas.com/the-path-to-ubiquitous-ai/

2.https://www.eetimes.com/taalas-specializes-to-extremes-for-extraordinary-token-speed/