公眾號(hào)記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過。

向一組 AI 張量引擎添加大容量 SRAM 模塊，或者更進(jìn)一步，采用此類引擎的晶圓級(jí)陣列，都能為 AI 推理提供強(qiáng)力加速。這一點(diǎn)已被 AI 新興企業(yè) Cerebras Systems、SambaNova Systems（據(jù)傳英特爾在去年年底曾試圖收購(gòu)該公司）、Groq（剛剛被英偉達(dá)以 200 億美元收購(gòu)）以及 Graphcore（一年半前被軟銀以 6 億美元收購(gòu)）在與英偉達(dá)和 AMD 的 GPU 對(duì)比中反復(fù)證明。

但今日正式走出隱身模式的初創(chuàng)公司 Taalas 表示，如果你真的想挑戰(zhàn) AI 推理的極限，那么正確的做法是不再繞圈子，將訓(xùn)練完成的 AI 推理權(quán)重直接編碼到芯片的晶體管中，并去掉那些為了讓計(jì)算引擎保持可靈活調(diào)整、以便企業(yè)不斷微調(diào)模型而附帶的所有軟件冗余。

通過這種方式，你還可以從根本上簡(jiǎn)化 AI 設(shè)備的架構(gòu)。并且，以 Taalas 所采用的方式，還能夠消除困擾所有串行和并行計(jì)算引擎 —— 尤其是 GPU 和 AI XPU—— 的計(jì)算與內(nèi)存之間的壁壘。這些 GPU 和 AI XPU 不得不借助 HBM 堆疊 DRAM，以獲得與其浮點(diǎn)和整數(shù)性能相匹配的帶寬。

Taalas 成立已有兩年半時(shí)間，已通過三輪風(fēng)險(xiǎn)融資募集超過 2 億美元資金。該公司位于多倫多，這里是 AI 研究的熱門地區(qū)之一，同時(shí)也擁有大量芯片專業(yè)人才，包括 Tenstorrent 公司也坐落于此，而 Taalas 的三位創(chuàng)始人都曾在該公司任職。Ljubisa Bajic 是 Taalas 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，他作為 Tenstorrent 的創(chuàng)始人而廣為人知。

不太為人所知的是，在互聯(lián)網(wǎng)泡沫之后，Bajic 曾花費(fèi)數(shù)年時(shí)間在 Teralogic 和 Oak Technology 設(shè)計(jì)視頻編碼器，之后加入 AMD，并在工程部門逐級(jí)晉升，成為該公司面向 PC 和服務(wù)器的 CPU?GPU 混合芯片設(shè)計(jì)的架構(gòu)師和高級(jí)經(jīng)理。Bajic 曾在英偉達(dá)擔(dān)任一年高級(jí)架構(gòu)師，之后重返 AMD 擔(dān)任了兩年集成電路設(shè)計(jì)總監(jiān)，隨后創(chuàng)立了 Tenstorrent。2022 年秋天，當(dāng)芯片界名人 Jim Keller 加入時(shí)，Bajic 決定離開。經(jīng)過六個(gè)月的休整，他開始研究一種完全不同的 AI 推理計(jì)算思路，并在多倫多創(chuàng)立了 Taalas。

Lejla Bajic 是 Ljubisa 的妻子，擔(dān)任 Taalas 首席運(yùn)營(yíng)官?；ヂ?lián)網(wǎng)泡沫過后，她曾在 FPGA 廠商 Altera 擔(dān)任軟件工程師，之后加入加拿大 GPU 廠商 ATI（該公司于 2006 年 7 月被 AMD 以 54 億美元收購(gòu)），并擔(dān)任高級(jí)工程師。多年來，Lejla Bajic 也在 AMD 工程部門逐級(jí)晉升，最終成為系統(tǒng)工程高級(jí)經(jīng)理。她于 2017 年 10 月加入 Tenstorrent 擔(dān)任相同職務(wù)，并與丈夫一同離職。

Taalas 的第三位聯(lián)合創(chuàng)始人是 Drago Ignjatovic，他曾是負(fù)責(zé) AMD APU 和 GPU 的高級(jí)設(shè)計(jì)工程師，并在 Ljubisa Bajic 離職創(chuàng)立 Tenstorrent 后接任其 ASIC 設(shè)計(jì)總監(jiān)一職。九個(gè)月后，Ignjatovic 加入 Tenstorrent 擔(dān)任硬件工程副總裁，如今與 Bajic 夫婦共同創(chuàng)立 Taalas 并擔(dān)任首席技術(shù)官。

值得注意的是，曾擔(dān)任谷歌數(shù)據(jù)中心業(yè)務(wù)產(chǎn)品管理和營(yíng)銷高級(jí)總監(jiān)三年，之后擔(dān)任谷歌云 AI 基礎(chǔ)設(shè)施產(chǎn)品管理總監(jiān)（負(fù)責(zé) GPU 和 TPU 硬件及其軟件棧）的 Paresh Kharya，已加入 Taalas 擔(dān)任產(chǎn)品副總裁。該公司目前擁有 25 名員工，其中大部分是曾在 AMD、蘋果、谷歌、英偉達(dá)和 Tenstorrent 工作的工程師，擁有從芯片概念到系統(tǒng)落地的豐富經(jīng)驗(yàn)。截至今日發(fā)布，該公司僅投入 3000 萬美元用于研發(fā)，賬上仍有超過 1.7 億美元資金。

融合 ROM 與 SRAM，摒棄 HBM 與復(fù)雜 I/O

大多數(shù)好點(diǎn)子事后看來都顯而易見。創(chuàng)建一個(gè)能夠承載 AI 模型權(quán)重和算法的數(shù)據(jù)流引擎，再將上下文和查詢輸入其中，這也并非新概念。在某種程度上，這正是 FPGA 和第一代 AI 加速器所做的事情，也是 GPU 以及 TPU、Trainium 等專用加速器所做的事情。

目前，Taalas 對(duì)其硬編碼推理（Hard Coded Inference）架構(gòu)的具體工作原理保密，但 Bajic 和 Kharya 向我提供了該架構(gòu)的高層概述。但在我們展開討論之前，和我們一樣熱愛歷史的 Kharya 展示了一張有趣的圖片，配文非常貼切：“萬變不離其宗”。請(qǐng)看：

左上角是 1961 年 IBM 7030 Stretch 超級(jí)計(jì)算機(jī)中用于連接晶體管計(jì)算單元的巨型銅纜，右下角是 1946 年采用真空管的 ENIAC 超級(jí)計(jì)算機(jī)的一排排機(jī)柜，后者最終衍生出 Sperry Rand 計(jì)算機(jī)業(yè)務(wù)（如今屬于 Unisys）。

這個(gè)玩笑的意思是，當(dāng)年我們使用巨型銅纜，每機(jī)架功耗 150 千瓦，而隨著 GPU 和 XPU 的演進(jìn)，我們仿佛又回到了過去。（不要過度解讀 —— 這只是個(gè)玩笑。）

那么，確切地說，什么是硬編碼推理芯片，它又是如何工作的？

Kharya 這樣解釋道：

“我們擁有一種基本架構(gòu)，在這種架構(gòu)中我們嵌入模型，將模型和權(quán)重硬編碼到我們所謂的掩膜 ROM 召回結(jié)構(gòu)中，該結(jié)構(gòu)與 SRAM 召回結(jié)構(gòu)配對(duì)。兩者結(jié)合，既能夠存儲(chǔ)模型，也能夠完成 KV 緩存的所有計(jì)算。我們擁有適配器和定制化能力 —— 這些我們?nèi)恐С?。這種設(shè)計(jì)使我們?cè)谟?jì)算和存儲(chǔ)方面實(shí)現(xiàn)超高密度，并且能夠在該存儲(chǔ)上以極快速度執(zhí)行計(jì)算，這正是提升密度、降低成本的關(guān)鍵?！?/p>

“在當(dāng)前一代產(chǎn)品中，我們芯片的硬編碼部分可支持 80 億參數(shù)，再加上用于實(shí)現(xiàn) KV 緩存、微調(diào)等適配功能的 SRAM。在我們的下一代產(chǎn)品中，單顆芯片將能夠支持高達(dá) 200 億參數(shù)。即便面對(duì)萬億級(jí)參數(shù)模型，我們也只需要幾十顆芯片，與目前市場(chǎng)上的任何其他方案相比，數(shù)量都非常非常少?！?/p>

在不透露具體架構(gòu)細(xì)節(jié)的情況下 ——Taalas 目前希望將其保持為一定程度的黑盒 ——Bajic 補(bǔ)充道：

“我們針對(duì)掩膜 ROM 召回結(jié)構(gòu) —— 也就是硬編碼部分 —— 設(shè)計(jì)了一套方案，能夠僅用一顆晶體管存儲(chǔ) 4 比特?cái)?shù)據(jù)，并完成與之相關(guān)的乘法運(yùn)算等所有操作。因此密度極其驚人。這并非核物理技術(shù)，而是純數(shù)字電路。這只是一個(gè)我們暫不希望公開的巧妙設(shè)計(jì)。但一旦將所有內(nèi)容硬編碼，你就可以采用與需要支持動(dòng)態(tài)修改完全不同的布局方式。重要的是，我們能夠在一顆晶體管中存儲(chǔ)一個(gè)權(quán)重并完成與之相關(guān)的乘法運(yùn)算。而你知道，乘法器是計(jì)算單元中的核心部分?！?/p>

“我們所發(fā)明的東西也并非特別困難。這只是一個(gè)沒人想到的巧妙思路，因?yàn)闆]有人走過這條路。我們兩年多前就開始了這項(xiàng)工作，希望徹底消除內(nèi)存與計(jì)算之間的壁壘。這就是整個(gè)項(xiàng)目的起源。當(dāng)時(shí)，我們想到的第一種方法 —— 也是我們當(dāng)時(shí)認(rèn)為唯一能夠在可預(yù)期時(shí)間內(nèi)產(chǎn)出產(chǎn)品的方法，因?yàn)槲覀儾幌氤蔀橹蛔鲅芯康慕淌?，三年后做出無法使用的東西 —— 就是迅速轉(zhuǎn)向這種基于 ROM 的方案。我們開始詳細(xì)研究，隨后發(fā)現(xiàn)這種方案實(shí)際上比我們想象的還要好?！?/p>

“實(shí)際上，所有這些東西我們都是在內(nèi)部從零開始設(shè)計(jì)的。我們沒有使用任何現(xiàn)成組件，做了大量晶體管級(jí)設(shè)計(jì)和手動(dòng)布局 —— 基本上，我們的整個(gè)研發(fā)模式回歸到了上世紀(jì) 70 年代?！?/p>

顯而易見的是，模型的每一次更新，例如從 Llama 3.1 升級(jí)到 Llama 4，都需要重新流片一代 HC 芯片。目前，Taalas 專注于將開源模型的權(quán)重蝕刻到其 HC 芯片上，但不難想象 Anthropic 和 OpenAI 會(huì)主動(dòng)聯(lián)系，為其模型訂購(gòu)定制加速器。甚至谷歌也可能愿意嘗試。順便說一句，據(jù)我們所知，Taalas 已在 Bajic 名下申請(qǐng)了 14 項(xiàng)專利覆蓋其技術(shù)；實(shí)際數(shù)量可能更多，因?yàn)閷＠麢z索效果很差 —— 即使是谷歌專利也是如此。

在 HC 推理引擎上蝕刻新模型只需要修改 HC 芯片設(shè)計(jì)中的兩層金屬層，而不是完全推翻重來。鑒于模型訓(xùn)練成本高達(dá)數(shù)十億美元，支付相對(duì)象征性的費(fèi)用將 HC 推理引擎適配新版模型或全新模型，并不是什么大問題。Kharya 表示，訓(xùn)練一個(gè)模型的成本是從 Taalas 批量定制一顆定制化 HC 芯片成本的 100 倍。

或許同樣重要的是，主流模型版本之間的發(fā)布周期正在拉長(zhǎng)，用戶也越來越依賴現(xiàn)有模型 —— 例如，當(dāng) OpenAI 將用戶從 GPT 4.5 遷移到 GPT 5 時(shí)，就引發(fā)了大量不滿，因?yàn)樾掳婺Ｐ惋@得有些刻意迎合。鑒于此，訂購(gòu)數(shù)十萬到數(shù)百萬片 HC 推理引擎可能是合理的選擇。

借助 Taalas 與臺(tái)積電共同打造的 “晶圓廠最優(yōu)工作流”，客戶可以在兩個(gè)月內(nèi)將模型權(quán)重轉(zhuǎn)化為可部署的 PCI?Express 卡并實(shí)際執(zhí)行推理。

第一代 HC1 芯片采用臺(tái)積電 6 納米 N6 工藝制造。其面積為 815 平方毫米，已接近當(dāng)前芯片的光罩極限（在我們轉(zhuǎn)向高數(shù)值孔徑工藝將光罩尺寸減半之前，而這一點(diǎn)并不理想）。每顆 HC1 芯片在封裝內(nèi)集成 530 億個(gè)晶體管，其中極有可能大部分用于 ROM 和 SRAM。Bajic 表示，單張 HC1 卡功耗約為 200 瓦，一臺(tái)搭載十張 HC1 卡的雙路 X86 服務(wù)器整機(jī)功耗為 2500 瓦。

順便說一句，由于 HC1 卡速度極快，實(shí)現(xiàn)低延遲推理不需要對(duì)查詢進(jìn)行批處理，這意味著 Taalas 設(shè)備的帶寬壓力很低。低到如果你想將多張卡組合運(yùn)行更大模型，PCI?Express 總線就足夠了。Taalas 將在今年晚些時(shí)候允許客戶通過流水線并行將任務(wù)分配到多張 HC 卡上運(yùn)行。事實(shí)上，到今年夏季，該公司將推出硬編碼 200 億參數(shù) Llama 3.1 模型的 HC 芯片；到今年年底，將推出前沿級(jí)大語言模型 —— 可能是 Llama，可能是 DeepSeek，也可能兩者都支持 —— 通過多張 HC 卡集群運(yùn)行推理。該架構(gòu)將被命名為 HC2。

那么，Taalas HC1 卡到底有多快、多便宜？我們來看一看，首先是 Artificial Analysis 評(píng)估的 Llama 3.1 8B 模型最新吞吐性能：

HC1 的這些初始性能結(jié)果由 Taalas 自行測(cè)試，而非 Artificial Analysis，但你可以通過此鏈接試用聊天機(jī)器人演示，并通過另一鏈接申請(qǐng)開發(fā)者 API 權(quán)限進(jìn)行自行測(cè)試。

其與英偉達(dá) “布萊克韋爾” B200 GPU（Taalas 自行測(cè)試的數(shù)據(jù)）存在相當(dāng)大的差距，甚至與 Groq、SambaNova 和 Cerebras 采用高 SRAM 容量 AI 計(jì)算引擎所能提供的性能也存在顯著差距。

為了好玩，Taalas 選用 Llama 3.1 8B 和 DeepSeek R1 671B 模型，將英偉達(dá) B200 與其 HC 卡進(jìn)行了對(duì)比。（我們猜測(cè)，在 Taalas 系統(tǒng)上運(yùn)行 DeepSeek R1 671B 大約需要 35 張卡。）以下是它們的對(duì)比情況：

現(xiàn)在，你想知道的是吞吐率、延遲和每 Token 成本，這張圖表將所有信息匯總在一起：

在 GPU 系統(tǒng)中，交互能力 —— 即你可以同時(shí)支持多少用戶發(fā)起查詢并獲得回答 —— 取決于你期望的延遲。如果你想要低延遲，就無法支持大量用戶；如果你想要更低成本，就必須以提高輸入或輸出 Token 處理延遲為代價(jià)。

正如你所見，在測(cè)試的這兩個(gè)模型上，Taalas 展示出低得多的成本和極低的延遲。

我們期待 HC 卡量產(chǎn)后的獨(dú)立測(cè)試，也期待 Taalas 為這些 AI 推理引擎制定的定價(jià)。這看起來無疑將顛覆 AI 推理行業(yè)。

https://www.nextplatform.com/2026/02/19/taalas-etches-ai-models-onto-transistors-to-rocket-boost-inference/

（來源：nextplatform ）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4323期內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送

求推薦