在人工智能競爭日益激烈的當下，延遲和成本已成為制約大模型部署主要瓶頸。對此，加拿大AI芯片初創(chuàng)公司Taalas 近日推出了號稱“可以將任何AI模型轉換為定制ASIC芯片”的技術平臺。其核心邏輯在于，將存儲和計算統(tǒng)一在單芯片上，將特定大模型的神經(jīng)網(wǎng)絡映射到硅片電路中，在 DRAM 級密度下完成所有計算。

Taalas表示，“通過消除內存-計算邊界，并針對每個模型定制硅片，我們能夠從根本重新設計整個硬件棧。結果是一個不依賴復雜或特殊技術的系統(tǒng)，沒有HBM，采用先進封裝、3D疊加、液冷和高速I/O。工程簡潔性使系統(tǒng)總成本降低了數(shù)量級。從收到一個此前未曾見過的模型開始，對應的硬件版本只需兩個月即可實現(xiàn)。”

這種優(yōu)勢源于其結構化ASIC設計理念：通過固定底層電路、僅調整兩層掩模的方式，將芯片開發(fā)周期從傳統(tǒng)6個月縮短至2個月，同時保持設計成本可控。

在這一技術理念的指導下，Taalas 打造了全球最快、成本最低的推理平臺——針對Llama 3.1 8B模型定制的AI芯片HC1，使得其運行Llama 3.1 8B模型的速度達到了驚人的單用戶每秒可生成近17000個Token，是英偉達B200的48倍，這一數(shù)據(jù)意味著在實時交互和復雜推理任務中，用戶將獲得近乎零延遲的體驗。并且，由于沒有復雜的HBM存儲系統(tǒng)，成本和功耗也大幅降低。

根據(jù)Taalas的官方說法，其HC1系統(tǒng)的速度幾乎是當前技術水平的10倍，制造成本只有當前領先方案1/20，功耗更是直接縮減到了當前方案的1/10。

針對特定模型定制：混合ROM和SRAM，拋棄HBM和高速I/O

雖然英偉達（NVIDIA）一直是云端人工智能（AI）芯片市場當之無愧的霸主，但隨著其GPU能耗和成本越來越高，市場上也涌現(xiàn)了很多主打高能效和性價比優(yōu)勢的數(shù)據(jù)中心AI ASIC芯片廠商。比如，Grop（已被英偉達以200億美元收購）、Etched、Grow、SambaNova、Cerebras和Tenstorrent等。

相對于英偉達GPU來說，很多的AI ASIC廠商要么選擇增加大量的片上SRAM，以提升大模型的運行效率；要么犧牲一些靈活性，針對特定的一些AI模型來優(yōu)化加速，以提升性能、降低成本。比如芯片初創(chuàng)公司Etched在2025年6月就推出了一款針對 Transformer架構模型優(yōu)化的ASIC芯片，號稱其AI芯片的性能達到了英偉達H100的20倍。

在Taalas看來，雖然目前的AI模型仍在持續(xù)快速發(fā)展，但是已經(jīng)有很多模型達到了在一些場景下可用的程度，與其等待AI模型的發(fā)展進入穩(wěn)定期，或者是花大價錢去不停地去適應模型的變化，倒不如直接將一些可用的AI模型的推理權重直接編碼進芯片的晶體管里，消除所有試圖讓計算引擎具有可塑性、讓公司能不斷調整模型所帶來的軟件垃圾。這樣做，可以極大簡化AI設備的架構，消除所有串行和并行計算引擎，尤其是消除了GPU和AI XPU中存在的計算與內存之間的壁壘，無需通過HBM來獲得與浮點和整數(shù)性能相匹配的高速I/O接口。

目前，Taalas 對其HC1的硬編碼推理架構的具體工作細節(jié)保密。不過，據(jù)The next platform報道，Taalas產品副總裁Paresh Kharya透露，“HC1的架構基本上是這樣：我們將模型嵌入其中，把模型和權重硬編碼到我們稱之為'mask ROM recall fabric'（掩模只讀存儲器回憶結構）的結構中，并與一個SRAM recall fabric（靜態(tài)隨機存取存儲器回憶結構）配對。這兩者結合在一起，既能存儲模型，又能執(zhí)行KV緩存的所有計算。我們還支持適配器和定制化——所有這些我們都支持。這種設計讓我們在計算和存儲方面都達到了超高密度，并且我們可以在存儲之上以極快的速度進行計算，這正是推動密度提升和成本降低的關鍵。"

簡單來說，Taalas創(chuàng)新性的存儲架構包含了兩部分：可編程SRAM區(qū)域，用于保存微調權重（如LoRA）和KV緩存；而模型主體則通過掩模ROM固化執(zhí)行。而為彌補量化帶來的精度損失，其研究團隊開發(fā)了LaRA適配器進行重新訓練，并配置可調上下文窗口，在靈活性與性能間取得平衡。

"在當前這一代產品中，我們的密度是——芯片硬連線（Hard-wiring）部分可承載80億參數(shù)，再加上SRAM，讓我們能夠處理KV緩存、微調等適應性調整。在我們的下一代產品中，一塊芯片將能夠承載高達200億參數(shù)。即使處理萬億參數(shù)的模型，我們也只需要幾十塊芯片，與當今市場上任何其他方案相比，這個數(shù)量都非常、非常小。"

Taalas的CEO Ljubisa Bajic則補充道：“我們這種mask ROM recall fabric的方案——也就是硬連線部分——有一個巧妙之處：我們可以用單個晶體管存儲4bit數(shù)據(jù)，并同時完成與之相關的乘法運算——所有一切都在一個晶體管里完成。所以密度基本上是很瘋狂的。而且這不是什么核物理——它完全是數(shù)字電路。只是一個我們不想公開的巧妙技巧。但一旦你把一切都硬連線，你就會獲得這種機會，可以用完全不同的方式來布局，而不必像需要應對變化時那樣妥協(xié)。關鍵在于，我們可以把權重和與之相關的乘法全部塞進一個晶體管里。而你知道，乘法器基本上是計算芯片里的大塊頭。"

“我們發(fā)明的東西其實也沒什么特別難的。只是一個巧妙的技巧，只是因為沒人走過這條路，所以沒人發(fā)現(xiàn)它。我們兩年多前成立時，就想徹底消除存儲器和計算之間的障礙。這就是這一切的起源?，F(xiàn)在，我們想出來的第一種方法——也是當時我們基本上能看到唯一能在可預期的時間內做出產品的方法，因為我們不想當三年后搞出一些不工作的東西的研究教授——就是迅速轉向這種基于ROM的方法。我們開始詳細研究它，然后意識到這其實比我們最初想的還要好?！?/p>

總結來說，Taalas聲稱實現(xiàn)了一種存內計算的極致形態(tài)。他們利用了ROM陣列的特殊連接方式，讓流過晶體管的電流不僅代表存儲的值，還能在模擬或數(shù)字域直接參與運算。這相當于把乘法器“壓扁”進了存儲陣列里。正如Ljubisa Bajic所說，“乘法器是計算里的大塊頭”，如果能把它和存儲單元合二為一，密度的提升是指數(shù)級的。

Ljubisa Bajic進一步指出：“實際上，所有這些我們都是從零開始內部設計的。我們沒有使用任何現(xiàn)成的組件，我們做了大量的晶體管級設計和手工布局——基本上我們整個努力最終就像是對1970年代的致敬。”

這里需要解釋的是，在1970-80年代，芯片設計規(guī)模小，工程師為了追求極致的性能和面積，會親手擺放每一個晶體管的位置，也就是全定制設計。后來隨著EDA（電子設計自動化）工具的發(fā)展，大家更多采用標準單元庫，像搭積木一樣快速設計。

Taalas選擇“手工布局”是因為他們要做的存內計算單元是全新的，沒有現(xiàn)成的庫可用。為了榨干每一寸面積、每一個晶體管的性能，他們必須回到最原始、最精細的設計方式，為這種新架構量身定制物理實現(xiàn)。

HC1：性能是英偉達B200的48倍，延遲及成本大幅降低

Taalas 最新推出的全球最快、成本最低的推理平臺——針對Llama 3.1 8B模型定制的AI芯片HC1，是基于臺積電6nm制程，面積為815mm2，擁有530億顆晶體管，其中大多數(shù)很可能用于ROM和SRAM內存。HC1加速卡本身功耗僅200瓦，一臺集成了10張HC1加速卡的雙插槽X86服務器，功率也只有2500瓦，散熱也只需要空氣冷卻。

那么，針對Llama 3.1 8B模型固化的AI芯片HC1芯片，在運行Llama 3.1 8B模型時，到底有多快，成本有多低呢？

根據(jù)Taalas公布的測試數(shù)據(jù)顯示，在單用戶的情況下，運行Llama 3.1 8B模型，Taalas HC1每秒可生成16960個Token，是排名第二的Cerebras（1981 Tokens/s）的近9倍，更遙遙領先于其他AI芯片，是英偉達B200的48倍。

另外，為了解決單芯片容量不足的問題，Taalas 采用了集群化擴展策略。在針對 DeepSeek R1 671B模型的測試中，Taalas通過 30 顆HC1芯片的集群配置，實現(xiàn)了單用戶高達每秒12382個Token的生成速度，達到了8卡英偉達B200系統(tǒng)（每秒192個Token）的約64.5倍。

這里需要強調的是，雖然Taalas并未解釋針對Llama 3.1 8B模型固化的HC1芯片為何在集群系統(tǒng)中運行更大的DeepSeek R1 671B也更高效，但是猜測Taalas應該也是設計了一個針對DeepSeek R1 671B優(yōu)化的HC1集群版本。另外，由于其消除了“內存墻”，創(chuàng)新地采用了將模型的不同部分（如SRAM用于動態(tài)KV緩存，ROM用于固化權重）拆分到不同芯片上，實現(xiàn)高度專業(yè)化分工的協(xié)同計算，并且這30顆芯片之間采用了“分布式直連”的互聯(lián)，通信協(xié)議極簡、高效，也使得其應對DeepSeek R1 671B更具優(yōu)勢。

從每百萬Token的生產成本以及每個Token間的延遲（毫秒）對比來看，Taalas的測試數(shù)據(jù)顯示，在Llama 3.1 8B模型下，HC1的每百萬Token生成成本最低只有英偉達B200（延遲優(yōu)化）的不到1/36，只有英偉達B200（吞吐量優(yōu)化）的約1/5，每個Token間的延遲也只有英偉達B200約1/50；在DeepSeek R1 671B 模型下，HC1的每百萬Token生成成本最低只有英偉達B200（延遲優(yōu)化）的約1/6，只有英偉達B200（吞吐量優(yōu)化）的約1/3，每個Token間的延遲也只有英偉達B200約1/65。

因為HC1加速卡的速度足夠快，想要獲得低延遲推理不需要批量查詢，這意味著Taalas設備的帶寬壓力很低。低到如果客戶想利用多卡系統(tǒng)運行更大的模型，PCI-Express總線就足夠了，無需英偉達AI系統(tǒng)所需的NVLink和NVSwitch進行復雜的通信。Taalas今年晚些時候會允許客戶通過流水線并行性將工作分配到HC卡之間。

事實上，到今年夏天，Taalas將推出第二個模型，仍基于Taalas的第一代芯片平臺（HC1），將支持Llama 3.1 20B模型。到今年年底時，Taalas將推出第二代芯片平臺（HC2），支持一個前沿級大型語言模型——可能是更先進的Llama、DeepSeek模型，甚至兩個模型可以在一組HC卡上運行推理。

總結來看，Taalas HC1在這兩款模型的測試當中展現(xiàn)出了相比英偉達B200更低的成本和極低的延遲表現(xiàn)。對于已經(jīng)大規(guī)模部署了Llama 3.1 8B 或 DeepSeek R1 671B 模型云服務廠商來說，部署Taalas HC1顯然非常具有性價比。

Anthropic 和 OpenAI 很可能會拿起電話，希望Taalas為其模型向定制AI加速器，甚至谷歌也有可能想試試。目前，Taalas已以Ljubisa Bajic名義申請了14項專利，涵蓋其多項關鍵技術。

有不少業(yè)內人士也認為，Taalas 走的路線可能確實是未來的一個方向，因為大模型的發(fā)展最終可能會趨于穩(wěn)定，這種Token的輸出速度，以及其成本和功耗上的優(yōu)勢，確實非常具有吸引力。

但也有很多業(yè)內人士認為，當前的大語言模型還不夠可靠，特別是小模型帶來的幻覺問題也無法避免，新模型的迭代速度依然很快，現(xiàn)在就讓其中一個模型運行得更快其實意義不大。因為，一旦針對特定模型固化的ASIC芯片生產出來，它將無法去適應其他模型，后續(xù)也無法升級。

雖然Taalas 專注于將開源模型的權重固化在其 HC 系列芯片上，但顯而易見的是，每次模型升級，比如從Llama 3.1到Llama 4，Taalas都需要重新調整HC系列芯片，這同樣也可能會帶來很大的成本。

成立不到3年，已獲超2億美元融資

Taalas 成立至今僅兩年半的時間，已通過三輪風險投資籌集超過2億美元。該公司總部位于加拿大多倫多，三位創(chuàng)始人都曾在明星AI芯片公司Tenstorrent工作。

其中，Taalas的CEO Ljubisa Bajic曾在AMD、英偉達擔任骨干架構師，也是Tenstorrent的聯(lián)合創(chuàng)始人。Ljubisa Bajic在互聯(lián)網(wǎng)熱潮后曾為Teralogic和Oak Technology設計視頻編碼器，隨后跳槽至AMD，并在工程層級晉升，成為AMD公司PC和服務器混合CPU-GPU芯片設計的架構師和高級經(jīng)理。他還曾在英偉達擔任高級架構師一年，然后回到AMD擔任集成電路設計總監(jiān)兩年。在離開AMD后，Ljubisa Bajic創(chuàng)立了Tenstorrent。2022年秋，芯片專家Jim Keller加入Tenstorrent后，Ljubisa Bajic決定離開。在休息了六個月后，Ljubisa Bajic開始開發(fā)一個完全不同的AI推理計算理念，并在多倫多創(chuàng)立了Taalas。

Lejla Bajic是Taalas另一位聯(lián)合創(chuàng)始人，她是Taalas的首席運營官，也是Ljubisa Bajic的妻子。她曾在互聯(lián)網(wǎng)泡沫泡沫期間擔任FPGA制造商Altera的軟件工程師，隨后成為加拿大GPU制造商ATI的高級工程師，該公司于2006年7月被AMD以54億美元收購。Lejla Bajic也在AMD工程層級逐步晉升，最終成為系統(tǒng)工程高級經(jīng)理。她于2017年10月加入Tenstorrent從事同樣的工作，并在丈夫離開后離開。

Taalas 的第三位聯(lián)合創(chuàng)始人是 Drago Ignjatovic，他曾是高級設計工程師，負責 AMD APU 和 GPU 項目，后來接替 Ljubisa Bajic，擔任 ASIC 設計總監(jiān)。在Ljubisa Bajic離職創(chuàng)辦 Tenstorrent九個月后，Drago Ignjatovic加入Tenstorrent，擔任硬件工程副總裁，并與Bajic夫婦共同創(chuàng)立了Taalas，擔任該初創(chuàng)公司的首席技術官。

值得注意的是，Taalas 產品副總裁Paresh Kharya曾任谷歌數(shù)據(jù)中心業(yè)務產品管理與市場高級總監(jiān)三年，隨后擔任Google Cloud的AI基礎設施產品管理總監(jiān)（管理其GPU和TPU硬件及其軟件棧）。

目前，Taalas 擁有25名員工，大多數(shù)是曾在AMD、蘋果、谷歌、英偉達和Tenstorrent工作的工程師，他們擁有將芯片從創(chuàng)意轉化為系統(tǒng)的豐富經(jīng)驗。據(jù)悉，Taalas僅為剛發(fā)布HC1芯片投入了3000萬美元的研發(fā)，銀行中仍有超過1.7億美元的資金儲備。

編輯：芯智訊-浪客劍