圖片來自Taalas官網(wǎng)

打著“顛覆英偉達”的旗號的公司，總是會接二連三涌現(xiàn)。

最近，一家來自加拿大多倫多的芯片“小廠”Taalas引起了AI圈關注。有聲音認為，它很可能撬動英偉達主宰了多年的AI芯片市場。

當?shù)貢r間2月20日，成立于2023年的初創(chuàng)公司Taalas發(fā)布了首款產(chǎn)品Taalas HC1芯片，專為Llama 3.1 8B模型優(yōu)化，采用30芯片集群時實現(xiàn)每秒12000 tokens的推理速度，較傳統(tǒng)GPU方案提升50倍能效。

Taalas稱，公司通過結構化ASIC技術將芯片定制周期縮短至兩個月，已累計融資2.19億美元。24名敬業(yè)的員工的努力，投入3000萬美元，打造出了這款擁有“極致的專業(yè)化、速度和能源效率”的產(chǎn)品。

Taalas創(chuàng)始人兼CEO是曾任AMD架構師的業(yè)界傳奇人物柳比沙·巴伊奇（Ljubi?a Baji?）。

在公司官網(wǎng)的介紹文章中，巴伊奇稱，這款芯片選擇了Meta公司2024年7月推出的開源大模型Llama 3.1 8B作為運行平臺，峰值推理速度接近17000 tokens/秒，比目前市場中最先進的技術快近10倍，構建成本降低到原來的1/20，功耗降低至原來的1/10。

截圖來自社交平臺X

巴伊奇給出了一組測試數(shù)據(jù)，Taalas自己在Llama 3.1 8B上測試了英偉達的主力產(chǎn)品H200和B200，結果為230 tokens/秒和353 tokens/秒，而Taalas的HC1性能是它們的48倍。

此前這一數(shù)據(jù)，是由獨立分析平臺Artificial Analysis測出的最高值，來自剛剛完成H輪融資、估值230億美元的Cerebras，為1981 tokens/秒，也僅為HC1的11%。

在實測演示中，大模型對用戶問題的詳細解答，達到甚至超越了“秒回”的水平。

不過，AI在大量回復的一瞬間，人類對話者也產(chǎn)生了撲面而來的壓迫感。

圖片來自Taalas官網(wǎng)

這一堪稱“突破極限”的表現(xiàn)，果不其然引起了大量的討論。大呼“顛覆將至”者有之，質(zhì)疑其言過其實、過度營銷者亦有之。

令我們好奇的是，在喧囂背后，Taalas的技術和產(chǎn)品究竟有何特殊之處？又是否當?shù)闷鹌渥苑Q的“世界上速度最快、成本和功耗最低的推理平臺”呢？

將模型直接“刻”在芯片上

在研究了其首款產(chǎn)品HC1的相關公開信息之后，我們發(fā)現(xiàn)，Taalas的技術路線，與目前市場主流的ASIC路線相比，極具顛覆性，堪稱“邪修版”ASIC。

與英偉達和AMD代表的業(yè)界主流GPU通用計算技術路線不同，Taalas更接近ASIC（專用集成電路）路線。

這一技術路線通過為特定應用場景定制硬件設計，以追求極致能效和成本效益。雖然它的適用性、功能豐富度、可互換性，遠低于能覆蓋多場景的GPU，但自去年以來，以谷歌TPU為首，ASIC技術擁有成本（TCO）低、打造大模型能力毫不遜色等特點，得到了市場認可，出貨量大幅提升。

野村證券預測，2026年，ASIC芯片的總出貨量可能會首次超過GPU。而在GPU市場處于兩巨頭壟斷的情況下，大多數(shù)芯片初創(chuàng)也都選擇了ASIC路線，包括市場知名度較高的Cerebras、SambaNova，以及，此前剛剛被英偉達將核心團隊納入囊中的Groq。

巴伊奇在AMD和英偉達都有任職經(jīng)歷，之前還創(chuàng)立了一家專注于AI芯片研發(fā)的獨角獸Tenstorrent公司。Tenstorrent通過開源RISC-V架構和軟硬件協(xié)同設計，降低AI計算成本。

而“挑戰(zhàn)英偉達壟斷地位”，一直是巴伊奇所宣揚的核心理念，也是Tenstorrent公司備受關注的“招牌”標簽。

不過，英偉達的發(fā)展，要遠好于AMD及各類AI芯片初創(chuàng)公司，巴伊奇也在探索中有了更“極端”的設想。

2022年至2023年間，巴伊奇逐漸脫離了此前工作，開始籌劃創(chuàng)辦Taalas。他與他的妻子、曾在AMD任系統(tǒng)工程高級經(jīng)理萊拉·巴伊奇（Lejla Bajic），以及，曾任AMD高級設計工程師并在Tenstorrent擔任過ASIC設計總監(jiān)的德拉貢·伊格納托維奇（Drago Ignjatovic）成為了Taalas聯(lián)合創(chuàng)始人。

Taalas公司20余人的核心工程師團隊，多數(shù)來自AMD、蘋果、谷歌、英偉達和TensorRent。

2024年，Taalas公司完成5000萬美元的首輪融資，并正式出現(xiàn)在公眾視野。

巴伊奇強調(diào)，Taalas致力于解決AI發(fā)展面臨的兩大障礙——“高延遲”和“天文數(shù)字般的算力成本”，并提出“單芯片性能超越小型GPU數(shù)據(jù)中心”這一極具野心，甚至顯得有些“狂妄”的目標。

資本市場為巴伊奇的野心投票。截至目前，Taalas目前已完成三輪融資，總額超過2億美元。

Taalas奉行“The Model is The Computer”（這句話也是公司的slogan），可以理解為，將傳統(tǒng)“在計算設備上運行模型”的范式，轉(zhuǎn)變?yōu)椤澳Ｐ捅旧沓蔀橛嬎阍O備”。

技術實現(xiàn)路徑上，Taalas提出“無需軟件，直接將模型刻在芯片上”，這與傳統(tǒng)的ASIC芯片仍需使用軟件，通過編譯過程將軟件代碼轉(zhuǎn)化為芯片指令不同。

Taalas通過EDA（電子設計自動化）流程，將特定大模型直接轉(zhuǎn)化為定制芯片。

也就是說，每款使用Taalas的大模型，都會擁有專屬于自身的定制芯片，實現(xiàn)巴伊奇所說的“完全專業(yè)化”（Total specialization）。

與此同時，算力也擺脫了軟件束縛和編譯過程，數(shù)據(jù)幾乎不需要在內(nèi)存和計算單元之間移動，“內(nèi)存墻”由此消失，推理成本隨之大幅降低，推理速度則顯著提升。

截圖來自社交平臺X

目前來看，Taalas的主要業(yè)務操作流程也比較簡單。大致是客戶向Taalas提供自身所需的模型，Taalas在一周內(nèi)將其轉(zhuǎn)化為電路設計，通過臺積電代工在兩個月內(nèi)交付專屬芯片。

可想而知，如果Taalas能為每個主流模型，都提供出類似HC1在Llama 3.1 8B上那樣的性能飛躍，那么，各大廠商很可能會對其產(chǎn)品趨之若鶩。

實際上，包括獨立人工智能研究員本杰明·馬里（Benjamin Marie）、Devtools創(chuàng)業(yè)顧問肖恩·王（swyx）等產(chǎn)業(yè)界人士和The Next Platform記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒體人士，都已在積極介紹Taalas的新產(chǎn)品，看好其前景者不在少數(shù)。

Taalas的死穴在哪？

不過，在輿論熱度落地到商用市場之前，Taalas還有很多問題需要被看到。

首先，Taalas需要面對的是，其產(chǎn)品能否適用更先進、大規(guī)模的模型。

2024年，Meta推出Llama 3.1時，發(fā)布了8B、70B和405B三種參數(shù)規(guī)模版本，Taalas選用的是最小的8B。

很顯然，在目前大模型進化速度極快、規(guī)模越來越大的背景下，Taalas的產(chǎn)品能否匹配，是否面臨明顯“天花板”，都是必須解決的問題。

巴伊奇稱，公司將在今年春季推出一款適用中等規(guī)模推理模型的產(chǎn)品，屆時表現(xiàn)如何，值得關注。

與此相關的，目前測評體驗中，不少質(zhì)疑聲音集中在，Taalas讓本已不算聰明的Llama變得“更笨了”。

一些用戶發(fā)帖稱，HC1“幻覺嚴重”“答案明顯錯誤，質(zhì)量遠低于同參數(shù)GPU版”，“回答速度快但錯得也快”，其實用性不佳。

截圖來自社交平臺X

實際上，對于如何理解Taalas給出的測試數(shù)據(jù)，也有較多質(zhì)疑聲音。

一位關注芯片產(chǎn)業(yè)的愛好者對作者表示，Taalas相當于內(nèi)置了問題的答案，所以，計算速度“秒殺”英偉達等一眾業(yè)界翹楚，但是，將”1+1=2”的問題換為“2*2=？”，它的表現(xiàn)可能就會“掉鏈子”。

Taalas能在極其有限的特定場景下“秒殺英偉達”，但目前其他英偉達能做的事，對于Taalas來說可能更難。

更為關鍵的問題是，Taalas能否跟得上大模型的迭代周期。

一位半導體行業(yè)從業(yè)者對作者表示，Taalas的芯片“表現(xiàn)很牛，但目前可能沒啥大的用處”，因為大模型還在不停迭代，而Taalas的迭代能力和速度成疑。

該行業(yè)人士認為，“要等以后大模型達到某個層級不再大規(guī)模、快速迭代了，這種芯片才能有更大舞臺”。

而在社交平臺上的討論中，不少質(zhì)疑集中在HC1“模型鎖定”的“只讀”模式導致的“過時”和“廢棄”風險，并認為這是其商業(yè)化、規(guī)模化的重大阻礙。

目前，一款頂尖大模型能保持領先優(yōu)勢的時間窗口不過月余，而Taalas交付芯片（而非量產(chǎn)）即使已經(jīng)很快，但也需要至少兩個月。

改寫AI芯片規(guī)則的未來已來

支持HC1進步性的聲音也不在少數(shù)。

在知乎的相關討論中，中國科學院計算技術研究所副研究員趙永威指出，雖然Taalas“目前的狀況還沒有應用價值”，但不妨礙它會成為“一顆有歷史意義的芯片”。

他認為，這種“硬連線”的模式，是未來芯片發(fā)展的一大趨勢，目前的質(zhì)疑由Taalas來扛，后來者在推廣相關概念時就會更加輕松。他也透露，自己所在單位也在研究類似技術路線，并提到，降低經(jīng)濟成本，既是相關路線的研究目標，也應該是宣傳發(fā)力點所在。

知名科技記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在文章中提到，Taalas確實需要模型的每一次更新中重新設計芯片，但其在推理引擎上蝕刻新模型，只需要更改設計中的兩層金屬，而不是完全廢棄。考慮到訓練模型的成本高達數(shù)十億美元，Taalas芯片的更新成本微不足道。

摩根認為，在主要模型發(fā)布間隔時間延長，人們對成熟模型依賴度增加時，Taalas芯片有望贏得更廣泛的市場認可。

也有一些分析稱，得益于低延遲、低功耗的特性，Taalas真正的用武之地或在于邊緣推理場景，比如，機器人、自動駕駛汽車，甚至高端智能手機等設備中。這些設備不需要運行所有模型，只需要穩(wěn)定運行定制化的模型，而更快的速度和更低的消耗，顯然更有利于產(chǎn)業(yè)普及AI大模型。

不過，即便是相關產(chǎn)品能真正規(guī)?；剡M入市場并大展拳腳，新的狀況和問題也會隨之浮現(xiàn)。

比如，大模型的底層架構（Transformer）是否會遭遇另一場“革命”？這似乎決定著“模型即芯片”技術路線的命運。還有，生態(tài)系統(tǒng)建設的問題，英偉達雖然是硬件公司，但CUDA軟件生態(tài)和開發(fā)者的重度依賴，才是其真正的護城河，而這也是Taalas看中且有意顛覆的。

但這些都是后話了，至少目前來看，Taalas距離英偉達還很遙遠，更遑論“顛覆英偉達”了。然而，巴伊奇在這條路上依舊步履不停，Taalas宣布，計劃在今年冬季推出第二代HC2產(chǎn)品，將具備更快的執(zhí)行速度和更強的性能。

屆時，一代產(chǎn)品的市場反饋和二代產(chǎn)品的迭代效果，將進一步驗證今天各方對這股橫空出世的新勢力的判斷。（作者｜胡珈萌，編輯｜李程程）