最近科技圈和資本市場同時被一個叫做chatjimmy.ai的新物種刷屏了，初次徹底震驚了我。

在沒有英偉達(dá)高性能AI芯片的加持，這家硅谷初創(chuàng)公司Taalas就讓旗下大模型跑出了每秒1.5萬到1.7萬個Token。

這是什么概念？傳統(tǒng)的大模型每秒是跑一到兩千的Token，速度是它的1/10不到，

人話說就是，你把一道極其復(fù)雜的數(shù)學(xué)題發(fā)過去，傳統(tǒng)的AI模型還擱那一個勁思考呢，而它下一秒就羅列了好幾種解法給你看：

這個升級幅度，就好比是從算盤升級到計算器， 又是一個跨越式的進(jìn)步。

那這個技術(shù)邏輯是怎么實現(xiàn)的呢？

最大的不同就是它把大模型的幾十億參數(shù)直接刻入硅片里面，

過去的芯片算力很強，但大模型和芯片之間數(shù)據(jù)需要傳輸，所以要借助HBM（顯存）來搬運，甚至可以說90%的電量和時間都浪費在了路上，

好比一個天才面對一個復(fù)雜問題，一秒鐘就給出了答案，但寄郵件卻耗費了大量的時間。

而現(xiàn)在大模型就內(nèi)嵌在芯片自身，它直接拋棄了昂貴的HBM顯存，數(shù)據(jù)不需要搬運了，因為“計算即存儲，存儲即計算”，于是一下就節(jié)省出大量的資源。

這就和淘寶出來后，直接對接工廠發(fā)貨，省去了實體店、中間商、庫存一樣。

那問題來了，如果要把大模型繪制在芯片上，模型豈不是被定死，那一旦老的模型失效要迭代，芯片豈不是就廢了？

這也是過去大家都不敢這么搞的原因，因為模型迭代太快了，而且專門繪制一個大模型芯片的成本也很高，動輒上億美金。

但如今隨著Transformer語言的普及，大語言模型越來越成熟，那么這種商業(yè)路徑成了可能。

而這次Taalas就是做了一個全自動的硅片編譯器，可以實現(xiàn)自動給芯片電路編碼，從而大幅提高效率降低成本。

效率方面，Taalas宣稱把“大模型”轉(zhuǎn)化為“定制芯片”的周期，可以從過去的一年降低到兩個月。

成本方面，由于它拋棄了昂貴的HBM芯片，加上GPU用的普遍是H100芯片，如果換到大模型專用芯片上，只需要使用價格僅為1/20的6nm芯片就可以搞定運算。

這種情況即便是出了新的更強大模型，它也可以直接報廢掉，換一個新的芯片就完事。

另外，估計有人也會好奇，這種綁定芯片的大模型，會不會因為沒法更新迭代，導(dǎo)致知識永遠(yuǎn)停留在出廠那一天？

實際上大模型刻入芯片，只是模型本身的迭代不能進(jìn)行了，就好比一個IQ180的人不能繼續(xù)進(jìn)化到IQ200，但它的邏輯推理能力，知識檢索能力依舊頂級。

而且刻入芯片之后，訪問大模型雖然不需要聯(lián)網(wǎng)了，但它本身依然是具有聯(lián)網(wǎng)能力的，依然可以找到最新的信息去學(xué)習(xí)，分析并且解決。

這就導(dǎo)致面對緊急突發(fā)狀況的時候，它的響應(yīng)速度遠(yuǎn)超過去的大模型，有更好的使用場景。

1、智能駕駛領(lǐng)域，當(dāng)汽車在馬路上突發(fā)緊急事件，有些復(fù)雜的問題根本無法解決~

比如前面臨時修路了，原本的實線被磨掉了，交警拿著指揮棒示意你逆行繞過障礙物，傳統(tǒng)的自動駕駛芯片擅長的是快速識別圖像，但對這種需要快速邏輯推理的場景是無能無力的。

這種情況它根本等不起把數(shù)據(jù)打包傳給阿里云、亞馬遜等云端大模型來反饋結(jié)果，它需要的是和人類一樣，低于1毫秒的“本能邏輯推理反射”。

2、高頻量化領(lǐng)域，可以在宏觀對沖金融里開“外掛”

在處理宏觀新聞、財報、非農(nóng)數(shù)據(jù)時，美聯(lián)儲鮑威爾的講話文稿剛一發(fā)布，芯片就能以17000Token/秒的速度，在零點幾毫秒內(nèi)瞬間“吞下”幾萬字的報告，立刻得出“鷹派/鴿派”的定性，并轉(zhuǎn)化為做多/做空大宗商品或股指期貨的信號。

3、軍工領(lǐng)域，這種無需聯(lián)網(wǎng)、固化在物理硬件里的高智商芯片，是武器系統(tǒng)唯一的最佳選擇。

哪怕是處在斷網(wǎng)的“信息孤島”，它還是能憑著出廠時被賦予的龐大參數(shù)，獨立進(jìn)行極速的戰(zhàn)術(shù)分析和保密決策。

...................

當(dāng)然，我們也要關(guān)注這個背后長遠(yuǎn)看一些潛在的利空，

最近一年，以三星、美光，SK海力士為首的三大HBM存儲巨頭股價狂飆，底層邏輯都靠一個支撐：“AI的盡頭是算力，算力的盡頭是HBM”。

如果chatjimmy.ai這種“無HBM化”的芯片普及，甚至形成燎原之勢，對這三大巨頭絕對不僅僅是“有影響”，而是巨大的估值邏輯破壞。

另一方面，以前云計算借助AI推理全面收取過路費的模式，也可能會被打上一個問號。

畢竟如果人人的手機、汽車都有這種AI大模型芯片，絕大多數(shù)日常問題在本地0.1秒就免費解決了。

真正需要傳到云端、花錢去求ChatGPT或Gemini這種復(fù)雜模型來解答的流量，可能連20%都不到。

不過對于資金布局在這些方向的人來說，明白危機的同時，也別太過于焦慮了。

因為短期來說它能寫入的模型水平還是有限的，也就是目前僅限幾十億參數(shù)的初中生智商水平，距離真正頂級，動輒上百萬億參數(shù)模型還為之尚遠(yuǎn)。

也就是它五到十年內(nèi)的使用場景更多還只是在一些特定的領(lǐng)域，尤其是對于一些對“斷網(wǎng)、低延遲、絕對隱私”有極端要求的垂直領(lǐng)域——比如我前面提到的智能駕駛、軍工系統(tǒng)、或者是金融量化高頻交易。

但拉長來看，技術(shù)進(jìn)步的速度確實是難以估量的，誰又知道哪天這些頂級模型寫入芯片之后，每個人的設(shè)備終端都擁有了頂級離線AI，世界又會演變成什么夸張的模樣。