最近谷歌用其TPU基礎(chǔ)設(shè)施，訓(xùn)練出了最強(qiáng)大模型Gemini 3，在ChatGPT橫空出世3周年之際，這一事件。它意味著，用英偉達(dá)GPU在微軟Azure上訓(xùn)練出來(lái)的GPT系列最前沿大模型的范式，正在被打破；而且，大模型、云和AI芯片，是在谷歌內(nèi)部渾然一體的。

這一事件，足以影響對(duì)整個(gè)AI競(jìng)爭(zhēng)格局的判斷。我們知道，三年前ChatGPT發(fā)布之時(shí)，第一個(gè)最大的受益者是微軟，它的股價(jià)暴漲，市值達(dá)到全球第一。接著是英偉達(dá)，它憑借GPU和CUDA稅，股價(jià)一路上揚(yáng)，成為5萬(wàn)億美元的公司。第三家就是OpenAI，它的估值也超過(guò)了5000億美元，成為史上最有價(jià)值的非上市企業(yè)。

但這一切，正在被TPU改變。當(dāng)谷歌上揚(yáng)時(shí)，壓力傳遞到英偉達(dá)、微軟、以及大量接受英偉達(dá)投資并采購(gòu)GPU的其他企業(yè)，如甲骨文和其他新云企業(yè)。對(duì)OpenAI的直接影響，是市場(chǎng)上普遍開(kāi)始更看好TPU+Gemini在性能和成本上的長(zhǎng)期競(jìng)爭(zhēng)優(yōu)勢(shì) ，要?jiǎng)龠^(guò)OpenAI。而OpenAI在其，在Gemini的壓力之下，其商業(yè)可行性和可持續(xù)性，也受到市場(chǎng)的質(zhì)疑。

不是AI恐懼，而是OpenAI恐懼

難怪谷歌垂直整合的AI，其長(zhǎng)期價(jià)值受到了，最近大舉入股，是其一生之中除蘋果之外，投資的第二家科技企業(yè)，也是唯一一家AI企業(yè)。

ChatGPT3周年，更值得看的是谷歌過(guò)去的3年。它經(jīng)歷了2023年的危機(jī)，即GPT-4超過(guò)了谷歌在AI領(lǐng)域的優(yōu)勢(shì)，微軟等企業(yè)將用AI搜索顛覆谷歌的壟斷地位，以及Llama開(kāi)放權(quán)重模型推出時(shí)，谷歌內(nèi)部驚呼“沒(méi)有護(hù)城河”。到了2024年，谷歌開(kāi)始真正反擊，除了推出原生多模態(tài)的Gemini大模型之外，它的基礎(chǔ)設(shè)施也引起了我們的關(guān)注。

Gemini與TPU的協(xié)同，正是谷歌AI王者歸來(lái)的核心�？梢哉f(shuō)，真正奠定谷歌戰(zhàn)略反攻的，一個(gè)是合并DeepMind和谷歌大腦，由哈薩比斯擔(dān)任谷歌DeepMind CEO，廢除Bard等模型，集全谷歌AI人才死磕Gemini；第二個(gè)就是TPU的迭代升級(jí)的強(qiáng)大支撐。它們的對(duì)手，相當(dāng)于OpenAI+英偉達(dá)+微軟。

2023年底，谷歌發(fā)布Gemini，同步發(fā)布了TPUv5p，此時(shí)已經(jīng)可以建立起幾萬(wàn)張卡的推理集群，但訓(xùn)練主還是依靠英偉達(dá)的H100/200。

Gemini 發(fā)布的喧囂中，值得注意的是谷歌云發(fā)布了TPUv5p，訓(xùn)練大模型每刀效率提升2倍以上。不管Gemini是否碾壓了GPT-4，但有一點(diǎn)是肯定的，谷歌擁有比微軟更強(qiáng)大的大模型訓(xùn)練和推理平臺(tái)。 而且谷歌將使用TPU進(jìn)行推理，因此不必像OpenAI和微軟那樣支付給NVIDIA 70%的利潤(rùn)（直到他們的芯片準(zhǔn)備好并投入生產(chǎn)）。 ——

2024年底，谷歌發(fā)布Gemini 2，正式宣布完成對(duì)OpenAI的追趕。此時(shí)，谷歌除了宣布競(jìng)爭(zhēng)的重心，將從深度學(xué)習(xí)進(jìn)入到發(fā)揮其強(qiáng)化學(xué)習(xí)優(yōu)勢(shì)的智能體之外，代號(hào)為Trillium的第六代TPU，是真正的幕后功臣。

當(dāng)時(shí)谷歌專為Gemini 2 推出了Trillium即TPUv6，并且建立了10萬(wàn)張卡的算力集群，徹底實(shí)現(xiàn)了100%的訓(xùn)練和推理自由。

2025年起，更多大廠將用自家研發(fā)的下一代定制芯片，構(gòu)建10萬(wàn)卡級(jí)別的算力集群，100%地用于自家下一代大模型的的訓(xùn)練和推理，追求高于英偉達(dá)GPU的性價(jià)比。顯然，谷歌的TPU正在從定制向通用加速芯片轉(zhuǎn)變。英偉達(dá)，要瑟瑟發(fā)抖了嗎？ ——

2025年4月，在谷歌云Next '25峰會(huì)上，谷歌發(fā)布了搭建下一代高能效算力基礎(chǔ)設(shè)施的Ironwood，提供高性價(jià)比推理的新一代主力模型Gemini 2.5 Flash，以及實(shí)現(xiàn)爆發(fā)中的智能體互操作的新標(biāo)準(zhǔn)Agent2Agent。谷歌在上一代Trillium解決訓(xùn)練問(wèn)題的基礎(chǔ)之上，隨著今年應(yīng)用token數(shù)消耗量的爆發(fā)，開(kāi)始重點(diǎn)解決推理成本和能源效率問(wèn)題。

而且TPUv7已經(jīng)開(kāi)始全面對(duì)標(biāo)英偉達(dá)最新一代芯片B200，英偉達(dá)必須要迅速推出下一代Rubin，才能保持黃仁勛所說(shuō)的“領(lǐng)先一代”的優(yōu)勢(shì)。

推理正朝著統(tǒng)一多模態(tài)與思維鏈的方向發(fā)展，需要完成越來(lái)越多能源與數(shù)據(jù)密集任務(wù)。除了單卡性能要足夠強(qiáng)大外，芯片能效與內(nèi)存也是升級(jí)重要方向。Ironwood足以與去年的B200相媲美。FP8精度下峰值算力，單個(gè)Ironwood芯片達(dá)到4,614萬(wàn)億次浮點(diǎn)運(yùn)算，與B200相當(dāng)，稱得上當(dāng)前最強(qiáng)水平。它的單芯片的HBM內(nèi)存容量達(dá)到了192GB，是Trillium的6倍；HBM帶寬達(dá)到7.2Tbps，是Trillium的4.5倍，也均與B200旗鼓相當(dāng)。不過(guò)，Ironwood要等今年晚間出貨，屆時(shí)，英偉達(dá)下一代Rubin架構(gòu)芯片最快也會(huì)量產(chǎn)。 ——

（Ironwood超節(jié)點(diǎn)，連接了9216顆TUPv7芯片，來(lái)源：谷歌云）

所以，未盡研究的讀者，在過(guò)去的兩年中，應(yīng)該對(duì)于谷歌TPU的崛起，不會(huì)感到意外，正如我們今年曾預(yù)言，甚至英偉達(dá)一樣：

谷歌披露了第七代TPU Ironwood更多細(xì)節(jié)。這是谷歌首款專為大規(guī)模AI推理設(shè)計(jì)的TPU，突破點(diǎn)覆蓋了“性能、擴(kuò)展、能效、可靠性”所有維度。單個(gè)基于Ironwood的超節(jié)點(diǎn)縱向最多可容納9216顆芯片，總算力達(dá)到42.5 Exaflops，并共享1.77PB可直接尋址HBM；同時(shí)，它還能夠橫向擴(kuò)展至數(shù)十個(gè)超節(jié)點(diǎn)。每瓦性能是上一代谷歌TPU Trillium的2倍。 ——

谷歌正在開(kāi)放自己的TPU市場(chǎng)。它現(xiàn)在已經(jīng)是除了英偉達(dá)GPU之外的硬通貨。全球最頂尖的前沿大模型廠商OpenAI與Anthropic都用上了TPU；OpenAI正在自研AI芯片，但奧特曼挖人，還是更信得過(guò)在TPU團(tuán)隊(duì)干過(guò)的。蘋果也用過(guò)谷歌TPU訓(xùn)練自家AI，xAI則迷上了TPU的JAX框架。還有傳言稱，谷歌正在設(shè)法接近Fluidstack等新興AI云服務(wù)商，將TPU部署到它們的數(shù)據(jù)中心里；它們此前屬于英偉達(dá)陣營(yíng)。 ——

英偉達(dá)面臨的最大問(wèn)題，是其高達(dá)75%左右的毛利率，越來(lái)越難以維持。對(duì)于前沿大模型實(shí)驗(yàn)室，英偉達(dá)只能通過(guò)提供股權(quán)投資而非降價(jià)，來(lái)鞏固其主導(dǎo)地位，因?yàn)榻祪r(jià)會(huì)降低毛利率并引發(fā)投資者恐慌。

股權(quán)投資的做法，也意味著OpenAI們能從中獲得打折優(yōu)惠。據(jù)業(yè)內(nèi)分析；OpenAI 甚至還沒(méi)部署 TPU，就已經(jīng)在其整個(gè)實(shí)驗(yàn)室的英偉達(dá)設(shè)備組中節(jié)省了約 30% 的成本。這表明 TPU 的性價(jià)比優(yōu)勢(shì)非常顯著，即使在這些實(shí)驗(yàn)室啟用 TPU 之前，也能立即獲得收益。

至今沒(méi)有一家芯片設(shè)計(jì)廠商，從谷歌到華為，都難于挑戰(zhàn)英偉達(dá)的單芯片性能，但是，系統(tǒng)級(jí)工程設(shè)計(jì)，使得 TPU 堆棧在性能和成本效益方面都與英偉達(dá)不相上下。這也是中國(guó)的一些科技企業(yè)，從華為到互聯(lián)網(wǎng)巨頭接下來(lái)要走的路。

“系統(tǒng)比微架構(gòu)更重要”，過(guò)去兩年的發(fā)展也印證了這一點(diǎn)。Anthropic 的大量 TPU 訂單，直接驗(yàn)證了該平臺(tái)的技術(shù)實(shí)力。與此同時(shí)，GPU 生態(tài)系統(tǒng)也在改變自己。GB200 代表著一次重大飛躍，推動(dòng)英偉達(dá)向真正的系統(tǒng)公司轉(zhuǎn)型，能夠設(shè)計(jì)完整的服務(wù)器，而不僅僅是內(nèi)部的芯片封裝。

對(duì)比一下，英偉達(dá)直到GB200才實(shí)現(xiàn)機(jī)架級(jí)互連方面的巨大創(chuàng)新，但常常被忽視的是：自2017年TPU v2發(fā)布以來(lái)，谷歌就一直在機(jī)架內(nèi)部和機(jī)架之間擴(kuò)展TPU！谷歌的ICI擴(kuò)展網(wǎng)絡(luò)，是英偉達(dá)NVLink唯一真正的競(jìng)爭(zhēng)對(duì)手。

正如開(kāi)篇所說(shuō)，谷歌最近推出的 Gemini 3 被公認(rèn)為目前最先進(jìn)的模型，這一結(jié)果有力地證明了 TPU 的強(qiáng)大性能以及谷歌在基礎(chǔ)設(shè)施方面的整體優(yōu)勢(shì)。具有諷刺意味的是，OpenAI CEO奧特曼在公開(kāi)點(diǎn)贊之后，就在內(nèi)部警告，因?yàn)镚PT大模型正在失去領(lǐng)先優(yōu)勢(shì)，將面臨著嚴(yán)峻挑戰(zhàn)。

2024年9月，OpenAI以o1引領(lǐng)了推理模型，把關(guān)注點(diǎn)集中在推理和后訓(xùn)練的硬件上，然而，對(duì)前沿模型進(jìn)行預(yù)訓(xùn)練仍然是人工智能硬件領(lǐng)域最困難、資源消耗最大的挑戰(zhàn)。TPU平臺(tái)已經(jīng)徹底通過(guò)了這一考驗(yàn)。這與競(jìng)爭(zhēng)對(duì)手形成了鮮明對(duì)比：自2024年5月GPT-4o發(fā)布以來(lái)，OpenAI的頂尖研究人員，尚未成功完成任何大規(guī)模部署的新前沿模型預(yù)訓(xùn)練，這進(jìn)一步說(shuō)明，谷歌TPU集群克服了重大技術(shù)障礙。

谷歌一向是一家軟件公司、互聯(lián)網(wǎng)公司，其核心業(yè)務(wù)以往并非硬件業(yè)務(wù)。但是，谷歌面臨硬件的挑戰(zhàn)，悄然強(qiáng)勢(shì)進(jìn)軍，堅(jiān)持長(zhǎng)達(dá)十年的投入，最終確立了系統(tǒng)性能領(lǐng)先地位，正在重新定義自己的AI軟件競(jìng)爭(zhēng)優(yōu)勢(shì)。這個(gè)過(guò)程中，3年前遭遇過(guò)危機(jī)，但今天已經(jīng)完全扭轉(zhuǎn)過(guò)來(lái)了。

所有這些對(duì)于英偉達(dá)意味著什么？從一定意義上說(shuō)，AI芯片和基礎(chǔ)設(shè)施格局，正在從英偉達(dá)的壟斷性霸主地位，向“一超多強(qiáng)”的格局轉(zhuǎn)變。應(yīng)該承認(rèn)，英偉達(dá)依然AI芯片和基礎(chǔ)設(shè)施超級(jí)大廠。

谷歌在TPU上的強(qiáng)勢(shì)崛起，帶來(lái)如下重要的啟示，包括我們引述了幾點(diǎn)對(duì)Semianalysis：

第一，AI 軟件時(shí)代的“護(hù)城河”，正從“模型”延伸到“基礎(chǔ)設(shè)施”。

誰(shuí)能在芯片、系統(tǒng)、網(wǎng)絡(luò)和軟件棧上協(xié)同優(yōu)化，誰(shuí)就能把單位有效 FLOPs 的成本壓得更低，從而在模型訓(xùn)練、推理定價(jià)和產(chǎn)品形態(tài)上更有回旋空間。谷歌通過(guò) TPUv7 和 Gemini 3，已經(jīng)證明自己并非只會(huì)做搜索和廣告。

第二，TPU 不只是“自用武器”，而是正在成為一條完整的商業(yè)路線。

通過(guò)與 Anthropic 的百萬(wàn) TPU 合同，以及新云服務(wù)商、加密礦企的三方合作結(jié)構(gòu)，谷歌把原本封閉的 TPU 體系，從內(nèi)部機(jī)房搬到了第三方數(shù)據(jù)中心，讓整個(gè)行業(yè)第一次有了真正能和英偉達(dá)系統(tǒng)性競(jìng)爭(zhēng)的替代品。

第三，軟件生態(tài)仍是 TPU 的短板，但谷歌已經(jīng)開(kāi)始“補(bǔ)課”。

在 PyTorch 原生后端、vLLM / SGLang 集成、SparseCore 可編程性等方面，谷歌投入了大量工程力量；但在 XLA 編譯器、運(yùn)行時(shí)和多 Pod 訓(xùn)練代碼的開(kāi)源上，還沒(méi)有邁出最后一步。未來(lái) TPU 能否在開(kāi)發(fā)者心智中真正站穩(wěn)腳跟，很大程度要看這一塊會(huì)不會(huì)徹底打開(kāi)。

第四，未來(lái)幾年，很可能是“多極算力世界”。

英偉達(dá)、谷歌、亞馬遜、AMD，以至于其他云廠商的自研芯片，將在不同客戶、不同負(fù)載、不同商業(yè)模式下各展拳腳。OpenAI 自研芯片團(tuán)隊(duì)也開(kāi)始“動(dòng)真格”，進(jìn)一步說(shuō)明頭部實(shí)驗(yàn)室不愿把命運(yùn)完全交給單一供應(yīng)商。

第五，在這個(gè)多極算力世界中，一定會(huì)有中國(guó)企業(yè)的至少一席之地。

參考：

https://cloud.google.com/blog/products/compute/ironwood-tpus-and-new-axion-based-vms-for-your-ai-workloads；

TPUv7: Google Takes a Swing at the King （https://newsletter.semianalysis.com/）；

https://mp.weixin.qq.com/s/e532IOGX0m0HbLTpTbqgNA