過(guò)去兩年，我們已經(jīng)習(xí)慣了與大模型對(duì)談，但 AI 的進(jìn)化并未止步于此?，F(xiàn)在，行業(yè)正集體轉(zhuǎn)向一個(gè)更具野心的目標(biāo)——AI Agent。不同于只會(huì)見(jiàn)招拆招的聊天機(jī)器人，AI Agent 更像是一個(gè)擁有自主行動(dòng)能力的“數(shù)字員工”：它會(huì)自主上網(wǎng)搜集情報(bào)、多維分析海量數(shù)據(jù)、甚至跨平臺(tái)調(diào)用各種專(zhuān)業(yè)工具完成復(fù)雜的業(yè)務(wù)閉環(huán)。

但問(wèn)題來(lái)了，在一次完整的執(zhí)行流中，Agent 會(huì)產(chǎn)生海量的計(jì)算步驟，且各環(huán)節(jié)對(duì)硬件的需求存在本質(zhì)差異：邏輯推理階段依賴(lài)極速計(jì)算，知識(shí)檢索階段渴求高帶寬存儲(chǔ)，而工具調(diào)用則對(duì)網(wǎng)絡(luò) I/O 的響應(yīng)時(shí)延有著近乎苛刻的要求。

這種復(fù)雜的、多階段的任務(wù)特性，導(dǎo)致了當(dāng)前算力架構(gòu)中一個(gè)極其尷尬的悖論：由于缺乏精細(xì)化的調(diào)度能力，開(kāi)發(fā)者往往只能將所有任務(wù)都扔到同一種硬件（通常是高端 GPU）上跑，而硬件性能與任務(wù)需求其實(shí)并不匹配。

據(jù)統(tǒng)計(jì)，目前全球數(shù)據(jù)中心硬件的平均利用率僅維持在 15%-30% 之間。這意味著，在 AI 浪潮狂熱擴(kuò)張的背后，每年有價(jià)值數(shù)百億美元的算力資源正處于隱性的閑置與浪費(fèi)之中。

為了打破這種桎梏，一個(gè)被視為下一代 AI 基礎(chǔ)設(shè)施核心的理念——“異構(gòu)推理”應(yīng)運(yùn)而生。異構(gòu)推理就是讓 AI 在推理時(shí)，不再只盯著一種芯片使勁，而是根據(jù)任務(wù)的不同需求，把工作拆開(kāi)，分給最適合的多種硬件去協(xié)同完成。

權(quán)威 IT 研究與顧問(wèn)咨詢(xún)公司 Gartner 預(yù)測(cè)，到 2028 年，40% 的領(lǐng)先企業(yè)會(huì)采用混合計(jì)算架構(gòu)，把 CPU、GPU、ASIC、甚至不同代際的芯片混在一起用。同時(shí)，2026 年全球 AI 基礎(chǔ)設(shè)施支出預(yù)計(jì)將達(dá)到約 1.36 萬(wàn)億美元，推理部分占比正快速超過(guò)訓(xùn)練，成為 AI 計(jì)算的主戰(zhàn)場(chǎng)。

近日，總部位于美國(guó)舊金山的 AI 基礎(chǔ)設(shè)施初創(chuàng)公司 Gimlet Labs 宣布完成 8,000 萬(wàn)美元 A 輪融資。此輪由知名風(fēng)投 Menlo Ventures 領(lǐng)投，至此，該公司累計(jì)融資達(dá)到 9,200 萬(wàn)美元。

天使投資人包括紅杉資本的合伙人比爾·科夫蘭（Bill Coughran）、斯坦福大學(xué)教授及網(wǎng)絡(luò)專(zhuān)家尼克·麥基翁（Nick McKeown）、VMware 前首席執(zhí)行官拉古·拉古拉姆（Raghu Raghuram）以及英特爾首席執(zhí)行官陳立武（Lip-Bu Tan）。值得注意的是，英特爾前首席技術(shù)與人工智能官 Sachin Katti（薩欽·卡蒂）參與其中，擔(dān)任 Gimlet 的顧問(wèn)，他曾與創(chuàng)始人兼首席執(zhí)行官 Zain Asgar（扎因·阿斯加）在斯坦福共同授課并合作相關(guān)研究。

Gimlet 針對(duì)上述問(wèn)題推出了一個(gè)無(wú)服務(wù)器的 AI 推理云平臺(tái) Gimlet Cloud。它就像是一個(gè)聰明的“云端指揮部”，會(huì)自動(dòng)將復(fù)雜的 AI Agent 工作拆解成很多環(huán)節(jié)，然后根據(jù)每個(gè)環(huán)節(jié)的需求，精準(zhǔn)地分配給最合適的硬件。比如計(jì)算重的用高端 GPU，內(nèi)存重的找加速器，聯(lián)網(wǎng)重的用帶快網(wǎng)的機(jī)器。甚至能把英偉達(dá)、AMD、英特爾、ARM 等不同廠商、不同代際的芯片混在一起協(xié)同工作。

根據(jù) Gimlet 官方披露的數(shù)據(jù)，這種異構(gòu)調(diào)度方式能讓同樣的 AI Agent 在不增加電費(fèi)和硬件投入的情況下，運(yùn)行速度提升 3 到 10 倍，顯著降低每 token 成本，同時(shí)解鎖原本閑置的老舊算力。

為了讓模型在各種新舊、不同品牌的芯片上都能絲滑運(yùn)行，Gimlet 還開(kāi)發(fā)了一款工具 kforge，它能用 AI 自己幫模型寫(xiě)出最優(yōu)的底層代碼，讓不同硬件自動(dòng)跑得更順，省掉程序員大量手動(dòng)調(diào)試的功夫。

正如阿斯加所言，“我們的目標(biāo)基本上是設(shè)法將當(dāng)今 AI 工作負(fù)載的效率提升 10 倍?！?/p>

阿斯加是斯坦福大學(xué)的兼職教授，曾在英偉達(dá)擔(dān)任 GPU 架構(gòu)師、在谷歌擔(dān)任軟件工程師。他與其他三位聯(lián)合創(chuàng)始人曾共同創(chuàng)辦了知名可觀測(cè)性平臺(tái) Pixie Labs，后被 New Relic 收購(gòu)。而就在被收購(gòu)的兩個(gè)月前，該公司剛剛完成了由 Benchmark 領(lǐng)投的 900 萬(wàn)美元 A 輪融資。

圖 | 創(chuàng)始團(tuán)隊(duì)（來(lái)源：Gimlet ）

在宣布融資的同時(shí)，Gimlet 還透露，公司目前營(yíng)收已達(dá)八位數(shù)，自結(jié)束隱身模式以來(lái)客戶(hù)群增長(zhǎng)了兩倍，其客戶(hù)群在過(guò)去四個(gè)月內(nèi)增長(zhǎng)了一倍以上，目前包括一家頂尖的前沿模型實(shí)驗(yàn)室和一家超大規(guī)模云服務(wù)商，但并未透露兩家公司的名稱(chēng)。

此外，該公司還與包括 AMD、ARM、Cerebras、d-Matrix、英特爾和英偉達(dá)在內(nèi)的領(lǐng)先人工智能芯片公司開(kāi)展合作。

1.https://gimletlabs.ai/blog/announcing-series-a

2.https://www.gartner.com/en/newsroom/press-releases/2025-10-20-gartner-identifies-the-top-strategic-technology-trends-for-2026

運(yùn)營(yíng)/排版：何晨龍Agent運(yùn)行提速10倍！斯坦福教授押注異構(gòu)推理，破解AI推理瓶頸