過去兩年，我們已經(jīng)習(xí)慣了與大模型對談，但 AI 的進(jìn)化并未止步于此。現(xiàn)在，行業(yè)正集體轉(zhuǎn)向一個更具野心的目標(biāo)——AI Agent。不同于只會見招拆招的聊天機(jī)器人，AI Agent 更像是一個擁有自主行動能力的“數(shù)字員工”：它會自主上網(wǎng)搜集情報、多維分析海量數(shù)據(jù)、甚至跨平臺調(diào)用各種專業(yè)工具完成復(fù)雜的業(yè)務(wù)閉環(huán)。

但問題來了，在一次完整的執(zhí)行流中，Agent 會產(chǎn)生海量的計算步驟，且各環(huán)節(jié)對硬件的需求存在本質(zhì)差異：邏輯推理階段依賴極速計算，知識檢索階段渴求高帶寬存儲，而工具調(diào)用則對網(wǎng)絡(luò) I/O 的響應(yīng)時延有著近乎苛刻的要求。

這種復(fù)雜的、多階段的任務(wù)特性，導(dǎo)致了當(dāng)前算力架構(gòu)中一個極其尷尬的悖論：由于缺乏精細(xì)化的調(diào)度能力，開發(fā)者往往只能將所有任務(wù)都扔到同一種硬件（通常是高端 GPU）上跑，而硬件性能與任務(wù)需求其實并不匹配。

據(jù)統(tǒng)計，目前全球數(shù)據(jù)中心硬件的平均利用率僅維持在 15%-30% 之間。這意味著，在 AI 浪潮狂熱擴(kuò)張的背后，每年有價值數(shù)百億美元的算力資源正處于隱性的閑置與浪費之中。

為了打破這種桎梏，一個被視為下一代 AI 基礎(chǔ)設(shè)施核心的理念——“異構(gòu)推理”應(yīng)運而生。異構(gòu)推理就是讓 AI 在推理時，不再只盯著一種芯片使勁，而是根據(jù)任務(wù)的不同需求，把工作拆開，分給最適合的多種硬件去協(xié)同完成。

權(quán)威 IT 研究與顧問咨詢公司 Gartner 預(yù)測，到 2028 年，40% 的領(lǐng)先企業(yè)會采用混合計算架構(gòu)，把 CPU、GPU、ASIC、甚至不同代際的芯片混在一起用。同時，2026 年全球 AI 基礎(chǔ)設(shè)施支出預(yù)計將達(dá)到約 1.36 萬億美元，推理部分占比正快速超過訓(xùn)練，成為 AI 計算的主戰(zhàn)場。

近日，總部位于美國舊金山的 AI 基礎(chǔ)設(shè)施初創(chuàng)公司 Gimlet Labs 宣布完成 8,000 萬美元 A 輪融資。此輪由知名風(fēng)投 Menlo Ventures 領(lǐng)投，至此，該公司累計融資達(dá)到 9,200 萬美元。

天使投資人包括紅杉資本的合伙人比爾·科夫蘭（Bill Coughran）、斯坦福大學(xué)教授及網(wǎng)絡(luò)專家尼克·麥基翁（Nick McKeown）、VMware 前首席執(zhí)行官拉古·拉古拉姆（Raghu Raghuram）以及英特爾首席執(zhí)行官陳立武（Lip-Bu Tan）。值得注意的是，英特爾前首席技術(shù)與人工智能官 Sachin Katti（薩欽·卡蒂）參與其中，擔(dān)任 Gimlet 的顧問，他曾與創(chuàng)始人兼首席執(zhí)行官 Zain Asgar（扎因·阿斯加）在斯坦福共同授課并合作相關(guān)研究。

Gimlet 針對上述問題推出了一個無服務(wù)器的 AI 推理云平臺 Gimlet Cloud。它就像是一個聰明的“云端指揮部”，會自動將復(fù)雜的 AI Agent 工作拆解成很多環(huán)節(jié)，然后根據(jù)每個環(huán)節(jié)的需求，精準(zhǔn)地分配給最合適的硬件。比如計算重的用高端 GPU，內(nèi)存重的找加速器，聯(lián)網(wǎng)重的用帶快網(wǎng)的機(jī)器。甚至能把英偉達(dá)、AMD、英特爾、ARM 等不同廠商、不同代際的芯片混在一起協(xié)同工作。

根據(jù) Gimlet 官方披露的數(shù)據(jù)，這種異構(gòu)調(diào)度方式能讓同樣的 AI Agent 在不增加電費和硬件投入的情況下，運行速度提升 3 到 10 倍，顯著降低每 token 成本，同時解鎖原本閑置的老舊算力。

為了讓模型在各種新舊、不同品牌的芯片上都能絲滑運行，Gimlet 還開發(fā)了一款工具 kforge，它能用 AI 自己幫模型寫出最優(yōu)的底層代碼，讓不同硬件自動跑得更順，省掉程序員大量手動調(diào)試的功夫。

正如阿斯加所言，“我們的目標(biāo)基本上是設(shè)法將當(dāng)今 AI 工作負(fù)載的效率提升 10 倍?！?/p>

阿斯加是斯坦福大學(xué)的兼職教授，曾在英偉達(dá)擔(dān)任 GPU 架構(gòu)師、在谷歌擔(dān)任軟件工程師。他與其他三位聯(lián)合創(chuàng)始人曾共同創(chuàng)辦了知名可觀測性平臺 Pixie Labs，后被 New Relic 收購。而就在被收購的兩個月前，該公司剛剛完成了由 Benchmark 領(lǐng)投的 900 萬美元 A 輪融資。

圖 | 創(chuàng)始團(tuán)隊（來源：Gimlet ）

在宣布融資的同時，Gimlet 還透露，公司目前營收已達(dá)八位數(shù)，自結(jié)束隱身模式以來客戶群增長了兩倍，其客戶群在過去四個月內(nèi)增長了一倍以上，目前包括一家頂尖的前沿模型實驗室和一家超大規(guī)模云服務(wù)商，但并未透露兩家公司的名稱。

此外，該公司還與包括 AMD、ARM、Cerebras、d-Matrix、英特爾和英偉達(dá)在內(nèi)的領(lǐng)先人工智能芯片公司開展合作。

1.https://gimletlabs.ai/blog/announcing-series-a

2.https://www.gartner.com/en/newsroom/press-releases/2025-10-20-gartner-identifies-the-top-strategic-technology-trends-for-2026

運營/排版：何晨龍Agent運行提速10倍！斯坦福教授押注異構(gòu)推理，破解AI推理瓶頸