4月21日至22日，以“奔赴AGI 重塑未來(lái)”為主題的2026中國(guó)生成式AI大會(huì)（北京站）圓滿舉行。

這場(chǎng)大會(huì)集結(jié)73位產(chǎn)學(xué)研投嘉賓，通過(guò)1場(chǎng)開(kāi)幕式、3場(chǎng)專題論壇、6場(chǎng)技術(shù)研討會(huì)，全景式解析AI產(chǎn)業(yè)的產(chǎn)業(yè)脈絡(luò)、創(chuàng)新范式、Token經(jīng)濟(jì)與中國(guó)機(jī)會(huì)。

議題跨度很大，從大語(yǔ)言模型、多模態(tài)模型、世界模型、智能體、AI眼鏡等前沿模型與應(yīng)用，到數(shù)據(jù)、芯片、存儲(chǔ)、通信、云服務(wù)等基礎(chǔ)設(shè)施。

在這場(chǎng)信息密度超高的大會(huì)上，清程極智的聯(lián)合創(chuàng)始人師天麾帶來(lái)了題為《AI Ping：構(gòu)建Agent時(shí)代的高質(zhì)量Token流通網(wǎng)絡(luò)》的主題演講。

師天麾指出，Token行業(yè)雖火，但用戶在選擇服務(wù)商時(shí)卻面臨諸多“暗坑”：同一模型在不同服務(wù)商的效果可能天差地別。由于緩存命中率不透明，表面便宜的服務(wù)商實(shí)際用起來(lái)反而更貴。此外，各服務(wù)商的服務(wù)質(zhì)量普遍下滑，中小客戶毫無(wú)保障。當(dāng)開(kāi)發(fā)者和企業(yè)熱衷于調(diào)用大模型API時(shí)，卻往往忽略了服務(wù)商背后的技術(shù)黑盒。

要讓Token流通網(wǎng)絡(luò)變得高質(zhì)量、高性價(jià)比，光有模型遠(yuǎn)遠(yuǎn)不夠，還需要“公平的評(píng)測(cè)”與“智能路由”。基于對(duì)30多家服務(wù)商、600多個(gè)模型服務(wù)的7×24小時(shí)真實(shí)用戶視角端到端評(píng)測(cè)，清程極智正式推出AI Ping平臺(tái)——一個(gè)面向大模型使用者的全面、客觀、真實(shí)的評(píng)測(cè)與智能路由平臺(tái)。

它具備兩大核心能力：多維度服務(wù)指標(biāo)的透明匯總，以及基于實(shí)時(shí)評(píng)測(cè)數(shù)據(jù)的動(dòng)態(tài)智能路由。

以下是演講實(shí)錄：

一、Agent時(shí)代的高質(zhì)量Token流通，從打破黑盒開(kāi)始

各位領(lǐng)導(dǎo)、嘉賓和開(kāi)發(fā)者們，大家上午好。我是清程極智的聯(lián)合創(chuàng)始人、產(chǎn)品副總裁師天麾。很榮幸今天能為大家?guī)?lái)分享：AI Ping——構(gòu)建Agent時(shí)代的高質(zhì)量Token流通網(wǎng)絡(luò)。

Token相信無(wú)需我過(guò)多介紹了，其應(yīng)用熱度持續(xù)攀升，尤其是在“小龍蝦”走紅之后。如今，越來(lái)越多的人使用Token來(lái)輔助編寫(xiě)代碼、撰寫(xiě)文案、生成圖片與視頻。用戶的Token通常來(lái)源于模型原廠、第三方MaaS服務(wù)商或云服務(wù)商。

根據(jù)我們的調(diào)研，用戶在選擇從哪家服務(wù)商買(mǎi)Token時(shí)，主要考慮以下指標(biāo)：模型效果、Token價(jià)格、服務(wù)性能和穩(wěn)定性。

實(shí)際上，購(gòu)買(mǎi)Token存在很多坑。舉幾個(gè)簡(jiǎn)單例子：對(duì)于同一模型，若在不同服務(wù)商處購(gòu)買(mǎi)且價(jià)格相同，可能出現(xiàn)以下情況：第一，不同服務(wù)商提供的同一模型，其實(shí)際效果不盡相同；第二，盡管價(jià)格相同，最終使用成本卻明顯不同；第三，各服務(wù)商的服務(wù)質(zhì)量可能存在巨大差異。

二、“暗坑”實(shí)測(cè)：從隱形降級(jí)到又貴又慢，Token行業(yè)亂在哪？

Token業(yè)務(wù)相較于傳統(tǒng)云服務(wù)尚屬新興領(lǐng)域，但其發(fā)展速度極快，由此引發(fā)一個(gè)問(wèn)題：Token行業(yè)目前相當(dāng)混亂。在此僅列舉兩個(gè)可公開(kāi)討論的案例。

案例一：針對(duì)同一模型，部分服務(wù)商提供的模型能力明顯偏弱。此前有客戶計(jì)劃采購(gòu)一個(gè)新模型，我們接入了多家服務(wù)商進(jìn)行評(píng)測(cè)，發(fā)現(xiàn)某些服務(wù)商的模型能力存在顯著問(wèn)題。經(jīng)詢問(wèn)，對(duì)方承認(rèn)使用了INT4量化。從報(bào)價(jià)表上看不出任何異?！Ｐ兔Q、輸出長(zhǎng)度、上下文長(zhǎng)度等參數(shù)均與官方完全一致，價(jià)格也極具競(jìng)爭(zhēng)力。然而客戶實(shí)際使用后，發(fā)現(xiàn)模型效果非常差。

案例二：同一模型的兩家服務(wù)商，一家報(bào)價(jià)較高，另一家較低。但實(shí)際使用后發(fā)現(xiàn)，報(bào)價(jià)較高的那家總成本反而更低，其根本原因在于緩存命中率不同。然而服務(wù)商并不會(huì)提前告知客戶這一信息，面對(duì)幾十家服務(wù)商，客戶也無(wú)法逐一測(cè)試。

AI Ping團(tuán)隊(duì)對(duì)國(guó)內(nèi)三十多家服務(wù)商的數(shù)百個(gè)模型服務(wù)進(jìn)行了測(cè)試，這些服務(wù)商涵蓋模型廠商、互聯(lián)網(wǎng)大廠、云上市公司以及MaaS廠商。以下簡(jiǎn)要展示部分匿名數(shù)據(jù)。

在模型接口支持方面，目前市面上主流接口有數(shù)種，其中使用最多的是OpenAI和Anthropic接口。各服務(wù)商對(duì)OpenAI接口的支持普遍較好，但在編程場(chǎng)景中廣泛使用的Anthropic接口，各家支持程度差異明顯，這會(huì)對(duì)客戶的使用產(chǎn)生顯著影響。

一般而言，隨著行業(yè)發(fā)展，服務(wù)質(zhì)量應(yīng)逐步提升。然而在服務(wù)質(zhì)量方面，我們觀察到近期各家服務(wù)商的服務(wù)質(zhì)量相比去年底明顯下降。除大客戶外，各服務(wù)商并不為中小客戶提供質(zhì)量保證。例如，一次請(qǐng)求正常情況下應(yīng)在三到五秒內(nèi)返回首Token，但實(shí)際上三十秒、一百秒甚至幾百秒才返回的情況非常普遍。我們將此類(lèi)服務(wù)質(zhì)量異?，F(xiàn)象稱為“慢響應(yīng)”。數(shù)據(jù)顯示，部分服務(wù)質(zhì)量較差的廠商，其20%的請(qǐng)求存在明顯的性能問(wèn)題；而服務(wù)質(zhì)量較高的廠商可將該比例控制在2%以內(nèi)。

緩存命中率是一項(xiàng)對(duì)總成本影響顯著的指標(biāo)。各家服務(wù)商因技術(shù)路徑不同，緩存命中率差異較大。在當(dāng)前Token消耗量較大的場(chǎng)景（如大語(yǔ)言模型應(yīng)用、編程輔助等）中，理想情況下緩存命中率可達(dá)80%至90%。命中緩存時(shí)，其價(jià)格僅為原輸入價(jià)格的10%至20%，極為低廉。

部分優(yōu)質(zhì)服務(wù)商的緩存命中率可超過(guò)80%，在本展示中名列前茅；而一些較差的服務(wù)商，其緩存機(jī)制幾乎形同虛設(shè)。由此便會(huì)出現(xiàn)這樣一種情況：某家服務(wù)商提供的折扣力度較大，表面價(jià)格便宜，但實(shí)際使用后總成本反而更高。然而，緩存命中率這一關(guān)鍵指標(biāo)并未出現(xiàn)在服務(wù)商的報(bào)價(jià)單中，客戶也無(wú)從得知，更不可能逐一測(cè)試數(shù)十家服務(wù)商的命中率。

此外，在接入服務(wù)商的過(guò)程中還存在一些常見(jiàn)問(wèn)題。

在過(guò)去一年中，基于對(duì)數(shù)十家服務(wù)商的數(shù)百個(gè)大模型API服務(wù)的評(píng)測(cè)，以及用戶對(duì)AI Ping的大量使用，我們積累了大量評(píng)測(cè)數(shù)據(jù)。今年年初，我們與華清普智AI孵化器共同撰寫(xiě)了《大模型API服務(wù)行業(yè)分析報(bào)告》。該報(bào)告包含了去年的評(píng)測(cè)數(shù)據(jù)，感興趣的朋友可在我們官網(wǎng)下載完整報(bào)告。

我們認(rèn)為，通過(guò)調(diào)用大模型API服務(wù)獲取Token的這種形式非常適合中國(guó)。原因是，在供給側(cè)，中國(guó)擁有世界上最繁榮的開(kāi)源大模型生態(tài)，DeepSeek、千問(wèn)、GLM、Kimi、MiniMax等眾多優(yōu)秀的大模型廠商將其模型開(kāi)源。正是基于這些開(kāi)源模型，許多云廠商得以部署并對(duì)外提供API服務(wù)，供開(kāi)發(fā)者和AI企業(yè)使用。

同時(shí)，中國(guó)AI算力近年來(lái)呈現(xiàn)爆發(fā)式增長(zhǎng)，為部署大模型并提供API服務(wù)提供了充足的算力基礎(chǔ)。在需求側(cè)，大模型API服務(wù)具備低成本、低門(mén)檻等優(yōu)勢(shì)，因此通過(guò)該服務(wù)使用AI的用戶日益增多，涵蓋企業(yè)、個(gè)人開(kāi)發(fā)者、科研人員以及普通消費(fèi)者（例如使用大模型輔助編程、文案創(chuàng)作等）。由此可見(jiàn)，Token在中國(guó)呈現(xiàn)需求旺盛、蓬勃發(fā)展的態(tài)勢(shì)。

可以用幾個(gè)關(guān)鍵詞來(lái)概括中國(guó)Token行業(yè)的現(xiàn)狀：

首先是“火”，即大模型應(yīng)用的熱度持續(xù)高漲。行業(yè)的火爆也引發(fā)了一系列問(wèn)題，最直接的表現(xiàn)是Token供不應(yīng)求，直觀上就是又貴又慢。與此同時(shí)，由于Token服務(wù)是一個(gè)黑盒，除非服務(wù)商百分百坦誠(chéng)相告，或者客戶自身具備極強(qiáng)的評(píng)測(cè)能力，否則客戶根本無(wú)法知曉服務(wù)商實(shí)際提供了何種質(zhì)量的服務(wù)，比如是否使用了量化模型甚至更小的模型以次充好?？傮w而言，整個(gè)行業(yè)發(fā)展迅速，但同時(shí)也較為混亂。

那么，在使用Token時(shí)，該如何選擇一家合適的服務(wù)商呢？

首先，在供給側(cè)，中國(guó)擁有大量的大模型API服務(wù)商。對(duì)于同一個(gè)大模型服務(wù)而言，各服務(wù)商之間的指標(biāo)可能存在巨大差異，其中服務(wù)性能指標(biāo)的差異尤為顯著。我們?cè)M(jìn)行過(guò)測(cè)試，在那些大型服務(wù)商（如大型互聯(lián)網(wǎng)云廠商、電信運(yùn)營(yíng)商）中，當(dāng)提供相同的模型服務(wù)且價(jià)格相近時(shí)，各家的大模型服務(wù)性能可能相差五倍甚至更多。當(dāng)然，并非性能越高就一定越好，也并非價(jià)格越低就一定越好。服務(wù)商各具特色，符合用戶需求的服務(wù)才是好服務(wù)。

那么，用戶到底需要什么樣的服務(wù)？在需求側(cè)，用戶的需求也各不相同。企業(yè)要求服務(wù)穩(wěn)定、性能有保證；個(gè)人開(kāi)發(fā)者可能對(duì)性能要求不那么高，不嚴(yán)重影響使用即可，但希望價(jià)格盡量便宜；科研人員通常需要服務(wù)商提供盡可能多的模型，以便進(jìn)行對(duì)比實(shí)驗(yàn)。服務(wù)商的大模型服務(wù)各具特色，不同用戶的需求也各不相同，那么如何實(shí)現(xiàn)供需匹配？或者說(shuō)，面對(duì)眾多服務(wù)商，對(duì)于同一個(gè)模型，用戶究竟該選擇哪一家？

三、當(dāng)模型性能相差五倍，開(kāi)發(fā)者該如何選擇？

總結(jié)以上這些痛點(diǎn)，我們團(tuán)隊(duì)始終在思考：開(kāi)發(fā)者到底需要什么樣的大模型API產(chǎn)品？為了簡(jiǎn)化用戶的選型流程，降低AI應(yīng)用的開(kāi)發(fā)門(mén)檻和成本，我們規(guī)劃了以下路徑。

第一步，需要一個(gè)統(tǒng)一平臺(tái)，匯聚大量模型，用戶可以查看和使用不同模型。有了這些模型之后，該如何選擇？不能憑感覺(jué)隨意決定。第二步，以數(shù)據(jù)評(píng)測(cè)為驅(qū)動(dòng)，為用戶的選擇提供科學(xué)標(biāo)尺，用數(shù)據(jù)說(shuō)話。第三步，基于評(píng)測(cè)數(shù)據(jù)提供進(jìn)一步的服務(wù)，智能路由可以幫助用戶選擇模型和服務(wù)商，省去用戶自行選型的繁瑣過(guò)程。終極目標(biāo)是提供統(tǒng)一接口，用戶直接發(fā)送請(qǐng)求，平臺(tái)根據(jù)用戶需求匹配最合適的模型與服務(wù)商，用戶直接獲得AI生成結(jié)果。

四、AI Ping：用透明評(píng)測(cè)與智能路由打破黑盒，成本直降37%，吞吐提升90%

基于前述觀察和行業(yè)痛點(diǎn)，我們?yōu)槭袌?chǎng)推出了AI Ping——一個(gè)面向大模型使用者的全面、客觀、真實(shí)的信息匯總、AI評(píng)測(cè)及API服務(wù)智能路由平臺(tái)。

AI Ping平臺(tái)具備三大核心優(yōu)勢(shì)。第一是信息匯總，AI Ping目前已接入30家服務(wù)商和600多個(gè)大模型API服務(wù)，用戶可以非常方便地選擇、對(duì)比和使用不同的大模型及服務(wù)商。第二，AI Ping對(duì)這些大模型API服務(wù)進(jìn)行7×24小時(shí)不間斷評(píng)測(cè)，真實(shí)反映各項(xiàng)服務(wù)指標(biāo)的長(zhǎng)期表現(xiàn)。第三，AI Ping通過(guò)智能路由，根據(jù)用戶需求動(dòng)態(tài)調(diào)用最合適的大模型API服務(wù)。

目前，AI Ping已全面聚合主流的大模型及服務(wù)商。在模型方面，AI Ping已接入600多個(gè)大模型服務(wù)，涵蓋文本、圖片、視頻等多種模態(tài)，以及開(kāi)源與閉源模型，主流模型在AI Ping上基本均可找到。同時(shí)，平臺(tái)還接入了30多家服務(wù)商，不僅包括大家熟知的頭部云廠商，也囊括了一些知名度相對(duì)較低、但擁有高質(zhì)量與高性價(jià)比服務(wù)的服務(wù)商。

在接入這些服務(wù)商的大模型API服務(wù)后，AI Ping對(duì)它們進(jìn)行了科學(xué)的長(zhǎng)期評(píng)測(cè)。我們的評(píng)測(cè)具有以下特點(diǎn)。

首先，我們從真實(shí)用戶視角出發(fā)，對(duì)這些大模型API服務(wù)進(jìn)行端到端測(cè)試。許多服務(wù)商在宣傳時(shí)會(huì)強(qiáng)調(diào)自己擁有龐大的算力集群和強(qiáng)大的并發(fā)性能，但用戶對(duì)此并不十分在意，因?yàn)檫@些資源并非為單一用戶服務(wù)。用戶真正關(guān)心的是自己實(shí)際獲得了怎樣的端到端服務(wù)質(zhì)量。AI Ping以用戶身份進(jìn)行端到端評(píng)測(cè)，這樣的評(píng)測(cè)結(jié)果對(duì)用戶而言更具參考價(jià)值。

其次，針對(duì)同一模型的不同服務(wù)商，我們?cè)谕惠啘y(cè)試中使用相同的輸入prompt和參數(shù)，并在同一時(shí)間段內(nèi)進(jìn)行測(cè)試，以保證公平性。同時(shí)，為避免緩存帶來(lái)的影響，不同輪次測(cè)試之間的輸入prompt會(huì)動(dòng)態(tài)變化。此外，我們并非進(jìn)行一次性跑分測(cè)試，而是7×24小時(shí)持續(xù)監(jiān)測(cè)，并采用北京、上海、深圳、成都等多地服務(wù)器進(jìn)行分布式測(cè)試。

為了驗(yàn)證評(píng)測(cè)的準(zhǔn)確性，我們還與提供后臺(tái)監(jiān)控?cái)?shù)據(jù)的互聯(lián)網(wǎng)云廠商進(jìn)行了交叉驗(yàn)證。一些服務(wù)商也反饋認(rèn)為我們的評(píng)測(cè)結(jié)果準(zhǔn)確，并據(jù)此督促自己的Infra團(tuán)隊(duì)提升性能，這些都能說(shuō)明我們的評(píng)測(cè)具有較高的準(zhǔn)確性。

在我們的網(wǎng)站首頁(yè)，會(huì)展示多個(gè)熱門(mén)模型下各服務(wù)商的吞吐-延遲坐標(biāo)圖。該坐標(biāo)圖匯總了近7天的數(shù)據(jù)，并每日更新。圖中每個(gè)點(diǎn)代表一個(gè)服務(wù)商的延遲與吞吐性能：橫軸為吞吐，越靠右側(cè)表示吞吐越高；縱軸為延遲，越靠上側(cè)表示延遲越低。位于圖中右上區(qū)域的，即是該模型下低延遲、高吞吐的服務(wù)商。

在每個(gè)模型的詳情頁(yè)面下方，我們還會(huì)匯總各個(gè)服務(wù)商在七天內(nèi)評(píng)測(cè)指標(biāo)隨時(shí)間變化的波動(dòng)圖。數(shù)據(jù)每六小時(shí)更新一次，用戶可以非常清晰地觀察到不同服務(wù)商在不同時(shí)間段的服務(wù)指標(biāo)表現(xiàn)。

針對(duì)用戶關(guān)心的大模型服務(wù)指標(biāo)，AI Ping進(jìn)行了全面匯總。對(duì)于上下文長(zhǎng)度、最大輸入輸出長(zhǎng)度、價(jià)格等基本指標(biāo)，服務(wù)商通常會(huì)提供，但有時(shí)存在誤差，AI Ping對(duì)此類(lèi)指標(biāo)進(jìn)行了全面評(píng)測(cè)并加以匯總。而對(duì)于延遲、吞吐、可靠性、模型精度等指標(biāo)，服務(wù)商基本不予提供，AI Ping同樣進(jìn)行了全面評(píng)測(cè)和匯總。

在每個(gè)模型的詳情界面，用戶可以看到類(lèi)似示例表格的服務(wù)指標(biāo)信息匯總，內(nèi)容涵蓋上述各項(xiàng)指標(biāo)，清晰展示各服務(wù)商的大模型API服務(wù)信息與評(píng)測(cè)數(shù)據(jù)。

同時(shí)，AI Ping還提供了篩選與排序功能，以滿足用戶的特定需求。例如，用戶可以篩選指定價(jià)格范圍內(nèi)的所有服務(wù)商，并將其按照輸出吞吐從高到低排序。借助這些評(píng)測(cè)信息，用戶能夠方便地選擇合適的模型與服務(wù)商。

那么，如何進(jìn)一步幫助用戶省去繁瑣的選型步驟？這就要依靠AI Ping的智能路由功能。

如果固定選擇一家服務(wù)商，很難長(zhǎng)期獲得最高性價(jià)比的服務(wù)，因?yàn)槿魏我患曳?wù)商的服務(wù)質(zhì)量都會(huì)隨時(shí)間變化。它當(dāng)前可能滿足用戶對(duì)延遲、吞吐等指標(biāo)的要求，但過(guò)一段時(shí)間就可能不再滿足。同時(shí)，請(qǐng)求失敗、長(zhǎng)時(shí)間排隊(duì)、未知錯(cuò)誤等情況也會(huì)影響用戶獲得的服務(wù)質(zhì)量。因此，AI Ping為用戶提供了服務(wù)路由功能，幫助用戶將請(qǐng)求發(fā)送給當(dāng)前最能滿足其需求的、性價(jià)比最高的服務(wù)商。

AI Ping根據(jù)服務(wù)商的實(shí)時(shí)評(píng)測(cè)和指標(biāo)收集進(jìn)行建模，并通過(guò)路由算法，將每一條請(qǐng)求動(dòng)態(tài)分配給穩(wěn)定、高性能、高性價(jià)比的服務(wù)商，從而減少服務(wù)波動(dòng)和請(qǐng)求失敗，提升用戶體驗(yàn)。在智能路由這一環(huán)節(jié)，我們投入了大量的工程工作，克服了諸多難題。數(shù)十家供應(yīng)商、數(shù)百個(gè)API服務(wù)，接口不一致、錯(cuò)誤表現(xiàn)不一致、未知錯(cuò)誤五花八門(mén)，但這些最終都在智能路由層被屏蔽掉。我們希望將復(fù)雜的工程問(wèn)題交由AI Ping解決，把穩(wěn)定可靠的體驗(yàn)、低門(mén)檻的使用方式以及高性價(jià)比的服務(wù)，真正帶給AI Ping的用戶。

使用智能路由的方法也十分簡(jiǎn)便。在AI Ping網(wǎng)站的每個(gè)模型詳情界面中，用戶可以描述自己對(duì)大模型服務(wù)指標(biāo)的具體需求，并選擇相應(yīng)的服務(wù)路由策略。例如，要求服務(wù)延遲在3秒以內(nèi)、吞吐達(dá)到40TPS以上，同時(shí)選擇成本優(yōu)先的路由策略。網(wǎng)頁(yè)會(huì)自動(dòng)生成一段描述該指標(biāo)需求及路由策略的代碼，用戶將代碼拷貝到自己的項(xiàng)目中并調(diào)用AI Ping，即可便捷地使用AI Ping的服務(wù)路由功能。

以上是AI Ping智能路由在高可用性和高性價(jià)比方面的效果展示。在性價(jià)比方面，AI Ping提供了多種路由策略供用戶選擇，包括默認(rèn)策略、成本優(yōu)先策略和性能優(yōu)先策略，我們最為推薦的是默認(rèn)策略。使用服務(wù)路由后，相較于直接調(diào)用模型原廠的大模型API服務(wù)，用戶平均成本降低37%以上，吞吐量提升90%以上，延遲降低20%以上。

以上是我們對(duì)中國(guó)Token行業(yè)現(xiàn)狀的觀察以及對(duì)AI Ping產(chǎn)品的介紹。歡迎大家今后在使用AI、使用Token時(shí)，來(lái)AI Ping查閱評(píng)測(cè)結(jié)果并使用路由功能。也請(qǐng)大家關(guān)注清程極智公眾號(hào)，及時(shí)了解AI Ping及其他清程極智產(chǎn)品的最新進(jìn)展。謝謝大家！