“選擇悖論”正在AI模型與算力世界里上演。

作者丨趙之齊

編輯丨包永剛

北京一月的初雪落下前，我們?cè)谇迦A見(jiàn)到了翟季冬教授。他手持保溫杯，說(shuō)話很利落，即便一邊思考一邊敘述，言辭間也幾乎沒(méi)有停頓、沒(méi)有模糊地帶。

這位曾帶隊(duì)拿下15次世界超算冠軍的清華計(jì)算機(jī)系長(zhǎng)聘教授，此刻正在拆解一個(gè)行業(yè)怪象：為什么在大模型參數(shù)狂飆、算力價(jià)格下探的當(dāng)下，用戶的AI落地負(fù)擔(dān)卻越來(lái)越重？

他指出，如今Benchmark（基準(zhǔn)測(cè)試）上的高分，在比對(duì)用戶真實(shí)需求時(shí)不一定管用，有時(shí)，同個(gè)模型在不同MaaS平臺(tái)上跑出來(lái)的效果可能差異巨大，因?yàn)椴糠址?wù)商為了降低成本，會(huì)對(duì)模型進(jìn)行“閹割級(jí)”量化。而面對(duì)眼花繚亂的MaaS供應(yīng)商，用戶要在性能、價(jià)格與穩(wěn)定性之間做取舍，往往光調(diào)研一輪市場(chǎng)報(bào)價(jià)，就已耗盡精力。

“把選型的主動(dòng)權(quán)完全交給用戶，其實(shí)是很大的挑戰(zhàn)”， 翟季冬直言。這種“選擇悖論”不僅折磨著開(kāi)發(fā)者，更在吞噬企業(yè)的利潤(rùn)——對(duì)于企業(yè)來(lái)說(shuō)，降本增效的核心可能并非追求最頂尖的模型，而是如何調(diào)度能力恰當(dāng)?shù)哪Ｐ?，讓昂貴的大模型處理復(fù)雜指令，讓輕量的小模型應(yīng)付日常任務(wù)。

洞察到這一痛點(diǎn)后，由翟季冬的幾位畢業(yè)學(xué)生發(fā)起的AI Infra廠商——清程極智，開(kāi)發(fā)出智能路由產(chǎn)品AI Ping（AI 評(píng)），希望成為算力界的“大眾點(diǎn)評(píng)”。

他們將分散的性能數(shù)據(jù)系統(tǒng)性整理，并收集用戶的使用習(xí)慣，公開(kāi)不同模型與供應(yīng)商的測(cè)評(píng)數(shù)據(jù)，并給用戶推薦合適的、高性價(jià)比方案。翟季冬認(rèn)為，這種產(chǎn)品形態(tài)，有助于撬動(dòng)算力行業(yè)的馬太效應(yīng)——他相信，當(dāng)數(shù)據(jù)越集中，模型的選擇就越精準(zhǔn)；選擇越精準(zhǔn)，用戶需要付出的成本就越低。

翟季冬

與我們交流時(shí)，盡管判斷明確，翟季冬說(shuō)話時(shí)的語(yǔ)氣卻始終都是溫和的。他走進(jìn)會(huì)議室時(shí)，手上拎著提前為我們備好的飲用水；對(duì)話結(jié)束后，還為北京凜冽的寒潮給我們來(lái)訪帶來(lái)的困擾而“致歉”。待人的認(rèn)真，也換來(lái)了學(xué)生們的真心相待——在許多博士生習(xí)慣將導(dǎo)師稱為“老板”的當(dāng)下，他的博士生們?nèi)詧?jiān)持稱呼他為“老師”。

這份溫和的師者風(fēng)范背后，是他對(duì)算力行業(yè)叢林法則的洞察。當(dāng)大模型從實(shí)驗(yàn)室走向萬(wàn)千企業(yè)，性能數(shù)據(jù)與用戶體驗(yàn)之間的信息差該如何填平？在國(guó)內(nèi)“重硬輕軟”的ToB市場(chǎng)中，AI Infra團(tuán)隊(duì)又應(yīng)該如何定位自己的存在？（關(guān)于AI Infra生存路徑的探討，歡迎添加作者微信Ericazhao23交流）

這些問(wèn)題的答案，都藏在他的娓娓道來(lái)里。

01
模型選型的隱形賬本：

位置、定價(jià)與被閹割的精度

更多的自由和選擇，并不意味著更大的幸福，有限且可比較的選項(xiàng)，反而能提升決策效率與滿意度——這一“選擇悖論”，正在AI模型與算力的世界里上演。

大模型井噴式發(fā)展，每個(gè)人手里都握著好幾款“AI助手”。但翟季冬捕捉到一個(gè)痛點(diǎn)：現(xiàn)在很多用戶上網(wǎng)挑選模型，能參考的只有很標(biāo)準(zhǔn)的Benchmark（基準(zhǔn)測(cè)試），不少人直接沖著跑分最高的模型去——但最牛的不一定是最合適的。他直言：“模型刷了多少分，并不一定能匹配用戶的真實(shí)需求?！?/p>

究其原因，除了純粹的性能，還有很多因素會(huì)影響模型使用體驗(yàn)。

供給側(cè)上，各家模型供應(yīng)商的服務(wù)響應(yīng)效果有所差別。以DeepSeek-v3.2模型為例，翟季冬團(tuán)隊(duì)調(diào)研發(fā)現(xiàn)，國(guó)內(nèi)提供這一API服務(wù)的廠商就有幾十家，但他們的API服務(wù)吞吐卻覆蓋從15~200 token/s，相差10倍以上；而其支持的輸入輸出長(zhǎng)度，也從8k~160k不等，相差了20倍。

用戶對(duì)此其實(shí)早有體感：去年初DeepSeek爆火后，一眾服務(wù)商紛紛接入其API，很多人用過(guò)一輪后卻發(fā)現(xiàn)，同樣調(diào)用DeepSeek模型、問(wèn)出相同問(wèn)題，不同供應(yīng)商的輸出效果卻天差地別。

答案很快浮出水面：即便接入同個(gè)模型，有的廠商會(huì)對(duì)模型做激進(jìn)的量化處理，例如從FP8變成INT4，輸出的表現(xiàn)自然隨之改變。

連服務(wù)商的算力部署位置，也會(huì)左右模型的調(diào)用體驗(yàn)：同款模型，如果用戶在北京調(diào)用，MaaS提供方在上?；蛏钲?，體驗(yàn)都會(huì)有很大差異。

此外，各玩家定價(jià)策略各異，不同階段的促銷活動(dòng)還會(huì)導(dǎo)致成本相差甚遠(yuǎn)。

但用戶的需求本身就是多維度的：有的更看重性價(jià)比，有的追求穩(wěn)定性，有的則更在意響應(yīng)速度。而不同的任務(wù)場(chǎng)景，也對(duì)應(yīng)著不同的大模型最優(yōu)解——

對(duì)于需求是“寫(xiě)小說(shuō)”的用戶，模型擅長(zhǎng)寫(xiě)調(diào)研報(bào)告的能力就毫無(wú)意義；而日常查天氣、問(wèn)穿搭，一個(gè)輕量級(jí)的小模型也足夠用；可要是解一道復(fù)雜的科學(xué)難題，就得大參數(shù)的模型出馬。

“把選型的主動(dòng)權(quán)完全交給用戶，其實(shí)是很大的挑戰(zhàn)”，翟季冬指出。雖然對(duì)個(gè)人免費(fèi)用戶而言影響可能甚微，但對(duì)企業(yè)級(jí)用戶來(lái)說(shuō)，會(huì)直接引發(fā)巨大的成本鴻溝：

同樣的預(yù)算，調(diào)用大模型可能僅能支持十萬(wàn)次請(qǐng)求，換成小模型卻能達(dá)到百萬(wàn)次量級(jí)。

理想的情況是：如果能對(duì)需求做精細(xì)化拆分，讓復(fù)雜問(wèn)題匹配大模型、簡(jiǎn)單問(wèn)題對(duì)接小模型，就能實(shí)現(xiàn)算力成本的最優(yōu)解。

而這些，都是翟季冬和清程極智團(tuán)隊(duì)想解決的問(wèn)題。

02
做算力界的“大眾點(diǎn)評(píng)”，

終結(jié)大模型選型亂象

瞄準(zhǔn)這些行業(yè)痛點(diǎn)，清程極智團(tuán)隊(duì)打造出智能路由產(chǎn)品AI Ping（AI評(píng)）。

“AI評(píng)的‘評(píng)’，就是評(píng)測(cè)，清程對(duì)國(guó)內(nèi)MaaS供應(yīng)商持續(xù)測(cè)試——既測(cè)同款模型在不同廠商手中的延遲、帶寬表現(xiàn)，也對(duì)比不同模型在各家平臺(tái)的吞吐效率與價(jià)格成本差異”，翟季冬介紹說(shuō)。

拆解來(lái)看，智能路由的能力分為兩層：一是服務(wù)商路由，在眾多API服務(wù)提供者中選擇最佳的服務(wù)；二是模型路由，在眾多大模型中選擇最佳的模型。

回顧技術(shù)的研發(fā)，翟季冬感慨，服務(wù)商路由的搭建不算是最難的事，真正難啃的硬骨頭，是如何為用戶精準(zhǔn)匹配模型。

“要給企業(yè)的問(wèn)題精準(zhǔn)匹配模型，前提是積累他們的海量歷史數(shù)據(jù)”，但在初期，數(shù)據(jù)儲(chǔ)備往往不足、用戶行為畫(huà)像模糊，模型的精準(zhǔn)選擇很難。

這個(gè)難點(diǎn)，在AI Ping的目標(biāo)市場(chǎng)——個(gè)人開(kāi)發(fā)者和中小企業(yè)這個(gè)群體里，被進(jìn)一步放大：

AI Ping團(tuán)隊(duì)發(fā)現(xiàn)，這類用戶對(duì)產(chǎn)品質(zhì)量的要求幾乎是要“超出預(yù)期”，八十分的水準(zhǔn)，在他們眼里幾乎等同于不合格，這讓產(chǎn)品打磨的難度陡增。

因此，在起初的冷啟動(dòng)階段，團(tuán)隊(duì)選擇用“笨辦法”突圍：一邊給供應(yīng)商測(cè)試大量數(shù)據(jù)，用Benchmark測(cè)試準(zhǔn)確性、延遲帶寬、價(jià)格；一邊聯(lián)合上下游企業(yè)拓展市場(chǎng)，在真實(shí)場(chǎng)景中積累用戶、沉淀數(shù)據(jù)。

解決了這個(gè)問(wèn)題，另一重考驗(yàn)隨即出現(xiàn)：面對(duì)企業(yè)的高吞吐剛需，單一供應(yīng)商的算力儲(chǔ)備往往難以滿足。這就對(duì)平臺(tái)提出了兩大要求——強(qiáng)大的算力整合能力，以及國(guó)產(chǎn)算力接入通道的打通能力。

對(duì)此，清程極智就在AI Infra上做了大量工作，把“赤兔”推理引擎與AI Ping對(duì)接，完成了算力資源的整合調(diào)度。

截圖來(lái)自AI Ping網(wǎng)站

在翟季冬看來(lái)，AI Ping很像算力行業(yè)的“大眾點(diǎn)評(píng)”，給用戶打造一套垂直領(lǐng)域的解決方案。

這本質(zhì)上也是一種團(tuán)購(gòu)邏輯：聚合海量用戶需求后，清程極智能以更大的體量與算力廠商議價(jià)。畢竟，大模型選型的核心命題，始終是成本與效率的平衡。

“這本身也會(huì)形成一種馬太效應(yīng)”，翟季冬指出，“聚合的用戶越多、收集的數(shù)據(jù)越豐富，模型匹配的精準(zhǔn)度就越高；既能幫助用戶省去更多錢，也能幫算力廠商盤活資源，我們的軟件能力也能借此賦能”。

從2025年春夏之交籌備至今，歷時(shí)近一年，AI Ping終于迎來(lái)了正式面市的時(shí)刻。

這種中立的評(píng)測(cè)甚至成了行業(yè)“裁判”：硅基流動(dòng)創(chuàng)始人袁進(jìn)輝此前在朋友圈提及，有的用戶分不清其基于國(guó)產(chǎn)卡的非pro版與基于國(guó)際算力的Pro版的指標(biāo)差異，于是直接拋出AI Ping的測(cè)評(píng)結(jié)果作佐證。

“可以去這個(gè)網(wǎng)站看各項(xiàng)指標(biāo)，很靠譜”，袁進(jìn)輝這樣寫(xiě)道。

來(lái)自同行的反饋，已側(cè)面印證出AI Ping作為風(fēng)向標(biāo)的價(jià)值。不過(guò)，一個(gè)更現(xiàn)實(shí)的問(wèn)題也隨之浮現(xiàn)：對(duì)于清程極智而言，如何把這種數(shù)據(jù)影響力在商業(yè)上變現(xiàn)？

03
AI Ping商業(yè)解法：整機(jī)與算力雙管齊下

對(duì)話剛開(kāi)場(chǎng)，被問(wèn)及“如今Infra行業(yè)的普遍焦慮是什么”時(shí)，翟季冬的回應(yīng)直指核心：

“怎么讓國(guó)內(nèi)AI Infra賺到更多錢？”

在他看來(lái)，商業(yè)化的核心邏輯正在逐漸明晰：算力需求是一個(gè)非常真實(shí)的市場(chǎng)，怎么通過(guò)服務(wù)軟件把算力有效整合提供給用戶，會(huì)是AI Infra行業(yè)未來(lái)的重要發(fā)展方向。

這一判斷，也支撐起了清程極智的產(chǎn)品布局——大模型訓(xùn)練智能軟件?！鞍素誀t”、被譽(yù)為國(guó)產(chǎn)算力部署神器的“赤兔”大模型推理引擎和一站式大模型API評(píng)測(cè)和調(diào)用平臺(tái)AI Ping，本質(zhì)上都是底層算力到用戶端的一個(gè)個(gè)“出口”。其中，AI Ping便通過(guò)整合模型和供應(yīng)商，把軟件能力賦能到算力上，給用戶提供token和算力。

這也是清程在這兩年沉淀出來(lái)的解法。

翟季冬評(píng)論道，清程極智的核心競(jìng)爭(zhēng)力是中間軟件層，包括編譯、通信庫(kù)、并行加速等技術(shù)，基于此，他們逐漸找到了自己的定位：和芯片廠商合作，做其系統(tǒng)軟件之上增量的部分，讓大模型在這些芯片上發(fā)揮出極致的效率。

圍繞這一定位，清程也在探索多種不同的商業(yè)化路徑：

一方面，將軟件與硬件打包為整機(jī)服務(wù)，針對(duì)“買了國(guó)產(chǎn)卡卻難落地”的痛點(diǎn)，讓裸機(jī)用戶也能做訓(xùn)練與微調(diào)；另一方面，是通過(guò)AI Ping等平臺(tái)與算力廠商合作，提升國(guó)產(chǎn)算力的易用性。

而在最近與國(guó)產(chǎn)芯片公司的廠商交流中，翟季冬也感受到，大家對(duì)軟硬件高效協(xié)同的重要性已形成共識(shí)，“剩下的問(wèn)題，無(wú)非就是這些軟件由誰(shuí)去做”。

清程極智聯(lián)合創(chuàng)始人師天麾，也觀察到了這種行業(yè)認(rèn)知的轉(zhuǎn)變。他此前向雷峰網(wǎng)表示：

“DeepSeek能用極少的算力卡和極低的成本，訓(xùn)練出如此大規(guī)模的模型，主要依靠的是模型架構(gòu)設(shè)計(jì)和Infra軟件技術(shù)，尤其是他們把大量算力加速類Infra軟件開(kāi)源后，大家才真正意識(shí)到Infra的重要性?！?/p>

一個(gè)顯著標(biāo)識(shí)是，以前他還需要和投資人解釋什么是Infra，進(jìn)入2025年之后，這一步已經(jīng)可以省略了。

但在當(dāng)下，行業(yè)內(nèi)也流傳著一種擔(dān)憂：

“AI Infra的價(jià)值，只存在于國(guó)產(chǎn)算力群雄逐鹿階段，一旦算力架構(gòu)定型、大模型技術(shù)收斂，Infra的必要性也會(huì)大打折扣?！?/p>

這也是擺在所有Infra從業(yè)者面前共同的問(wèn)題：下一個(gè)能證明自己價(jià)值的“地盤”會(huì)在哪里？未來(lái)如果國(guó)產(chǎn)算力逐漸同構(gòu)，AI Infra還有存在的必要嗎？

04
Infra的生命力：

架構(gòu)演進(jìn)不止，軟件迭代不息

此前，AI Infra已在架構(gòu)適配、算子生成、并行通信等領(lǐng)域初試鋒芒，不過(guò)，這遠(yuǎn)非終點(diǎn)。

在翟季冬看來(lái)，Infra的生命力源于底層架構(gòu)與上層軟件的雙重迭代：“只要模型還在演進(jìn)、算力架構(gòu)還在融合發(fā)展，Infra的需求就會(huì)持續(xù)存在”。

他指出，即便是英偉達(dá)的CUDA生態(tài)，底層芯片同構(gòu)，但由于模型側(cè)還沒(méi)有完全收斂，推理、后訓(xùn)練的復(fù)雜度仍在提升：

文生圖、文生視頻等多模態(tài)模型還在興起，即將推出的DeepSeek V4，還將引入更多稀疏性相關(guān)的技術(shù)難題；AI for Science、AI for Engineering等新的應(yīng)用領(lǐng)域迸發(fā)，也在倒逼AI Infra的底層需求發(fā)生變革。

同時(shí)，國(guó)內(nèi)算力不僅廠商多，各自的架構(gòu)也并不統(tǒng)一，這更決定了AI Infra的不可替代性。

翟季冬分析，海外算力市場(chǎng)的架構(gòu)相對(duì)統(tǒng)一：英偉達(dá)與AMD占主導(dǎo)地位，二者的GPU架構(gòu)均屬于SIMT（單指令多線程），有很強(qiáng)的相似性。

反觀國(guó)內(nèi)，有的廠商選擇對(duì)標(biāo)英偉達(dá)的SIMT架構(gòu)，有的則主攻SIMD（單指令流多數(shù)據(jù)流）架構(gòu)。

并且，在這幾年里，這兩種架構(gòu)并非一方絕對(duì)壓倒另一方：很多芯片廠商如今都在走架構(gòu)融合的路線，通過(guò)取長(zhǎng)補(bǔ)短提升性能，比如華為，開(kāi)始在SIMD架構(gòu)里融入SIMT的設(shè)計(jì)思路；英偉達(dá)則正好相反。

在此基礎(chǔ)上，即便已有比較成熟的Infra項(xiàng)目，例如開(kāi)源圈里炙手可熱的Triton——這款由OpenAI為英偉達(dá)芯片開(kāi)發(fā)的算子生成工具，在適配不同架構(gòu)的國(guó)產(chǎn)芯片時(shí)，也必須經(jīng)過(guò)大量本土化改造。

而未來(lái)，隨著推理場(chǎng)景的全面爆發(fā)，AI Infra還將迎來(lái)新一輪的挑戰(zhàn)。

翟季冬直言，行業(yè)現(xiàn)在普遍面臨一個(gè)痛點(diǎn)：芯片的峰值算力與實(shí)際利用率之間存在巨大鴻溝。一塊標(biāo)稱300TFLOPS算力的芯片，在大模型訓(xùn)練或推理中，實(shí)際利用率往往只有10%-20%；即便是英偉達(dá)這樣的巨頭，預(yù)訓(xùn)練場(chǎng)景下的算力利用率也僅能達(dá)到50%上下。

進(jìn)入推理階段后，文字、圖像、視頻等不同任務(wù)的算力需求差異顯著，再加上對(duì)時(shí)延的極高要求，如何針對(duì)不同推理場(chǎng)景實(shí)現(xiàn)硬件性能的最大化釋放，將是AI Infra未來(lái)的核心攻堅(jiān)方向。

除了這些看得見(jiàn)的產(chǎn)業(yè)機(jī)遇，翟季冬還在默默探索那些“冷賽道”，比如AI for Science等短期內(nèi)難見(jiàn)商業(yè)價(jià)值、但對(duì)科技發(fā)展至關(guān)重要的領(lǐng)域。

他還與我們分享了一段近期的交流經(jīng)歷：一位歸國(guó)的天文系老師告訴他，射電望遠(yuǎn)鏡每天都會(huì)產(chǎn)生海量觀測(cè)數(shù)據(jù)，他們需要高效的解決方案，來(lái)完成數(shù)據(jù)的實(shí)時(shí)處理與算法分析——這無(wú)疑對(duì)AI Infra的軟硬件協(xié)同能力，提出了更高的要求。

這些眼下難見(jiàn)回報(bào)的探索，正藏著AI Infra的本真價(jià)值。在翟季冬眼中，這也是Infra行業(yè)可以穿越周期、走向未來(lái)的底氣。

作者長(zhǎng)期關(guān)注AI算力上下游等方向，歡迎添加微信Ericazhao23交流。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。