2025年12月12-13日，第八屆GAIR全球人工智能與機器人大會在深圳·博林天瑞喜來登酒店正式啟幕。

作為AI產(chǎn)學研投界的標桿盛會，GAIR自2016年創(chuàng)辦以來，始終堅守“傳承+創(chuàng)新”內(nèi)核，始終致力于連接技術(shù)前沿與產(chǎn)業(yè)實踐。

在人工智能逐步成為國家競爭核心變量的當下，算力正以前所未有的速度重塑技術(shù)路徑與產(chǎn)業(yè)結(jié)構(gòu)。13日舉辦的“AI算力新十年”專場聚焦智能體系的底層核心——算力，從架構(gòu)演進、生態(tài)構(gòu)建到產(chǎn)業(yè)化落地展開系統(tǒng)討論，試圖為未來十年的中國AI產(chǎn)業(yè)，厘清關(guān)鍵變量與發(fā)展方向。

在大會上，清程極智聯(lián)合創(chuàng)始人、產(chǎn)品副總裁師天麾，帶來了題為《智能算力的適配、優(yōu)化和服務(wù)》的主題演講。

在國產(chǎn)算力從“能用”走向“好用”的關(guān)鍵階段，AI Infra正從幕后走到臺前。

師天麾給出的判斷頗為直接：國產(chǎn)算力利用率的瓶頸，更多在于軟件生態(tài)與系統(tǒng)級優(yōu)化能力。

無論是圍繞國產(chǎn)芯片的全棧推理引擎自研、通過純軟件方式提前跑通FP4等低精度路線，還是在MaaS（模型即服務(wù)）市場中用評測、路由與統(tǒng)一接口“消除信息差”，師天麾試圖回答的，都是同一個問題——

在芯片多元、成本高企的現(xiàn)實約束下，AI Infra如何真正跑通性能、成本與商業(yè)化的閉環(huán)？

演講之外，他也在與雷峰網(wǎng)的對談中，進一步拆解了自己為何選擇從學術(shù)界直接創(chuàng)業(yè)，以及第三方AI Infra公司在芯片廠商與云廠商之間，究竟能站在哪個位置上。（作者長期關(guān)注半導體、算力上下游等方向，歡迎添加微信 Ericazhao23 交流。）

對話：MaaS性能每通過推理引擎提升一點，廠商就能多掙點錢

雷峰網(wǎng)：您之前曾拿過大廠的offer但還是想直接出來創(chuàng)業(yè)，做出這步?jīng)Q策的邏輯是什么？

師天麾：我讀博期間發(fā)論文還比較順利，但一直在思考一個問題：做這東西到底有什么用？直到后來螞蟻研究院和我們合作，把我論文的技術(shù)用到金融風控場景里，實實在在提升了不少性能，我就感覺很有成就感。

所以我想把研究成果真正落地，看看自己到底能創(chuàng)造什么價值，就在畢業(yè)后來到工業(yè)界。

但為什么不去大廠？我和其他博士同學聊過，感覺進大廠后就變成了螺絲釘，我能預想到我面對的應(yīng)該是很純粹的技術(shù)身份，沒法去lead產(chǎn)品的事情。雖然我也想過去大廠里鍛煉兩三年再出來，但當時已經(jīng)明顯感覺到，AI已經(jīng)到了必須降本增效的關(guān)鍵節(jié)點，所以我和組里的老師和師兄弟商量后，感覺機會不錯，就直接出來創(chuàng)業(yè)了。

雷峰網(wǎng)：創(chuàng)業(yè)的這個方向讓你有passion的是什么部分？

師天麾：我2015年上大學，當時比較火的還是上一代Deep learning，CV（計算機視覺）和NLP（自然語言處理），大一暑假去了家自動駕駛公司，實習CV類算法，但感覺不是我的興趣所在。

在學校學習下來，我感覺計算機系統(tǒng)類的課，比如計算機組成原理、體系結(jié)構(gòu)、并行計算、高性能計算等，這些通過理解硬件、理解上層應(yīng)用來把中間軟件的性能寫得很高的事情，帶給我的成就感很大。

雷峰網(wǎng)：什么時候感覺到大家開始重視AI Infra？

師天麾：一個很重要的節(jié)點是DeepSeek的出現(xiàn)，當時很多外國人驚呼DeepSeek用這么少的卡、這么少的錢就訓練出這么大一個模型，但這靠的一是模型架構(gòu)上的設(shè)計，二是Infra軟件技術(shù)。后來DeepSeek還搞了“開源周”，開源了很多infra加速軟件，讓大家更意識到infra的重要性。

一個明顯變化是，去年我們還要給投資人解釋AI Infra是什么，但今年投資人會主動來找我們投資。

雷峰網(wǎng)：但國內(nèi)市場普遍一直以來沒有特別重視軟件，這種情況現(xiàn)在會有改善嗎？作為第三方獨立的Infra廠商，會不會擔心未來芯片公司自己做這一層、取代了你們在做的事？

師天麾：其實市場一直以來重視硬件的慣性還是在的。芯片廠商也需要一個推理引擎適配自己的芯片來提供給客戶，所以他們自己也會做軟件。不過我們和芯片公司各有所長，我們在軟件優(yōu)化方面有更多積累，所以芯片公司也會來找我們合作，我們從各自擅長的角度來做軟硬件聯(lián)合優(yōu)化。

其實并不能沒有第三方公司來做這件事，比如大一點的國央企，會買多家廠商的芯片， 那么要用誰的軟件？而且大家做的都是調(diào)用DeepSeek大模型這件事，不同芯片跑各自的軟件，之后的管理和優(yōu)化都會非常費勁。

雷峰網(wǎng)：但現(xiàn)在市場上這么多家AI infra，大家在商業(yè)化上難度如何？

師天麾：私有化部署的利潤還可以，但MaaS上，前兩年Infra怎么幫用戶提升性能、怎么掙錢， 這個通路沒有跑很順，所以商業(yè)化會比較難。但現(xiàn)在非常順暢，因為MaaS的性能每通過推理引擎提升一點、就能多掙點錢，用我們的推理引擎能掙更多錢，那自然就愿意花錢。

雷峰網(wǎng)：所以MaaS產(chǎn)品未來發(fā)展的趨勢會是什么樣的？

師天麾：今年MaaS市場增長很快，但MaaS這個形式非常講究優(yōu)化技術(shù)，比如現(xiàn)在的PD分離或大EP并行，對機器規(guī)模有一定要求，不是一兩臺機器就能做。

我非常看好這個模式，這個市場非常標準，而且AIGC的創(chuàng)作者或者AI應(yīng)用的開發(fā)者能非常低門檻低成本用起來。所以未來MaaS就變成一個卷性能和卷價格的機會，這是很好的機會和云廠商合作。而且要把MaaS價格打下來就需要大規(guī)模優(yōu)化，清程極智又很擅長大規(guī)模的優(yōu)化。

MaaS的盈利很看技術(shù)。因為省去了中間環(huán)節(jié)，利潤損耗比較少，技術(shù)就更重要了。

雷峰網(wǎng)：看到你們的軟件已經(jīng)能幫助實現(xiàn)全平臺FP4精度，做這個適配花了多久？

師天麾：適配到全平臺FP4精度，其實在今年還做了蠻久的，因為FP4比較涉及芯片底層偏指令的領(lǐng)域，要每家單獨適配，而且要有合適的人才。

演講全文

以下是師天麾演講的精彩內(nèi)容，雷峰網(wǎng)作了不改變原意的整理與編輯：

謝謝主持人，各位專家、各位嘉賓，大家下午好！今天我演講的題目是《智能算力的適配、優(yōu)化與服務(wù)》。

首先簡單介紹下清程極智，我們是一家初創(chuàng)企業(yè)、是清華系的AI Infra公司。清程極智成立于2023年底，目前我們的技術(shù)棧，主要是整個AI軟件棧，從底層編譯器一直到上層的并行計算，我們在這方面有比較多積累，幫助客戶優(yōu)化他們場景里的訓練、推理、微調(diào)，做端到端的性能優(yōu)化，給客戶降本增效。目前，我們已經(jīng)完成了三輪融資，股東包括產(chǎn)業(yè)方，比如剛剛演講的并行科技，還有很多北京市和上海市的國資。

首先介紹下我們今年主推的產(chǎn)品——赤兔推理引擎。

M×N困局：國產(chǎn)芯片生態(tài)繞不開的系統(tǒng)難題

大家經(jīng)常說，國產(chǎn)算力的利用率偏低，為什么？暫且不說國產(chǎn)算力的性能或性價比高低，現(xiàn)在最主要的問題是客戶用不起來，而問題的根源，就是配套軟件不好用。

我經(jīng)常跟客戶強調(diào)：你采購的是硬件，但真正用的是軟件，可軟件是看不見、摸不著的存在，也很難讓管理層明白價值。用戶在使用中遇到問題，大家就歸結(jié)為“硬件不行”，卻忽略了軟件棧不完善這個核心癥結(jié)。我們正在做的，就是補齊軟件生態(tài)這塊短板。

目前大家使用較多的軟件是國外的開源推理引擎，但它們對國產(chǎn)芯片的支持力度有限，我們?nèi)绾尾拍茏寚a(chǎn)推理芯片用得更簡單、更高效？

答案的第一步，就是必須要有專屬的推理引擎——它的作用，就好比手機和電腦里的操作系統(tǒng)，是連接AI應(yīng)用與底層芯片的核心橋梁。那么這個關(guān)鍵問題該如何破解？

當前行業(yè)的現(xiàn)狀是，各家芯片廠商都在自行適配推理引擎：先做vLLM的適配版，再做SGLang的適配版，最后可能還要研發(fā)自研推理引擎。但實際情況是，即便不同廠商都聲稱適配了 vLLM 或 SGLang，彼此的適配版本、支持功能和接口卻并非完全一致。也就是說，看似同名的適配方案，并不是一套通用軟件就能兼容所有顯卡。

這給用戶帶來了很大挑戰(zhàn)：不少國央企客戶會采購多家廠商的芯片，結(jié)果就需要不同軟件分別對接不同顯卡，后續(xù)的開發(fā)維護難度就很大。而我們自研的赤兔推理引擎，既能很好地適配海外顯卡，更能兼容國產(chǎn)芯片——像華為、沐曦、海光、燧原等主流產(chǎn)品都能無縫對接，極大降低了客戶的使用門檻。

不過，適配眾多芯片的過程中，會遇到一個系統(tǒng)領(lǐng)域比較經(jīng)典的“M×N”的問題：底層有N款不同的芯片，上層有M個不同的大模型，如果要在N款芯片上把M個模型性能都跑出極致，就要完成M×N次的組合優(yōu)化，工作量非常大。而AI Infra領(lǐng)域的門檻又很高，沒有那么多人才來完成這么多大工作量的適配和優(yōu)化。如何破局？就要站在巨人的肩膀上。

過去數(shù)年，PyTorch在開源生態(tài)的建設(shè)上成效顯著。目前，一方面，顯卡廠商會默認適配PyTorch的算子集；另一方面，絕大多數(shù)上層大模型本身就是基于PyTorch框架開發(fā)的。只要把這兩層的適配工作做好，就能讓大模型順暢地跑起來。但 “能跑” 只是起點，要實現(xiàn)極致性價比，還需要在推理引擎上做深度優(yōu)化——我們的赤兔推理引擎，正是構(gòu)建在PyTorch算子集之上的高性能方案。

也經(jīng)常有人問，為什么不直接用vLLM或SGLang，或者稍微改一改？

基于現(xiàn)有方案雖也算是一條技術(shù)路徑，但可優(yōu)化的空間有限。這類系統(tǒng)的架構(gòu)分為多層：底層有算子層，上層還疊加了各類優(yōu)化方案。如果僅對底層算子層做優(yōu)化且保持底層接口不變，系統(tǒng)仍能與開源生態(tài)兼容；可一旦改動上層優(yōu)化邏輯，而開源社區(qū)同步更新了對應(yīng)模塊，兩者可能再難兼容。

面對這種沖突，那么要么放棄自研的上層優(yōu)化策略，要么徹底脫離開源社區(qū)的技術(shù)迭代路線。而且，從vLLM、SGLang這類主流框架分叉出獨立的技術(shù)分支，后續(xù)的維護和迭代也會極為龐雜，技術(shù)包袱會越來越重。這正是我們選擇全棧自研的核心原因。

與此同時，當前算力成本很高，要實現(xiàn)極致的性價比，必須打通底層硬件、算子層、推理引擎、上層算法與應(yīng)用的全鏈路，通過端到端的系統(tǒng)級聯(lián)合優(yōu)化，才能達成最優(yōu)效果。我們提出的跨多層聯(lián)合優(yōu)化方案，但只有基于自研推理引擎才能更高效地落地，它更靈活，能支撐全鏈路協(xié)同優(yōu)化。

接下來給大家介紹赤兔推理引擎的最新進展。我們昨天剛剛發(fā)布了0.5版本，這個版本帶來了多項核心特性，算力超節(jié)點上提供開箱即用的大規(guī)模推理部署能力，包括超大規(guī)模專家并行、PD分離、AF分離等關(guān)鍵能力。值得關(guān)注的是，針對前段時間備受行業(yè)關(guān)注的華為384超節(jié)點方案，我們已完成深度適配與性能優(yōu)化，并同步在昨天正式發(fā)布相關(guān)支持能力。

赤兔推理引擎擁有一項核心技術(shù)特色。今年 DeepSeek 模型的爆火，讓大家注意到它的原生數(shù)據(jù)格式是 FP8，但目前大部分國產(chǎn)顯卡并不支持FP8格式，僅能兼容int8或FP16。這就給客戶帶來了兩難選擇：如果用FP16運行，會導致顯存占用翻倍，需要投入雙倍的機器成本，性價比極低；如果改用int8，整數(shù)格式又會犧牲浮點數(shù)的精度，影響模型效果。而從行業(yè)趨勢來看，大模型正朝著低位寬浮點數(shù)的方向演進，國內(nèi)目前不僅缺乏對FP8的完善支持，F(xiàn)P4的適配更是遙遙無期。

我們的解決方案是通過純軟件技術(shù)突破硬件限制——即便底層硬件不支持，我們也能讓FP4和FP8格式順暢運行，把未來幾年才可能普及的特性提前落地，并且已在多款國產(chǎn)顯卡上完成適配。具體來說，我們通過底層指令轉(zhuǎn)化技術(shù)實現(xiàn)這一突破：在靠近指令集內(nèi)層的底層接口做適配，計算時為保證精度轉(zhuǎn)成FP16處理，存儲時則采用FP8格式，既兼顧了效果又控制了顯存占用。FP4的適配邏輯與此一致，目前已支持英偉達、昇騰、海光、沐曦等多款硬件平臺。我們在DeepSeek-R1上的測試也印證了技術(shù)方向的正確性：不同精度格式的效果排序為FP8>FP4>INT8>INT4，這充分說明FP4這類低位寬浮點數(shù)格式確實是大模型發(fā)展的主流趨勢。

MaaS市場紛繁復雜，如何消除信息差？

解決了國產(chǎn)算力“能用”和“用好”的問題，更要思考如何實現(xiàn)商業(yè)價值。為此我們推出了另一款產(chǎn)品 ——AI Ping，這是一個一站式大模型服務(wù)評測與API調(diào)用平臺。剛才有領(lǐng)導提到了MaaS（模型即服務(wù)），而AI Ping正是對MaaS模式的落地實踐：

它的成本和使用門檻極低，單次API調(diào)用費用甚至不到一分錢，不會編程也能輕松上手；同時實現(xiàn)了快速迭代、開箱即用，用戶完全不用關(guān)心服務(wù)部署在國產(chǎn)顯卡還是英偉達顯卡上，更無需了解底層技術(shù)實現(xiàn)細節(jié)。而且依托背后的大規(guī)模集群與資源池，它的擴展性和并發(fā)支持能力極強，應(yīng)用開發(fā)者只需聚焦自身業(yè)務(wù)與AI功能開發(fā)，無需分心底層運維。

今年國務(wù)院發(fā)布的《關(guān)于深入實施 “人工智能 +” 行動的意見》中，特別強調(diào)了要打造MaaS生態(tài)；IDC去年曾預測今年市場增長率會達到100%，當時我就覺得這個預測偏保守，果然前不久最新數(shù)據(jù)顯示，今年上半年中國MaaS市場增長率已經(jīng)超過400%，不少頭部云廠商甚至提前完成了年度目標。

中國其實具備發(fā)展MaaS產(chǎn)業(yè)的很好土壤。從供給側(cè)看，我們擁有全球最繁榮的開源模型生態(tài)，只要有服務(wù)器就能部署熱門模型，同時AI算力近年來爆發(fā)式增長，各類智算中心提供了充足的基礎(chǔ)設(shè)施支撐；從需求側(cè)講，MaaS的低成本、低門檻優(yōu)勢，讓企業(yè)開發(fā)者能快速看到落地效果，個人開發(fā)者則無需承擔高昂的服務(wù)器租賃成本，科研人員和普通消費者也能輕松享受到AI服務(wù)?，F(xiàn)在很多To C端的聊天、翻譯軟件，本身集成了AI功能卻沒有底層服務(wù)能力，用戶只需在MaaS平臺注冊賬號，把API接入這些應(yīng)用，就能直接使用賬號余額消費，這種模式已經(jīng)被大量To C應(yīng)用采用。

但不可否認的是，MaaS產(chǎn)業(yè)還處于起步階段。結(jié)合我們的實踐觀察，當前中國MaaS行業(yè)的痛點主要有什么？

首先，在供給側(cè)，現(xiàn)在有很多指標來判斷服務(wù)的優(yōu)劣，在延遲、吞吐、可靠性、輸入/輸出價格、上下文長度、最大可輸出長度等這些指標上，大家各具特色。以幾家最知名的互聯(lián)網(wǎng)云廠商和電信運營商舉例，在相同模型以及價格相同的情況下，模型效果和價格一樣，性能（吞吐、延遲）卻可以差5倍。無論對企業(yè)還是個人來說，都不可能挨個試所有供應(yīng)商的服務(wù)，這中間是存在信息差的。

需求側(cè)，大家的需求也不一樣，企業(yè)可能想要延遲低一點，用戶體驗好；個人可能希望價格便宜一點，性能差不多就可以；對科研人員來說，有經(jīng)費，但希望模型非常豐富，更快用到最新的模型；普通消費者則更關(guān)注體驗、功能、成本等方面。

供給側(cè)和需求側(cè)都各異，那用戶應(yīng)該找誰家來用？如何對齊供需？對此，我們推出了AI Ping，測試市面上能見到、接入的所有MaaS廠商。

首先，我們的評測完全站在用戶視角展開，采用匿名端到端測試模式。市面上有些測試聚焦于集群規(guī)模，但對個人用戶而言，他們對MaaS廠商宣稱的龐大集群、服務(wù)器數(shù)量和并發(fā)能力并不感冒——畢竟這些資源并非為單個用戶獨享。我們更關(guān)注的是，個體客戶能從平臺切實獲取到怎樣的性能，真正以真實客戶的需求為核心開展評測。

其次，我們的評測覆蓋范圍極廣，目前已接入29家MaaS廠商，整合了400余項MaaS服務(wù)，力求實現(xiàn)應(yīng)接盡接。第三，我們執(zhí)行7×24小時不間斷評測，持續(xù)監(jiān)控各模型的性能、吞吐、可靠性等核心指標；信息聚合的維度也十分全面，除了性能指標外，價格、上下文長度、最大可輸出長度等開發(fā)者重點關(guān)注的參數(shù)，我們也都在AI Ping進行了匯總。

AI Ping的評測方法也非?？煽?，我們與清華大學進行了合作，依托翟季冬教授團隊多年來評測中國超算中心的豐富經(jīng)驗，由其提供一套成熟可靠的評測方法論，我們負責完成工程化落地和技術(shù)支持。

關(guān)于評測數(shù)據(jù)的準確性，我們也做了交叉驗證：選取部分自帶后臺性能監(jiān)控的云廠商，將我們的評測結(jié)果與其監(jiān)控數(shù)據(jù)比對，顯示吞吐指標的平均誤差在 0.2% 以內(nèi)，精準度極高。P90 首次延遲穩(wěn)定在 0.8 秒以內(nèi)，處于合理區(qū)間。需要說明的是，我們統(tǒng)計的是端到端延遲，而云廠商的監(jiān)控數(shù)據(jù)不包含網(wǎng)絡(luò)傳輸時間，綜合來看，我們的性能測試結(jié)果具備高度準確性與可信度。

我們還會在官網(wǎng)首頁每天更新模型的排名。如果部分客戶有特殊要求，比如希望首次延遲在5秒以內(nèi)、輸出吞吐在40TPS以上，那就可以直接使用我們的篩選和排序功能，快速找到符合要求的供應(yīng)商。

“路由”功能告別MaaS供應(yīng)商選型困境

積累了大量評測數(shù)據(jù)后，我們還思考如何為用戶提供更深入、更優(yōu)質(zhì)的服務(wù)?；蛟S你看過評測后，會選定某一家供應(yīng)商，但單獨選擇一家供應(yīng)商其實存在不少問題。

首先，是性價比難以穩(wěn)定。供應(yīng)商的性能會出現(xiàn)波動，但價格通常不會輕易變動，除非遇到用戶活動才會調(diào)整，這就導致性價比始終處于波動狀態(tài)，單家供應(yīng)商很難一直保持最高性價比。

其次，服務(wù)穩(wěn)定性缺乏保障。比如今年年初大家使用DeepSeek模型時，就經(jīng)常遇到服務(wù)拒絕請求的情況，根源在于用戶量過大，后臺支撐不足；除此之外，服務(wù)器繁忙、網(wǎng)絡(luò)抖動、系統(tǒng)宕機甚至服務(wù)突然下架等問題，都會嚴重影響用戶使用。

同時，更換供應(yīng)商的過程也十分繁瑣。每換一家供應(yīng)商，都需要重新注冊、認證、充值；即便是同一個模型，在不同供應(yīng)商平臺的接口、支持的參數(shù)以及返回的錯誤碼都各不相同。例如同樣是并發(fā)上限、服務(wù)繁忙、參數(shù)錯誤這類問題，不同供應(yīng)商返回的錯誤碼卻不一樣，用戶不得不重新對接API、修改錯誤處理代碼。這類工程問題非常棘手，是程序員們普遍反感的麻煩事。

因此，在評測和數(shù)據(jù)展示功能之外，我們額外開發(fā)了供應(yīng)商路由功能。我們會提供統(tǒng)一的接口，比如你要使用DeepSeek模型，只需接入我們這一個接口，就能直接調(diào)用背后20多家供應(yīng)商的資源，大幅節(jié)省適配成本。無論是開源模型還是閉源模型，我們都會全面接入用戶基本能找到所有需要的模型；如果有模型尚未上架，用戶隨時提出需求，我們會第一時間完成上架。

這個功能還具備高可用性：當某一家供應(yīng)商出現(xiàn)繁忙、宕機或服務(wù)報錯時，系統(tǒng)會自動將請求切換至其他供應(yīng)商。同時，我們會提供高性價比推薦服務(wù)，用戶可以根據(jù)自身需求選擇“成本優(yōu)先”或“性能優(yōu)先”，系統(tǒng)會篩選出符合條件的供應(yīng)商。而且所有數(shù)據(jù)完全透明，性能表現(xiàn)、Token消耗以及產(chǎn)生的費用，都會在后臺實時反饋。根據(jù)過往數(shù)據(jù)，這個功能最多能幫助用戶降低50%的成本，同時延遲和吞吐指標也有明顯優(yōu)化。

今年清華大學聯(lián)合中國軟件評測中心發(fā)布“2025大模型服務(wù)性能排行榜”，將我們在市面上找到的20多家供應(yīng)商的熱門模型服務(wù)全部比了一遍，由第三方機構(gòu)發(fā)榜，我們提供工程實現(xiàn)、數(shù)據(jù)評測與展示平臺。

歡迎大家關(guān)注我們的公眾號或加入用戶交流群，也可以看看我們的官網(wǎng)。每次新模型發(fā)布，我們的公眾號上會在最快時間發(fā)布新模型的解讀，以及有哪些供應(yīng)商上架、性能情況，我們都會發(fā)布排行榜，幫助用戶進行選型。

謝謝大家，也謝謝大家關(guān)注清程極智。