北京2025年12月25日/美通社/ -- 當前全球AI產(chǎn)業(yè)已從模型性能競賽邁入智能體規(guī)?；涞氐?生死競速"階段，"降本" 不再是可選優(yōu)化項，而是決定AI企業(yè)能否盈利、行業(yè)能否突破的核心命脈。在此大背景下，浪潮信息推出元腦HC1000超擴展AI服務器，將推理成本首次擊穿至1元/每百萬token。這一突破不僅有望打通智能體產(chǎn)業(yè)化落地"最后一公里"的成本障礙，更將重塑AI產(chǎn)業(yè)競爭的底層邏輯。

浪潮信息首席AI戰(zhàn)略官劉軍強調(diào)，當前1元/每百萬token的成本突破僅是階段性勝利，面對未來token消耗量指數(shù)級增長、復雜任務token需求激增數(shù)十倍的必然趨勢，現(xiàn)有成本水平仍難支撐AI的普惠落地。未來，AI要真正成為如同 "水電煤" 般的基礎資源，token成本必須在現(xiàn)有基礎上實現(xiàn)數(shù)量級跨越，成本能力將從"核心競爭力"進一步升級為"生存入場券"，直接決定AI企業(yè)在智能體時代的生死存亡。

浪潮信息首席AI戰(zhàn)略官劉軍

智能體時代，token成本就是競爭力

回顧互聯(lián)網(wǎng)發(fā)展史，基礎設施的"提速降費"是行業(yè)繁榮的重要基石。從撥號上網(wǎng)以Kb計費，到光纖入戶后百兆帶寬成為標配，再到4G/5G時代數(shù)據(jù)流量成本趨近于零——每一次通信成本的顯著降低，都推動了如視頻流媒體、移動支付等全新應用生態(tài)的爆發(fā)。

當前的AI時代也處于相似的臨界點，當技術進步促使token單價下滑之后，企業(yè)得以大規(guī)模地將AI應用于更復雜、更耗能的場景，如從早期的簡短問答，到如今支持超長上下文、具備多步規(guī)劃與反思能力的智能體……這也導致單任務對token的需求已呈指數(shù)級增長。如果token成本下降的速度跟不上消耗量的指數(shù)增長，企業(yè)將面臨更高的費用投入。這昭示著經(jīng)濟學中著名的"杰文斯悖論"正在token經(jīng)濟中完美重演。

來自多方的數(shù)據(jù)也有力佐證了token消耗量的指數(shù)級增長趨勢?；鹕揭孀钚屡兜臄?shù)據(jù)顯示，截至今年12月，字節(jié)跳動旗下豆包大模型日均token使用量突破50萬億，較去年同期增長超過10倍，相比2024年5月剛推出時的日均調(diào)用量增長達417倍；谷歌在10月披露，其各平臺每月處理的token用量已達1300萬億，相當于日均43.3萬億，而一年前月均僅為9.7萬億。

谷歌公布其token處理量變化

當使用量達到"百萬億token/月"的量級時，哪怕每百萬token成本只下降1美元，也可能帶來每月1億美元的成本差異。劉軍認為："token成本就是競爭力，它直接決定了智能體的盈利能力。要讓AI真正進入規(guī)?；栈蓦A段，token成本必須在現(xiàn)有基礎上繼續(xù)實現(xiàn)數(shù)量級的下降。"

深挖token成本"暗箱"：架構不匹配是核心瓶頸

當下，全球大模型競賽從"盲目堆算力"轉向"追求單位算力產(chǎn)出價值"的新階段。單位算力產(chǎn)出價值受到能源價格、硬件采購成本、算法優(yōu)化、運營成本等多種因素的影響，但不可否認的是，現(xiàn)階段token成本80%以上依然來自算力支出，而阻礙成本下降的核心矛盾，在于推理負載與訓練負載截然不同，沿用舊架構會導致算力、顯存與網(wǎng)絡資源難以同時最優(yōu)，造成嚴重的"高配低效"。

一是算力利用率（MFU）的嚴重倒掛。訓練階段MFU可達50%以上，但在推理階段，特別是對于追求低延遲的實時交互任務，由于token的自回歸解碼特性，在每一輪計算中，硬件必須加載全部的模型參數(shù)，卻只為了計算一個token的輸出，導致昂貴的GPU大部分時間在等待數(shù)據(jù)搬運，實際MFU往往僅為5%-10%。這種巨大的算力閑置是成本高企的結構性根源。

二是"存儲墻"瓶頸在推理場景下被放大。在大模型推理中，隨著上下文長度的增加，KV Cache呈指數(shù)級增長。這不僅占用了大量的顯存空間，還導致了由于訪存密集帶來的高功耗。這種存算分離不僅帶來數(shù)據(jù)遷移功耗和延遲，還必須配合使用價格高昂的HBM，已經(jīng)成為阻礙token成本下降的重要瓶頸。

三是網(wǎng)絡通信與橫向擴展代價愈發(fā)高昂。當模型規(guī)模突破單機承載能力時，跨節(jié)點通信成為新瓶頸。傳統(tǒng)RoCE或InfiniBand網(wǎng)絡的延遲遠高于芯片內(nèi)部的總線延遲，通信開銷可能占據(jù)總推理時間的30%以上，導致企業(yè)被迫通過堆砌更多資源來維持響應速度，推高了總擁有成本（TCO）。

對此，劉軍指出，降低token成本的核心不是"把一臺機器做得更全"，而是圍繞目標重構系統(tǒng)：把推理流程拆得更細，支持P/D分離、A/F分離、KV并行、細粒度專家拆分等計算策略，讓不同計算模塊在不同卡上按需配置并發(fā)，把每張卡的負載打滿，讓"卡時成本"更低、讓"卡時產(chǎn)出"更高。

基于全新超擴展架構，元腦HC1000實現(xiàn)推理成本首次擊破1元/每百萬token

當前主流大模型的token成本依然高昂。以輸出百萬token為例，Claude、Grok等模型的價格普遍在10-15美元，國內(nèi)大模型雖然相對便宜，也多在10元以上。在天文數(shù)字級別的調(diào)用量下，如此高的token成本讓大規(guī)模商業(yè)化應用面臨嚴峻的ROI挑戰(zhàn)。要打破成本僵局，必須從計算架構層面進行根本性重構，從而大幅提升單位算力的產(chǎn)出效率。

主流LLM的百萬token價格 (注：9月26日(AICC2025大會當日)數(shù)據(jù)，9月29日DeepSeek發(fā)布V3.2 Exp價格降為3元/每百萬Token)

為此，浪潮信息推出元腦HC1000超擴展AI服務器。該產(chǎn)品基于全新設計的全對稱DirectCom極速架構，采用無損超擴展設計，可高效聚合海量本土AI芯片，支持極大推理吞吐量，推理成本首次擊破1元/每百萬token，為智能體突破token成本瓶頸提供極致性能的創(chuàng)新算力系統(tǒng)。

元腦HC1000超擴展AI服務器

劉軍表示："我們看到原來的AI計算是瞄著大而全去建設的，五臟俱全，各種各樣的東西都在里面。但是當我們聚焦降低token成本這一核心目標之后，我們重新思考系統(tǒng)架構設計，找到系統(tǒng)瓶頸，重構出一個極簡設計的系統(tǒng)。"

元腦HC1000創(chuàng)新設計了DirectCom極速架構，每計算模組配置16顆AIPU，采用直達通信設計，解決傳統(tǒng)架構的協(xié)議轉換和帶寬爭搶問題，實現(xiàn)超低延遲；計算通信1:1均衡配比，實現(xiàn)全局無阻塞通信；全對稱的系統(tǒng)拓撲設計，可以支持靈活的PD分離、AF分離方案，按需配置計算實例，最大化資源利用率。

全對稱DirectCom極速架構

同時，元腦HC1000支持超大規(guī)模無損擴展，DirectCom架構保障了計算和通信均衡，通過算網(wǎng)深度協(xié)同、全域無損技術實現(xiàn)推理性能1.75倍提升，并且通過對大模型的計算流程細分和模型結構解耦，實現(xiàn)計算負載的靈活按需配比，單卡MFU最高可提升5.7倍。

超大規(guī)模無損擴展

此外，元腦HC1000通過自適應路由和智能擁塞控制算法，提供數(shù)據(jù)包級動態(tài)負載均衡，實現(xiàn)KV Cache傳輸和All to All通信流量的智能調(diào)度，將KV Cache傳輸對Prefill、Decode計算實例影響降低5-10倍。

劉軍強調(diào)，當前"1元/每百萬token"還遠遠不夠，面對未來token消耗量的指數(shù)級增長，若要實現(xiàn)單token成本的持續(xù)、數(shù)量級下降，需要推動計算架構的根本性革新。這也要求整個AI產(chǎn)業(yè)的產(chǎn)品技術創(chuàng)新，要從當前的規(guī)模導向轉為效率導向，從根本上重新思考和設計AI計算系統(tǒng)，發(fā)展AI專用計算架構，探索開發(fā)大模型芯片，推動算法硬件化的專用計算架構創(chuàng)新，實現(xiàn)軟硬件深度優(yōu)化，這將是未來的發(fā)展方向。