国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

算力通脹終結(jié)者!憑一招把大模型Token成本砍到1/2

0
分享至

如果在兩年前問一家大模型公司最需要什么?答案是“有沒有卡”。但如果今天再問同樣的問題,答案也許會(huì)變成“好不好用”。



算力通脹之下

都用不起了

“我們正在制造大量的垃圾算力?!?/p>

一位負(fù)責(zé)大模型訓(xùn)練集群的架構(gòu)師曾這樣抱怨。他的焦慮并不是沒有風(fēng)聲。過去十年是算力野蠻增長(zhǎng)的十年,規(guī)模的快速擴(kuò)張確實(shí)帶來了階段性的產(chǎn)業(yè)繁榮。但繁榮背后,是難以忽視的效率困局。

為了追趕GPT-4乃至GPT-5的能力,國內(nèi)企業(yè)陷入了一場(chǎng)瘋狂的參數(shù)競(jìng)賽。數(shù)以萬計(jì)的GPU被高度集成化塞進(jìn)數(shù)據(jù)中心,它們?nèi)找罐Z鳴,但產(chǎn)出的智能效益卻并未如預(yù)期般線性增長(zhǎng)。

這是一種典型的“算力通脹”。行業(yè)習(xí)慣用芯片的理論峰值(Peak Performance)來衡量?jī)r(jià)值,但在現(xiàn)實(shí)的復(fù)雜的訓(xùn)練任務(wù)中,這些昂貴的芯片往往“有力使不出”。

數(shù)據(jù)顯示,在許多大規(guī)模訓(xùn)練集群中,算力的有效利用率(MFU)僅能維持在40%左右,而在推理場(chǎng)景下,大量的算力更是處于閑置狀態(tài),利用率甚至不足20%。

算法迭代與硬件僵化之間的錯(cuò)位也在加劇這種浪費(fèi),模型架構(gòu)每六個(gè)月就發(fā)生一次巨變,從Transformer到MoE,再到各種稀疏化注意力機(jī)制,而硬件研發(fā)周期長(zhǎng)達(dá)兩年以上。

大量針對(duì)上一代模型優(yōu)化的專用芯片,在交付的那一刻即面臨淘汰。這種“刻舟求劍”式的硬件設(shè)計(jì)模式,讓原本就昂貴的算力折舊變得更加迅速。

在上述背景下,天數(shù)智芯此次發(fā)布的戰(zhàn)略,似乎是有意在回答這個(gè)行業(yè)痛點(diǎn)。他們不再單純強(qiáng)調(diào)單一芯片的峰值參數(shù),而是開始談?wù)摗案哔|(zhì)量算力”。



尋找算力的“有效匯率”

什么是“高質(zhì)量算力”?天數(shù)智芯對(duì)此的定義是:高效率、可預(yù)期、可持續(xù)。

在1月26日的發(fā)布會(huì)上,AI與加速計(jì)算技術(shù)負(fù)責(zé)人單天逸展示了一張略顯復(fù)雜的架構(gòu)路線圖。與以往發(fā)布會(huì)只盯著TFLOPS(每秒浮點(diǎn)運(yùn)算次數(shù))數(shù)值不同,這次他們花了大量篇幅講“利用率”和“兼容性”。



天數(shù)智芯給出的架構(gòu)路線圖:2025年的天數(shù)天樞架構(gòu),超越英偉達(dá)Hopper,重點(diǎn)解決多精度混合訓(xùn)練的效率;2026年天數(shù)天璇、天數(shù)天璣實(shí)現(xiàn)對(duì)標(biāo)和超越英偉達(dá)Blackwell;而計(jì)劃于2027年面世的天數(shù)天權(quán),則將矛頭直指英偉達(dá)下一代旗艦架構(gòu)Rubin。

這不是一紙空談,而是現(xiàn)實(shí)中已經(jīng)部分實(shí)現(xiàn)的作戰(zhàn)計(jì)劃:2025年推出的天數(shù)天樞架構(gòu),通過TPC BroadCast(計(jì)算組廣播機(jī)制)Instruction Co-Exec(多指令并行處理系統(tǒng))Dynamic Warp Scheduling(動(dòng)態(tài)線程組調(diào)度系統(tǒng))等自研核心技術(shù),調(diào)用了每一比特算力,實(shí)現(xiàn)算力效率較行業(yè)平均提升60%,在DeepSeek V3場(chǎng)景性能比英偉達(dá)Hopper架構(gòu)高20%。



同樣的“精打細(xì)算”也延伸到了對(duì)存儲(chǔ)成本的控制上。面對(duì)DDR存儲(chǔ)價(jià)格高企給AI推理環(huán)節(jié)帶來的顯著壓力,天數(shù)智芯給出了一套“軟硬兼施”的解法:底層依靠kv cache(關(guān)鍵值緩存)量化與無損反量化技術(shù),將模型推理的實(shí)際內(nèi)存占用直接削減50%以上,從根本上降低對(duì)昂貴存儲(chǔ)資源的依賴;上層則利用自研的IX-SIMU軟件系統(tǒng),像精算師一樣實(shí)時(shí)追蹤存儲(chǔ)市場(chǎng)價(jià)格,為客戶推算出性價(jià)比最高的硬件組合。在波動(dòng)的市場(chǎng)中鎖定“性能與成本最優(yōu)解”的能力,是其技術(shù)護(hù)城河的另一塊拼圖。



把云端折疊進(jìn)方寸之間

隨著物理A的“ChatGPT 時(shí)刻”到來,這一能實(shí)現(xiàn)物理世界“感知-推理-行動(dòng)”閉環(huán)的技術(shù),成為AI突破數(shù)字邊界的新方向,推動(dòng)智能從虛擬走向現(xiàn)實(shí)。

這次發(fā)布會(huì)上,最讓現(xiàn)場(chǎng)觀眾感到意外的,不是巨大的服務(wù)器機(jī)柜,而是一系列可以塞進(jìn)衣服口袋的小盒子。

天數(shù)智芯副總裁郭為從兜里掏出了那塊名為“彤央TY1000”的算力模組。這個(gè)僅有手掌大小的模塊,采用了699pin接口,卻擁有媲美云端級(jí)別的大算力。



尺寸的縮小之外,算力形態(tài)的下沉是重中之重。彤央系列包括了集成ARM v9 12核CPU的TY1100,以及被戲稱為“小鋼炮”的TY1100_NX,還有算力高達(dá)300TOPS的TY1200。這些名字聽起來有些枯燥的硬件,實(shí)則承載了國產(chǎn)GPU突圍的另一條路徑:走出恒溫恒濕的數(shù)據(jù)中心,進(jìn)入物理世界。

天數(shù)智芯給出的對(duì)比數(shù)據(jù)頗具一較高下的火藥味:在近期火爆的DeepSeek 32B大語言模型以及計(jì)算機(jī)視覺場(chǎng)景下,彤央TY1000的實(shí)測(cè)性能全面優(yōu)于英偉達(dá)的AGX Orin。特別是在自然語言處理上,它讓邊緣設(shè)備不拘泥于執(zhí)行預(yù)設(shè)指令,變成了能理解復(fù)雜邏輯的智能體。

在過去,具身智能(EmbodiedAI)和工業(yè)機(jī)器人往往受限于端側(cè)算力的貧乏,只能執(zhí)行簡(jiǎn)單的預(yù)設(shè)指令。而現(xiàn)在,隨著端側(cè)算力達(dá)到300TOPS級(jí)別,大模型開始真正有機(jī)會(huì)住進(jìn)機(jī)器人的身體里。從智慧門店到車路協(xié)同,從軌道交通到工業(yè)制造,算力的觸角正在無限延伸。



算力困局:

卡越堆越多,錢越燒越快

對(duì)于互聯(lián)網(wǎng)大廠和創(chuàng)業(yè)公司來說,每一秒鐘的生成都在燃燒經(jīng)費(fèi)?!癆I應(yīng)用現(xiàn)在已經(jīng)普及了,Chatbot、文生圖大家每天都在用。但行業(yè)真正的瓶頸只有一個(gè):Token成本太高?!碧鞌?shù)智芯副總裁鄒翾一針見血地指出了問題的核心。

鄒翾分享的一組數(shù)據(jù)引起了在場(chǎng)的全體注意。在某頭部互聯(lián)網(wǎng)客戶的Chatbot場(chǎng)景中,天數(shù)智芯的單機(jī)性能比國際方案提升了一倍以上,而每Token的成本下降了二分之一。

這意味著,同樣的預(yù)算,企業(yè)可以服務(wù)兩倍的用戶,或者讓模型思考得更久一點(diǎn)。

除了成本,另一個(gè)阻礙國產(chǎn)GPU普及的攔路虎是“遷移門檻”。長(zhǎng)久以來,CUDA生態(tài)構(gòu)建的高墻讓無數(shù)開發(fā)者望而卻步。天數(shù)智芯沒有選擇硬碰硬地去推翻現(xiàn)有生態(tài),而是選擇了“兼容”與“好用”。通過提供與xLLM等主流框架兼容的接口,客戶只需花費(fèi)其他產(chǎn)品1/3的精力即可完成開發(fā)調(diào)優(yōu)。

“好用”的哲學(xué)也延伸到了科研領(lǐng)域。從基因分析到海洋地質(zhì)勘探,科學(xué)家們不再需要成為硬件工程師。天數(shù)智芯幫助研究人員從繁復(fù)的底層調(diào)試中解放出來,專注于科學(xué)發(fā)現(xiàn)本身。

在金融領(lǐng)域,研報(bào)生成效率提升70%;在醫(yī)療領(lǐng)域,結(jié)構(gòu)化病歷生成縮短至30秒。這些數(shù)字的背后,是算力真正轉(zhuǎn)化為生產(chǎn)力的過程。

2026年,對(duì)于中國GPU行業(yè)注定是不平凡的一年。

隨著天數(shù)智芯在香港鳴鑼,國產(chǎn)通用GPU四小龍已集齊IPO。但上市從來不是終點(diǎn),而是更為殘酷的淘汰賽的起點(diǎn)。

資本市場(chǎng)不會(huì)永遠(yuǎn)為“國產(chǎn)替代”的情懷買單,也不會(huì)一直容忍巨額的研發(fā)虧損。投資人最終關(guān)心的,是有多少客戶真的把業(yè)務(wù)跑在了芯片上,商業(yè)化的成長(zhǎng)是否可以持續(xù)。

天數(shù)智芯交出的答卷是300多家行業(yè)客戶與1000多次實(shí)際部署,是數(shù)千卡集群穩(wěn)定運(yùn)行超1000天,是瑞幸數(shù)千家門店的智能運(yùn)營、太平金科信貸風(fēng)控的提效,以及視源科技打造的數(shù)萬間智慧課堂,這些真實(shí)的業(yè)務(wù)負(fù)載,共同構(gòu)成了招股書中的底色。



而在算力生態(tài)的主動(dòng)建設(shè)上,天數(shù)聯(lián)手了多家硬件廠商和解決方案提供商,目標(biāo)是讓千行百業(yè)以更高性能、更便捷方式使用AI,實(shí)現(xiàn)算力普惠。

在這場(chǎng)漫長(zhǎng)的算力馬拉松中,領(lǐng)跑者或許會(huì)換了一波又一波。但可以確定的是,那個(gè)靠堆砌參數(shù)、講故事就能融資的草莽時(shí)代,已經(jīng)徹底結(jié)束了。接下來的競(jìng)爭(zhēng),將屬于那些真正能讓客戶好用的企業(yè)。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
哈梅內(nèi)伊真死了,二兒子掌控軍隊(duì),三兒子掌控政府,大兒子消失了

哈梅內(nèi)伊真死了,二兒子掌控軍隊(duì),三兒子掌控政府,大兒子消失了

智慧天氣通
2026-03-06 18:35:55
熱點(diǎn)城市聚焦:突發(fā)!上海樓市一夜大漲!

熱點(diǎn)城市聚焦:突發(fā)!上海樓市一夜大漲!

靚仔情感
2026-03-09 09:33:02
國際奧委會(huì):就算侵略伊朗,也不會(huì)禁止美國和以色列參加奧運(yùn)會(huì)

國際奧委會(huì):就算侵略伊朗,也不會(huì)禁止美國和以色列參加奧運(yùn)會(huì)

我心縱橫天地間
2026-03-04 20:06:26
中國女足3連勝晉級(jí)!媒體人熱議:米帥闖過第1關(guān),晉級(jí)世界杯在望

中國女足3連勝晉級(jí)!媒體人熱議:米帥闖過第1關(guān),晉級(jí)世界杯在望

奧拜爾
2026-03-09 19:14:24
山東省退休人員迎來3個(gè)好消息!涉及養(yǎng)老金、醫(yī)保待遇、喪葬費(fèi)!

山東省退休人員迎來3個(gè)好消息!涉及養(yǎng)老金、醫(yī)保待遇、喪葬費(fèi)!

虎哥閑聊
2026-03-09 15:25:12
特朗普:“適當(dāng)時(shí)機(jī)”結(jié)束對(duì)伊軍事行動(dòng),何時(shí)結(jié)束將與內(nèi)塔尼亞胡共同決定

特朗普:“適當(dāng)時(shí)機(jī)”結(jié)束對(duì)伊軍事行動(dòng),何時(shí)結(jié)束將與內(nèi)塔尼亞胡共同決定

大象新聞
2026-03-09 11:49:06
A股:不用等周二開盤了,市場(chǎng)動(dòng)向已明顯,明天將毫無懸念!

A股:不用等周二開盤了,市場(chǎng)動(dòng)向已明顯,明天將毫無懸念!

財(cái)經(jīng)大拿
2026-03-09 14:01:27
電訊報(bào):熱刺計(jì)劃今夏大換血并愿意賣羅梅羅,估價(jià)超6000萬鎊

電訊報(bào):熱刺計(jì)劃今夏大換血并愿意賣羅梅羅,估價(jià)超6000萬鎊

懂球帝
2026-03-10 04:25:37
7億王者級(jí)肉簽發(fā)行申購,中簽難,股民中到即賺到!

7億王者級(jí)肉簽發(fā)行申購,中簽難,股民中到即賺到!

數(shù)據(jù)挖掘分析
2026-03-09 09:01:01
仗才打了一周了,特朗普就發(fā)現(xiàn),中國對(duì)美國的重要性正在急劇上升

仗才打了一周了,特朗普就發(fā)現(xiàn),中國對(duì)美國的重要性正在急劇上升

安安說
2026-03-09 11:11:21
農(nóng)村開始“翻舊賬”了!村村全覆蓋,這3類人躲都躲不掉

農(nóng)村開始“翻舊賬”了!村村全覆蓋,這3類人躲都躲不掉

三農(nóng)雷哥
2026-03-08 20:45:46
史詩狂怒行動(dòng)第二階段:地下戰(zhàn)爭(zhēng)

史詩狂怒行動(dòng)第二階段:地下戰(zhàn)爭(zhēng)

南文視界
2026-03-08 22:59:27
黨史上最復(fù)雜離奇的懸案,足足困擾毛主席18年之久!究竟有何隱情

黨史上最復(fù)雜離奇的懸案,足足困擾毛主席18年之久!究竟有何隱情

貓眼觀史
2024-09-30 16:20:26
幾百名癌癥科專家已證實(shí):吸煙和肺癌的關(guān)系,最好花點(diǎn)時(shí)間看看

幾百名癌癥科專家已證實(shí):吸煙和肺癌的關(guān)系,最好花點(diǎn)時(shí)間看看

九哥聊軍事
2026-02-03 19:49:59
美媒感慨:若不是中國還在反抗特朗普,幾乎全世界都向他投降了

美媒感慨:若不是中國還在反抗特朗普,幾乎全世界都向他投降了

薦史
2026-03-09 22:48:36
特朗普:對(duì)伊朗新任最高領(lǐng)袖感到“不高興”!伊朗武裝部隊(duì):將在最高領(lǐng)袖領(lǐng)導(dǎo)下戰(zhàn)斗到最后一刻!伊朗總統(tǒng)表態(tài)

特朗普:對(duì)伊朗新任最高領(lǐng)袖感到“不高興”!伊朗武裝部隊(duì):將在最高領(lǐng)袖領(lǐng)導(dǎo)下戰(zhàn)斗到最后一刻!伊朗總統(tǒng)表態(tài)

每日經(jīng)濟(jì)新聞
2026-03-09 12:13:03
特朗普稱將在“適當(dāng)時(shí)機(jī)”作出結(jié)束對(duì)伊朗軍事行動(dòng)決定

特朗普稱將在“適當(dāng)時(shí)機(jī)”作出結(jié)束對(duì)伊朗軍事行動(dòng)決定

界面新聞
2026-03-09 09:22:03
李連杰當(dāng)面一句“我剛換了心臟”,謝苗臉唰一下白了,氣都不敢喘

李連杰當(dāng)面一句“我剛換了心臟”,謝苗臉唰一下白了,氣都不敢喘

西樓知趣雜談
2026-02-28 21:36:48
復(fù)旦研究:二甲雙胍或成老年毒藥,壽命縮短22%,可信嗎?

復(fù)旦研究:二甲雙胍或成老年毒藥,壽命縮短22%,可信嗎?

39健康網(wǎng)
2026-03-07 20:20:35
伊朗拉爾地下導(dǎo)彈基地被精準(zhǔn)搗毀,500米山體掩體成廢土

伊朗拉爾地下導(dǎo)彈基地被精準(zhǔn)搗毀,500米山體掩體成廢土

老馬拉車莫少裝
2026-03-07 08:24:42
2026-03-10 04:44:49
創(chuàng)業(yè)邦 incentive-icons
創(chuàng)業(yè)邦
關(guān)注創(chuàng)新經(jīng)濟(jì)及其推動(dòng)者。
15853文章數(shù) 112013關(guān)注度
往期回顧 全部

科技要聞

OpenClaw更新,"養(yǎng)蝦"再也不會(huì)犯健忘癥了

頭條要聞

媒體:美軍用極殘酷方式擊沉伊朗軍艦 令世界不寒而栗

頭條要聞

媒體:美軍用極殘酷方式擊沉伊朗軍艦 令世界不寒而栗

體育要聞

36連勝終結(jié)!大魔王也是可以戰(zhàn)勝的

娛樂要聞

薛之謙老婆懷二胎,現(xiàn)身產(chǎn)檢心情愉快

財(cái)經(jīng)要聞

油價(jià)破100美元年內(nèi)漲80% 全球市場(chǎng)劇震

汽車要聞

對(duì)標(biāo)奔馳小號(hào)G級(jí) 路虎小型衛(wèi)士最新消息曝光

態(tài)度原創(chuàng)

親子
教育
家居
游戲
數(shù)碼

親子要聞

框框。。。

教育要聞

“吃不完不許睡覺”,母親強(qiáng)迫女兒吃零食,200塊留下終身陰影

家居要聞

獨(dú)棟獨(dú)院 精致親子墅

《怪物獵人物語3:命運(yùn)雙龍》深度評(píng)測(cè):“決絕”的JRPG單人體驗(yàn)

數(shù)碼要聞

ROG槍神10X:當(dāng)全息投影闖入頂級(jí)電競(jìng)旗艦專業(yè)電競(jìng)臺(tái)式機(jī)

無障礙瀏覽 進(jìn)入關(guān)懷版