国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Semianalysis:智能體火爆,CPU成為新的“AI瓶頸”

0
分享至


隨著AI智能體和強(qiáng)化學(xué)習(xí)(RL)的爆發(fā)式增長(zhǎng),原本在AI浪潮初期被邊緣化的通用處理器(CPU),正遭遇前所未有的算力擠兌,成為繼GPU之后新的基礎(chǔ)設(shè)施瓶頸。

近期,隨著各大科技巨頭財(cái)報(bào)陸續(xù)落地,市場(chǎng)對(duì)AI基礎(chǔ)設(shè)施的關(guān)注點(diǎn)正在發(fā)生微妙轉(zhuǎn)移。投資者不僅緊盯GPU的訂單與交付,更開始尋找AI應(yīng)用落地帶來(lái)的新增長(zhǎng)極。

4月8日,知名半導(dǎo)體分析機(jī)構(gòu)SemiAnalysis首席分析師Dylan Patel在一次深度訪談中指出,由于AI工作負(fù)載的范式正在從簡(jiǎn)單的文本生成向復(fù)雜的“智能體(Agents)”和“強(qiáng)化學(xué)習(xí)(RL)”演進(jìn),CPU正面臨極其嚴(yán)重的產(chǎn)能短缺。

在AI發(fā)展的頭幾年,核心算力需求幾乎全被GPU占據(jù)。正如Dylan Patel所言:“在AI的頭幾年,CPU確實(shí)嚴(yán)重滯后……負(fù)載很輕。你發(fā)一個(gè)字符串,它回一個(gè)字符串,簡(jiǎn)單的推理,對(duì)CPU需求不大。”

然而,這一局面在過(guò)去幾個(gè)月里發(fā)生了顛覆性的變化,核心驅(qū)動(dòng)力正是以O(shè)penAI o1為代表的具備邏輯推理和智能體屬性的新一代模型。


智能體與強(qiáng)化學(xué)習(xí)推升CPU需求

模型不再僅僅是“生成文本”,而是開始自主執(zhí)行任務(wù)、調(diào)用數(shù)據(jù)庫(kù)并自我驗(yàn)證,這讓CPU的工作量呈指數(shù)級(jí)上升。

Dylan Patel給出了一個(gè)極具沖擊力的數(shù)據(jù):

“就在最近六個(gè)月吧,代碼智能體的收入在很短的時(shí)間內(nèi)從幾十億美金漲到了超過(guò)100億美金。這些智能體的任務(wù)時(shí)長(zhǎng)也大幅增加:比如Claude Code可以連續(xù)工作六七個(gè)甚至七八個(gè)小時(shí)……它可以自己去ping、去抓取、以智能體方式自主工作。這也需要大量的CPU?!?br/>

與此同時(shí),強(qiáng)化學(xué)習(xí)的訓(xùn)練循環(huán)變得越來(lái)越緊密。未來(lái)的AI不僅要做數(shù)學(xué)題,還要在物理模擬器中導(dǎo)航,這要求生成器(模型)生成的每一步都需要在CPU集群上進(jìn)行高頻驗(yàn)證。

“這個(gè)循環(huán)在過(guò)去幾年變得越來(lái)越緊……在過(guò)去六個(gè)月里,我們看到整個(gè)云市場(chǎng)的CPU都跑光了?!?br/>
云廠商瘋狂擴(kuò)容,微軟“賣空”CPU已致GitHub不穩(wěn)

市場(chǎng)需求的驟增直接導(dǎo)致了云端算力的枯竭。為了滿足頭部AI實(shí)驗(yàn)室的需求,大型云廠商甚至犧牲了其他業(yè)務(wù)的穩(wěn)定性。Dylan Patel直言:

“我不知道你們最近有沒(méi)有經(jīng)常和GitHub打交道,它真的很不穩(wěn)定……那是因?yàn)槲④洶阉麄兯虚e置的CPU都賣給了別人。”

這種短缺正在逼迫企業(yè)進(jìn)行極端的工程遷移。據(jù)透露,OpenAI此前幾乎只在x86 CPU上運(yùn)行,但為了獲得算力,他們直接向亞馬遜要存量處理器。

“亞馬遜有大量的ARM CPU,于是他們把整個(gè)棧都移植了過(guò)去——只要能拿到CPU,到哪里我都愿意移植我的代碼庫(kù)?!?br/>

關(guān)于CPU的市場(chǎng)價(jià)格,Dylan Patel說(shuō)道:

“CPU的利潤(rùn)率沒(méi)那么高,但正在攀升,因?yàn)镮ntel和AMD在漲價(jià)而且供應(yīng)緊張。”

從數(shù)據(jù)來(lái)看,擴(kuò)容正在全行業(yè)上演?!皝嗰R遜安裝的CPU服務(wù)器數(shù)量,今年比去年同比增長(zhǎng)了3倍。到處都沒(méi)有容量了。

此外,為了不讓昂貴的GPU閑置等待,客戶必須保持CPU“熱池”持續(xù)運(yùn)行,這種商業(yè)邏輯進(jìn)一步放大了對(duì)CPU的需求。

硬件淘金熱蔓延:存儲(chǔ)暴漲,3nm產(chǎn)能全線告急

算力的短缺已經(jīng)沿著產(chǎn)業(yè)鏈迅速向上傳導(dǎo),不僅英特爾和AMD發(fā)出了漲價(jià)通知,甚至連面向C端的PC市場(chǎng)也受到波及(如蘋果Mac mini脫銷)。

Dylan Patel用一句極其生動(dòng)的話形容當(dāng)下的硬件市場(chǎng):

“通常,出現(xiàn)淘金熱的時(shí)候,連拿著壞鎬頭的人也能賣掉他的鎬頭?!?/strong>

他補(bǔ)充了市場(chǎng)高度關(guān)注的存儲(chǔ)和芯片制造環(huán)節(jié)的漲價(jià)數(shù)據(jù):

“內(nèi)存價(jià)格在過(guò)去一年漲了4倍,而且還會(huì)繼續(xù)漲?,F(xiàn)在SSD價(jià)格也漲了3-4倍,而且至少還會(huì)再漲60%。”

更令市場(chǎng)擔(dān)憂的是晶圓代工產(chǎn)能的擠壓。AI芯片正在吸干臺(tái)積電的最先進(jìn)制程產(chǎn)能:

“AI正在買走所有3納米和2納米的產(chǎn)能……現(xiàn)在所有AI芯片都在往3納米遷移:AMD的MI350系列、亞馬遜和谷歌的Trainium 3和TPU v7、英偉達(dá)的Rubin——所有這些都在3納米上?!?br/>

這甚至迫使蘋果、高通等移動(dòng)端巨頭向下遷移,或者讓英偉達(dá)將部分訂單轉(zhuǎn)移至三星。

以下是訪談的文字記錄:

主持人:
大家好。很高興請(qǐng)到Dylan。我第一次看他視頻是一次采訪,他談到:雖然我們有CPU,但我們要討論Neo clouds以及它們?yōu)槭裁从写嬖诘臋?quán)利。那對(duì)我來(lái)說(shuō)非常有意思,因?yàn)榻裉斓闹黝}正是:當(dāng)智能體(agents)已經(jīng)到來(lái)時(shí),新的基礎(chǔ)設(shè)施基元是什么?你當(dāng)時(shí)把Neo clouds與超大規(guī)模云服務(wù)商的不同之處,以及它們?yōu)槭裁磻?yīng)該存在,闡述得非常清楚。能跟我們分享一下嗎?
Dylan Patel:
當(dāng)然。在AI時(shí)代,超大規(guī)模云服務(wù)商的動(dòng)作有點(diǎn)慢,對(duì)吧?谷歌、亞馬遜、微軟,進(jìn)入AI領(lǐng)域都有點(diǎn)慢。于是一批全新的公司冒了出來(lái),而且出現(xiàn)了一個(gè)新的低門檻——亞馬遜、微軟、谷歌構(gòu)建的那些復(fù)雜軟件,很多其實(shí)并不需要。事實(shí)上,那些復(fù)雜軟件反而拖慢了AI的發(fā)展:它們有自定義網(wǎng)絡(luò),但那些網(wǎng)絡(luò)對(duì)AI并不太友好,更關(guān)注可靠性和存儲(chǔ)流量,而不是像在網(wǎng)絡(luò)上做all-reduce之類的事情。
所以這些大型云廠商、超大規(guī)模云服務(wù)商有很多東西,Neo clouds可以直接跳過(guò),然后構(gòu)建專注、優(yōu)化的解決方案,并提供更低的成本,因?yàn)樗鼈兊拈_銷要低得多——這些Neo clouds里沒(méi)有兩萬(wàn)個(gè)谷歌的項(xiàng)目經(jīng)理坐在會(huì)議室里(盡管有些Neo clouds已經(jīng)開始招聘谷歌的項(xiàng)目經(jīng)理,從而放慢了速度)。它們?cè)谀茉瓷闲袆?dòng)迅速,在搭建GPU集群上行動(dòng)迅速,所以它們能夠開辟出一塊市場(chǎng)。那是早期的那些。自那以后,出現(xiàn)了很多模仿者或追隨者——很多沒(méi)有成功,很多正在成功。這實(shí)際上就是一場(chǎng)比誰(shuí)最有能力的戰(zhàn)斗。
主持人:
那么,是不是所有——我想大概有200家左右這樣的Neo clouds,對(duì)嗎?——你看到它們之間有差異化嗎?是不是有些只是在復(fù)制最早那批的軟件棧?有些在做別的事情?你有沒(méi)有看到這些Neo clouds中哪些做法成功、哪些不太成功?
Dylan Patel:
是的,有很多因素能區(qū)分它們。我們有一個(gè)叫"Cluster Max"的東西,給所有Neo clouds排名。我們會(huì)測(cè)試各種東西:可觀測(cè)性、可靠性、網(wǎng)絡(luò)、安全、管理、編排等等,這些都不一樣。比如,有人會(huì)測(cè)試他們的GPU在用戶空閑時(shí)是否工作正?!鞘侵鲃?dòng)健康檢查還是被動(dòng)健康檢查?風(fēng)扇轉(zhuǎn)速是否合適?功耗是否正確?節(jié)點(diǎn)是否有問(wèn)題?網(wǎng)絡(luò)是否有問(wèn)題?性能是否達(dá)標(biāo)?有各種各樣的檢查和測(cè)試,因?yàn)镚PU是不可靠的。還有GPU之上的軟件類型:很多人一開始只做裸金屬,比如微軟與CoreWeave的最初合同全是裸金屬——你只需SSH進(jìn)去,微軟自己搭建環(huán)境。
但隨著發(fā)展,人們想要更多:有人想要安裝Slurm,那很簡(jiǎn)單;有人想要安裝Kubernetes,稍微難一點(diǎn),但仍然很簡(jiǎn)單;有人想要在Kubernetes上安裝Slurm,因?yàn)檫@樣更容易推送作業(yè)等等?,F(xiàn)在開始有人做托管Ray服務(wù)之類的東西,用于強(qiáng)化學(xué)習(xí)(RL)。所以有一類Neo clouds在構(gòu)建這些東西,而另一類Neo clouds則說(shuō)"我不在乎,我只建GPU,然后以裸金屬方式出租"。成本上也有差異:擁有好軟件的Neo clouds往往收費(fèi)更高,某種程度上又回到了傳統(tǒng)模式——谷歌、微軟、亞馬遜有好軟件,收費(fèi)也高得多。而且你會(huì)看到很多這類云公司開始嘗試推出推理服務(wù)和其他東西。
主持人:
類似地,順著這個(gè)思路,我就想說(shuō)到CPU了。歷史上,我們有客戶要求像OpenClaw那樣的東西——有些人說(shuō)"我需要我的沙箱或CPU盒子長(zhǎng)時(shí)間運(yùn)行,你能給我一個(gè)5美元像Hetzner那樣的產(chǎn)品嗎?"我說(shuō)不行,因?yàn)槟鞘锹憬饘贆C(jī)器,成本很低。但當(dāng)你提供更大的軟件產(chǎn)品時(shí),成本就會(huì)更高,所以很難與之競(jìng)爭(zhēng)。所以我猜在Neo clouds里也一樣,正如你提到的,裸金屬的銷售成本比那些往軟件方向走的要低。
我只是好奇它們?yōu)槭裁从写嬖诘臋?quán)利——這有點(diǎn)像我們做的事情的類比。但真正的問(wèn)題是,你提到了這一點(diǎn),我們正在思考的方向是:CPU成了新的瓶頸。以前每個(gè)投資人、每個(gè)我聊過(guò)的人都只談GPU?,F(xiàn)在你出了一份大報(bào)告講CPU,我心里想"好的,沒(méi)錯(cuò),謝謝你"。所以你報(bào)告里說(shuō)今年會(huì)是瓶頸。那么請(qǐng)從TDR層面高屋建瓴地告訴我們:為什么CPU現(xiàn)在是瓶頸?你看到了什么?
Dylan Patel:
是的,在AI的頭幾年,CPU確實(shí)嚴(yán)重滯后。它被用于一些存儲(chǔ)、一些檢查點(diǎn)、一些數(shù)據(jù)預(yù)處理和預(yù)訓(xùn)練,但負(fù)載很輕。推理方面,模型還不夠好,無(wú)法成為智能體——你不能讓它一步步地行動(dòng)。所以當(dāng)時(shí)沒(méi)有能力讓模型去執(zhí)行動(dòng)作并把它們串起來(lái),基本上是你發(fā)一個(gè)字符串,它回一個(gè)字符串,簡(jiǎn)單的推理,對(duì)CPU需求不大。
但過(guò)去幾年——其實(shí)不光是過(guò)去幾年,比如Q*開始,OpenAI有那些風(fēng)波,然后最終o1預(yù)覽版發(fā)布——說(shuō)實(shí)話那是15、16個(gè)月前的事了(感覺(jué)上久遠(yuǎn)得多)。o1是第一個(gè)這類模型。然后涌現(xiàn)了一大批模型。以前人們會(huì)做簡(jiǎn)單的事,比如用正則表達(dá)式檢查模型輸出,看看是否正確,或者做結(jié)構(gòu)化輸出用于函數(shù)調(diào)用等等。但隨著時(shí)間的推移,對(duì)模型的檢查變得規(guī)模大得多,并且已經(jīng)完全集成到訓(xùn)練中——通過(guò)強(qiáng)化學(xué)習(xí)。
不再只是用正則表達(dá)式,而是用各種分類器;不再只是分類器,而是做代碼單元測(cè)試和編譯;再進(jìn)一步,你運(yùn)行智能體流程,它實(shí)際上去調(diào)用數(shù)據(jù)庫(kù)之類的,或者與一個(gè)對(duì)CPU負(fù)載很重的環(huán)境(如物理模擬或生物模擬)交互。模型輸出內(nèi)容,然后檢查它——這個(gè)環(huán)境(強(qiáng)化學(xué)習(xí)環(huán)境)——然后再回去基于它進(jìn)行訓(xùn)練。這個(gè)循環(huán)在過(guò)去幾年變得越來(lái)越緊。
而最近——就說(shuō)最近六個(gè)月吧——代碼智能體的收入在很短的時(shí)間內(nèi)從幾十億美金漲到了超過(guò)100億美金。這些智能體的任務(wù)時(shí)長(zhǎng)也大幅增加:比如Claude Code(或類似模型)可以連續(xù)工作六七個(gè)甚至七八個(gè)小時(shí)。在這個(gè)過(guò)程中,它會(huì)調(diào)用數(shù)據(jù)庫(kù),調(diào)用各種東西(至少我們用了很多Cron服務(wù)器),反正什么都做——它可以自己去ping、去抓取、以智能體方式自主工作。這也需要大量的CPU。所以過(guò)去六個(gè)月這方面也急劇膨脹。再加上強(qiáng)化學(xué)習(xí)訓(xùn)練循環(huán)變得越來(lái)越緊。因此在過(guò)去六個(gè)月里,我們看到整個(gè)云市場(chǎng)的CPU都跑光了——我不知道你們最近有沒(méi)有經(jīng)常和GitHub打交道,它真的很不穩(wěn)定。
主持人:
我想你是今天第三個(gè)提到這事的人了。
Dylan Patel:
好的。我們一直在檢查GitHub的統(tǒng)計(jì)數(shù)據(jù):宕機(jī)多頻繁?提交失敗多頻繁?情況很糟。那是因?yàn)槲④洶阉麄兯虚e置的CPU都賣給了別人——要么是內(nèi)部實(shí)驗(yàn)室自己用,但更多的是外部實(shí)驗(yàn)室。他們和Anthropic、OpenAI簽了合同,所以自己幾乎沒(méi)有CPU剩下了。
我們?cè)诤芏嗥渌疽部吹搅送瑯拥那闆r。以前,每個(gè)CPU服務(wù)器對(duì)應(yīng)很多GPU服務(wù)器,比如100兆瓦的GPU可能只由1兆瓦甚至更少的CPU來(lái)服務(wù)。但現(xiàn)在這個(gè)比例正在變得非常接近,無(wú)論是對(duì)于RL訓(xùn)練還是推理(智能體推理)。然后你就看到所有地方的CPU都跑光了。亞馬遜安裝的CPU服務(wù)器數(shù)量,今年比去年同比增長(zhǎng)了3倍。到處都沒(méi)有容量了。這不僅導(dǎo)致GitHub很不穩(wěn)定,可能其他地方也是。
主持人:
我的意思是,今天我們談?wù)摿撕芏嗷A(chǔ)設(shè)施相關(guān)的事情。每天都能看到某個(gè)基礎(chǔ)設(shè)施提供商——不管是GitHub還是別的什么(不點(diǎn)名了)——出現(xiàn)宕機(jī),這已經(jīng)變得很常見(jiàn)了。這可能是CPU短缺的原因,也可能是工作負(fù)載規(guī)模等原因。
Dylan Patel:
也可能是所有人的基礎(chǔ)設(shè)施代碼都是"vibe coded"(憑感覺(jué)亂寫)的。
主持人:
對(duì),也可能是所有人的基礎(chǔ)設(shè)施代碼都是vibe coded。我不認(rèn)為全是,但可能有一部分是。我看到很有意思的是,運(yùn)行在我們這里的CPU工作負(fù)載數(shù)量——Daytona基本上有三個(gè)用例:代碼和命令執(zhí)行(比如類似cloud code的東西需要跑在CPU上);還有計(jì)算機(jī)使用用例,這個(gè)我們實(shí)際上看到增長(zhǎng)非??臁N覀兘裉靹傂剂薟indows沙箱,它也跑在CPU上。
如果你需要一個(gè)智能體去處理遺留軟件(比如金融、客服等領(lǐng)域,全都在那里)。另外正如你所說(shuō),強(qiáng)化學(xué)習(xí)方面,我們有很多通常用Kubernetes的人,現(xiàn)在開始用我們。但有趣的是,這些負(fù)載的規(guī)模和體量極其巨大,而且還在極其快速地增長(zhǎng)。而我們是世界上最小的云。所以我好奇的是:如果我們這么小的公司都有這么大的量,那么在大規(guī)模下會(huì)是什么樣子?
而且我們遇到過(guò)——我想知道你有沒(méi)有這方面的洞察——光是RL,更不用說(shuō)長(zhǎng)時(shí)間運(yùn)行的智能體了(僅就后者而言,我們看到客戶進(jìn)來(lái),其中一個(gè)客戶在昨天6小時(shí)內(nèi)跑了100萬(wàn)個(gè)BCP工作負(fù)載。就一個(gè)客戶)。那么有多少客戶在做RL?他們都會(huì)需要這個(gè)。我不知道你有沒(méi)有什么見(jiàn)解,但我很好奇。
Dylan Patel:
我的意思是,有些指標(biāo)相當(dāng)驚人——100萬(wàn)vCPU聽(tīng)起來(lái)很瘋狂。但有些人簽的合同和工作負(fù)載的規(guī)模甚至比這還要離譜。
主持人:
我相信那是因?yàn)槲覀兇_實(shí)很小。
Dylan Patel:
對(duì),是這原因。所以我想,當(dāng)你再看像Anthropic、OpenAI這樣的公司時(shí),他們已經(jīng)完全吃掉了多個(gè)云的全部容量。最近亞馬遜和OpenAI交易的一大推動(dòng)力——是的,OpenAI想要錢,他們需要算力,但他們也直接去找亞馬遜說(shuō)"把你的CPU給我們"。
之前OpenAI的棧幾乎只在x86 CPU上運(yùn)行,但亞馬遜有大量的ARM CPU,于是他們把整個(gè)棧都移植了過(guò)去——只要能拿到CPU,到哪里我都愿意移植我的代碼庫(kù)。這就能看出人們?cè)敢馔度氲墓こ趟搅?,因?yàn)橥ǔi_發(fā)者都懶得動(dòng),直接去別的地方找容量,但現(xiàn)在別的地方也沒(méi)有容量了。
主持人:
是的,有意思。我們?nèi)莤86,只有這些。我們目前還沒(méi)有ARM。但除了這兩家,還有Nvidia有自己的CPU,還有其他人也在造自己的CPU。這些CPU之間也有差異。它們都只是通用CPU嗎?你可能比我懂得多,我超級(jí)好奇。
Dylan Patel:
關(guān)于CPU的類型。
主持人:
現(xiàn)在種類太多了。以前基本上只有x86和ARM?,F(xiàn)在有了不同類型的CPU。是因?yàn)榇蠹叶寂芄饬耍€是它們?cè)谀承┓矫娲_實(shí)更好?有什么特別的嗎?
Dylan Patel:
通常,出現(xiàn)淘金熱的時(shí)候,連拿著壞鎬頭的人也能賣掉他的鎬頭。CPU市場(chǎng)現(xiàn)在非常動(dòng)態(tài)。目前主要是Intel和AMD——我猜你們主要用Intel和AMD的CPU。這兩家都說(shuō)自己完全賣光了,已經(jīng)向客戶發(fā)了漲價(jià)通知。它們甚至不再互相競(jìng)爭(zhēng)了,只是想著"我能造多少賣多少"。同樣,亞馬遜有Graviton CPU,已經(jīng)發(fā)展到第五、第六代了。Nvidia有Grace和Vera CPU。
但之前沒(méi)人真正部署過(guò)Grace獨(dú)立CPU機(jī)箱——Nvidia為了PR做了一些小規(guī)模部署,但實(shí)際上獨(dú)立CPU部署非常少。為什么呢?只是因?yàn)樗鼈儾粔蚝谩5F(xiàn)在向前看,也許它們的CPU變好了,也許捆綁銷售得更好,但更重要的是因?yàn)樗鼈冇腥萘浚ㄒ驗(yàn)槠渌硕紱](méi)容量了),所以它們能在自己的各種CPU上拿到更多合同,大概今年晚些時(shí)候或明年初開始部署。
所以這是一個(gè)非常動(dòng)態(tài)的市場(chǎng)。然后微軟和谷歌也開始部署自己的CPU,而且開始上量。Arm幾周后要發(fā)布一款CPU,Meta會(huì)采用,Cloudflare等幾家公司也會(huì)采用。所以會(huì)有更多的ARM獨(dú)立方案,而不只是Arm授權(quán)IP給別家。市場(chǎng)上會(huì)出現(xiàn)更多的多樣化——這正是在淘金熱時(shí)會(huì)發(fā)生的。然后我們會(huì)看到,當(dāng)供需缺口逐漸彌合時(shí),到底誰(shuí)的品質(zhì)最好、誰(shuí)能留下來(lái)。
主持人:
但看起來(lái)需求的規(guī)模還是會(huì)增長(zhǎng)。至少我看到的:第一,RL——似乎RL大部分是在做后訓(xùn)練,但現(xiàn)在已經(jīng)有供應(yīng)商和公司在推銷并創(chuàng)建實(shí)時(shí)RL的服務(wù)。因?yàn)槟阌辛艘恍┲悄荏w,你有了一些在后臺(tái)是智能體的SaaS,然后它會(huì)在一天結(jié)束時(shí)做RL,基本上是為了從自己的行為中學(xué)習(xí)。
所以那在增長(zhǎng)。另外,這些長(zhǎng)時(shí)間運(yùn)行的智能體——如果它們能工作更長(zhǎng)時(shí)間、解決更多問(wèn)題,你基本上可以讓它們做更多事情,它們會(huì)啟動(dòng)越來(lái)越多的這類智能體,這意味著越來(lái)越多的CPU盒子。那么從你的視角看,你理解市場(chǎng)動(dòng)態(tài),最終可能會(huì)收斂,但我感覺(jué)在需求縮小之前,它還會(huì)變得更寬。
Dylan Patel:
是的,完全是這樣。因?yàn)樽畛跛械腞L都是"來(lái)做數(shù)學(xué)證明",數(shù)學(xué)證明對(duì)資源需求很低。而且模型(生成器)會(huì)生成大量輸出,然后把正確答案(或它認(rèn)為的答案)發(fā)給服務(wù)器,服務(wù)器去驗(yàn)證。但隨著時(shí)間的推移,不再是那樣了:模型會(huì)多次提交,或者在它的智能體過(guò)程中多次嘗試編譯,或者多次嘗試做單元測(cè)試。這增加了生成器(也就是模型)發(fā)送給驗(yàn)證器的頻率,這個(gè)循環(huán)越來(lái)越緊。隨著我們進(jìn)入更復(fù)雜的RL,模型實(shí)際上會(huì)不斷地驗(yàn)證自己的輸出。
比如說(shuō),想象一下未來(lái)一兩年訓(xùn)練的模型——比如一個(gè)機(jī)器人模型,在一個(gè)世界模型中驗(yàn)證:視覺(jué)語(yǔ)言模型(VLM)在世界上導(dǎo)航,試圖拿起東西、放下東西。每一步都需要被驗(yàn)證,而物理模型跑在某個(gè)CPU集群上。那需要的CPU量會(huì)多得瘋狂,遠(yuǎn)比你做單元測(cè)試或跑數(shù)學(xué)證明要多。看o1,它基本只能做數(shù)學(xué)。再看像GPT-5.4或Opus 4.6這樣的模型,它們能做智能體軟件。但當(dāng)我們進(jìn)入下一階段——不管是什么——會(huì)有能夠理解"我需要系鞋帶,系的時(shí)候鞋帶強(qiáng)度是多少?抗拉強(qiáng)度是多少?"的模型。所有這些都需要計(jì)算,因?yàn)轵?yàn)證器只是在生成下一步,但每一步都需要更頻繁地被檢查,而且檢查這一步的計(jì)算強(qiáng)度也會(huì)隨時(shí)間增加。
主持人:
但還有另一件事,你可能比我知道得更清楚:GPU的強(qiáng)度決定了它們能并行處理一定數(shù)量的CPU盒子。隨著下一代GPU的出現(xiàn),我覺(jué)得它們會(huì)比現(xiàn)在能夠啟動(dòng)、管理或處理更多的CPU,這會(huì)給CPU帶來(lái)另一個(gè)壓力。
Dylan Patel:
是的,肯定是這樣。GPU的功耗也在變得更高,所以一個(gè)GPU隨時(shí)間推移會(huì)對(duì)應(yīng)越來(lái)越多的CPU用量。而且GPU每一代都變得更貴,而vCPU價(jià)格持平或略有下降。所以規(guī)模確實(shí)不同了:一個(gè)Blackwell對(duì)比一個(gè)Rubin,性能提升了X倍,價(jià)格也提升了X倍。
而CPU呢,你買上一代還是新一代——這一代有192個(gè)vCPU,上一代大概是96個(gè),所以你有更多的CPU,但價(jià)格上漲的幅度和你獲得的額外vCPU數(shù)量是成比例的。所以vCPU的比例會(huì)增長(zhǎng),但成本方向可能也是有利于CPU的,但不確定幅度多大。
主持人:
是的,另一個(gè)壓力——我們?cè)谳^大客戶身上看到過(guò):他們GPU有時(shí)間配額,他們不希望GPU閑置。所以他們寧愿付錢給一個(gè)熱池來(lái)運(yùn)行CPU,這樣當(dāng)GPU有任務(wù)來(lái)時(shí),CPU是熱的(實(shí)際上在工作)。所以他們會(huì)——因?yàn)槲覀冏龅摹蠖鄶?shù)CPU某種程度上是便宜的資源(雖然我們不覺(jué)得自己便宜),但對(duì)于這個(gè)場(chǎng)景來(lái)說(shuō)是便宜的資源。這實(shí)際上會(huì)消耗更多的GPU,因?yàn)殚e置GPU的成本太高了。
Dylan Patel:
對(duì),這真是一個(gè)很有意思的點(diǎn)。商業(yè)模式上,沒(méi)人——當(dāng)然有按需GPU,但比如Lambda有5萬(wàn)多塊GPU,其中只有4000塊是按需的,而且總是賣光。所以實(shí)際上沒(méi)有人真正有按需GPU。每個(gè)人都至少簽長(zhǎng)期合同(多月的),大多數(shù)情況下是多年的。而CPU的使用方式是可以隨時(shí)啟?!@就是為什么大家當(dāng)初都上云。但在這些工作負(fù)載下,GPU生成器(跑在GPU上的模型)生成一堆東西,發(fā)給驗(yàn)證器。如果驗(yàn)證器沒(méi)有準(zhǔn)備好等著,GPU就在空轉(zhuǎn)。你已經(jīng)為GPU付了錢,如果你不能在CPU那邊瞬時(shí)拿到資源,實(shí)際上你應(yīng)該預(yù)啟動(dòng)。你不是在加載模擬器或環(huán)境,你是在浪費(fèi)錢。所以確實(shí)如此。
主持人:
不僅如此,一旦這些跑起來(lái),你又會(huì)啟動(dòng)另一個(gè)熱池,這樣每一次新的迭代都在持續(xù)增長(zhǎng)。那么總體來(lái)說(shuō)這意味著什么?我們跳過(guò)了RAM,沒(méi)談內(nèi)存。以前GPU是瓶頸,我們測(cè)量過(guò),現(xiàn)在是CPU。那么對(duì)大多數(shù)人來(lái)說(shuō)更切身的是:現(xiàn)在PC很難買,因?yàn)槌?jí)貴。CPU也會(huì)這樣嗎?你剛才提到它們相對(duì)便宜且價(jià)格持平。市場(chǎng)壓力會(huì)推動(dòng)它們漲價(jià)嗎?
Dylan Patel:
是的,PC、筆記本電腦、組裝PC都很難買到。比如Apple的Mac mini基本賣光了。我們買了一大批Mac mini,因?yàn)橐郧坝肊xcel和Windows的人現(xiàn)在想用Claude Code,而OSX顯然開發(fā)環(huán)境更好。所以人們買了很多Mac mini在部署使用。我覺(jué)得整個(gè)領(lǐng)域都類似,而數(shù)據(jù)中心對(duì)資源的購(gòu)買更加缺乏彈性,這也導(dǎo)致價(jià)格上漲。GPU一直很貴,英偉達(dá)的利潤(rùn)率一直在70%以上。
CPU的利潤(rùn)率沒(méi)那么高,但正在攀升,因?yàn)镮ntel和AMD在漲價(jià)而且供應(yīng)緊張。內(nèi)存價(jià)格在過(guò)去一年漲了4倍,而且還會(huì)繼續(xù)漲?,F(xiàn)在SSD也漲了,所有資源都在漲:SSD價(jià)格也漲了3-4倍,而且至少還會(huì)再漲60%——沒(méi)有DRAM那么多,但也很多。所以綜合來(lái)看,Intel和AMD的CPU產(chǎn)能某種程度上可以在PC和數(shù)據(jù)中心之間轉(zhuǎn)換,內(nèi)存和存儲(chǔ)則非??苫Q。結(jié)果就變成了:去他的普通用戶——你得現(xiàn)在買Mac mini,否則你就永遠(yuǎn)脫離不了永久底層階級(jí)了,差不多是這種思路。
主持人:
最后一個(gè)問(wèn)題,我們時(shí)間快到了。不是財(cái)務(wù)建議,Intel之前處境非常糟糕,最近開始有起色。但CPU需求會(huì)把他們拉出困境嗎?
Dylan Patel:
他們會(huì)好一些,但這并不是說(shuō)公司得救了——公司估值基于未來(lái)現(xiàn)金流。而且有一種可能性是他們會(huì)得到Apple或其他客戶。更有意思的是,不是因?yàn)镃PU需求高到Intel能從中獲得一些短期利潤(rùn)——其他人(AMD、亞馬遜等)會(huì)趕上來(lái)的,他們會(huì)補(bǔ)上自己的產(chǎn)能。更重要的是,AI正在買走所有3納米和2納米的產(chǎn)能,幾年內(nèi)人們將不得不轉(zhuǎn)向其他方向。比如英偉達(dá)收購(gòu)Grok,人們編了各種無(wú)厘頭理由,一部分是因?yàn)樗麄兿胍獦O快的推理,但另一部分是因?yàn)镚rok是用三星制造的——因?yàn)榕_(tái)積電那邊沒(méi)有3納米產(chǎn)能給他們了,他們需要?jiǎng)e處流片。
如果AI真的像我們相信的那樣瘋狂,需求像我們相信的那樣瘋狂,明年會(huì)更瘋狂。那么只要造出任何像樣的芯片就能賣掉——差不多是這種哲學(xué)。顯然他們?cè)诩軜?gòu)等方面做了更多事情,但同樣的情況也適用于Apple:臺(tái)積電告訴Apple,"嘿,從3納米下來(lái)吧,快點(diǎn)遷移到2納米,我能做。"因?yàn)樗蠥I芯片都在3納米上,這需要時(shí)間。小型移動(dòng)芯片比大AI芯片容易制造。現(xiàn)在所有AI芯片都在往3納米遷移:AMD的MI350系列、亞馬遜和谷歌的Trainium 3和TPU v7、英偉達(dá)下周要發(fā)Rubin——所有這些都在3納米上。臺(tái)積電讓Apple下來(lái),讓高通和聯(lián)發(fā)科下來(lái)。這三家公司可能會(huì)想"也許我們?cè)撚肐ntel,因?yàn)镮ntel沒(méi)有讓我們下來(lái)"——但I(xiàn)ntel做不了啊。所以大家都很難。
主持人:
我還有很多問(wèn)題想問(wèn),但我們只剩下20秒了。我下一個(gè)問(wèn)題肯定會(huì)超時(shí)。那就先到這里,非常感謝你來(lái)和我們交流。謝謝!

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
賈靜雯20歲女兒曬比基尼,戴唇釘有紋身很火辣,不隨媽長(zhǎng)卻贏麻了

賈靜雯20歲女兒曬比基尼,戴唇釘有紋身很火辣,不隨媽長(zhǎng)卻贏麻了

嫹筆牂牂
2026-04-09 08:01:19
突然官宣回歸!網(wǎng)友直呼:我的青春回來(lái)了

突然官宣回歸!網(wǎng)友直呼:我的青春回來(lái)了

深圳晚報(bào)
2026-04-09 23:06:06
霍思燕帶狗泰國(guó)奪冠!肥肚三層、發(fā)際線好假,女兒出鏡像女版杜江

霍思燕帶狗泰國(guó)奪冠!肥肚三層、發(fā)際線好假,女兒出鏡像女版杜江

翰飛觀事
2026-04-08 19:57:12
曼晚:奧比-馬丁目前短板很明顯,還未達(dá)到曼聯(lián)一線隊(duì)要求

曼晚:奧比-馬丁目前短板很明顯,還未達(dá)到曼聯(lián)一線隊(duì)要求

懂球帝
2026-04-09 22:23:09
伊朗武裝部隊(duì)宣布對(duì)美以戰(zhàn)事取得勝利

伊朗武裝部隊(duì)宣布對(duì)美以戰(zhàn)事取得勝利

澎湃新聞
2026-04-09 00:09:01
領(lǐng)先1分砍小庫(kù)里引來(lái)聯(lián)盟調(diào)查 國(guó)王:這不是在擺爛

領(lǐng)先1分砍小庫(kù)里引來(lái)聯(lián)盟調(diào)查 國(guó)王:這不是在擺爛

體壇周報(bào)
2026-04-09 21:04:46
時(shí)隔三天!松島輝空正式表態(tài),回應(yīng)世界杯爭(zhēng)議一幕

時(shí)隔三天!松島輝空正式表態(tài),回應(yīng)世界杯爭(zhēng)議一幕

冷桂零落
2026-04-09 13:03:31
中國(guó)游客清明假期意大利旅游時(shí),大巴車被撬開大量行李被盜,最新回應(yīng):超20人財(cái)物被搶,損失超20萬(wàn)元

中國(guó)游客清明假期意大利旅游時(shí),大巴車被撬開大量行李被盜,最新回應(yīng):超20人財(cái)物被搶,損失超20萬(wàn)元

大象新聞
2026-04-07 15:53:05
大膽去做,不要怕,沒(méi)有人在乎。就算有人在乎,人又算什么東西

大膽去做,不要怕,沒(méi)有人在乎。就算有人在乎,人又算什么東西

清風(fēng)拂心
2026-04-07 10:15:07
官方出手了!282人微信群罵全紅禪三年,群成員被扒,身份不簡(jiǎn)單

官方出手了!282人微信群罵全紅禪三年,群成員被扒,身份不簡(jiǎn)單

離離言幾許
2026-04-09 12:20:45
爭(zhēng)端升級(jí),鄭麗文剛在南京吃晚宴,就遭綠營(yíng)攻擊,蘇起判斷沒(méi)有錯(cuò)

爭(zhēng)端升級(jí),鄭麗文剛在南京吃晚宴,就遭綠營(yíng)攻擊,蘇起判斷沒(méi)有錯(cuò)

策略述
2026-04-09 23:14:31
浴缸陪睡只是冰山一角,多位助理服務(wù)明星方式曝光,一個(gè)個(gè)太離譜

浴缸陪睡只是冰山一角,多位助理服務(wù)明星方式曝光,一個(gè)個(gè)太離譜

離離言幾許
2026-03-02 15:53:17
俄媒:伊朗每天允許不超過(guò)15艘船只通過(guò)霍爾木茲海峽

俄媒:伊朗每天允許不超過(guò)15艘船只通過(guò)霍爾木茲海峽

界面新聞
2026-04-09 20:45:17
建國(guó)后粟裕為何仕途不順?陳賡:沒(méi)辦法,不受歡迎的2種人他都占

建國(guó)后粟裕為何仕途不順?陳賡:沒(méi)辦法,不受歡迎的2種人他都占

興趣知識(shí)
2026-04-09 15:27:48
美高層曾提議:中國(guó)可以用1萬(wàn)多億美債,從美國(guó)手中"贖回"臺(tái)灣

美高層曾提議:中國(guó)可以用1萬(wàn)多億美債,從美國(guó)手中"贖回"臺(tái)灣

快樂(lè)彼岸
2026-04-09 18:35:16
三安光電:2026年一季報(bào)將于2026年4月25日披露

三安光電:2026年一季報(bào)將于2026年4月25日披露

每日經(jīng)濟(jì)新聞
2026-04-09 16:57:06
江蘇女子打碎茶杯被索賠6000,她微笑付款離去,店主:壞了,快追

江蘇女子打碎茶杯被索賠6000,她微笑付款離去,店主:壞了,快追

凱裕說(shuō)故事
2024-12-16 14:37:55
廣東PK吉林二番戰(zhàn),徐杰帶隊(duì)爭(zhēng)雙殺,崔永熙等正名,焦泊喬速救主

廣東PK吉林二番戰(zhàn),徐杰帶隊(duì)爭(zhēng)雙殺,崔永熙等正名,焦泊喬速救主

隱于山海
2026-04-09 17:48:49
4月又一款新機(jī)官宣:4月21日,正式發(fā)布

4月又一款新機(jī)官宣:4月21日,正式發(fā)布

T科技衍生
2026-04-10 00:13:11
西方媒體:就算中國(guó)全力以赴,也不可能按時(shí)建成這樣龐大的工程

西方媒體:就算中國(guó)全力以赴,也不可能按時(shí)建成這樣龐大的工程

黑翼天使
2026-04-09 16:26:10
2026-04-10 01:00:49
華爾街見(jiàn)聞官方 incentive-icons
華爾街見(jiàn)聞官方
中國(guó)領(lǐng)先的金融商業(yè)信息提供商
144321文章數(shù) 2653180關(guān)注度
往期回顧 全部

科技要聞

Meta凌晨首發(fā)閉源大模型 扎克伯格又行了?

頭條要聞

媒體:"渾身是血"的美軍上校藏身山縫 15分鐘內(nèi)被轉(zhuǎn)移

頭條要聞

媒體:"渾身是血"的美軍上校藏身山縫 15分鐘內(nèi)被轉(zhuǎn)移

體育要聞

8萬(wàn)人面前心臟驟停 現(xiàn)在他還站在球場(chǎng)上

娛樂(lè)要聞

金莎官宣結(jié)婚 與老公孫丞瀟相差18歲

財(cái)經(jīng)要聞

?;鹩謶伊?,最糟糕的情況要來(lái)了?

汽車要聞

文飛掌舵,給神行者帶來(lái)了什么?

態(tài)度原創(chuàng)

家居
教育
時(shí)尚
本地
軍事航空

家居要聞

清新自然 復(fù)古風(fēng)尚

教育要聞

全國(guó)正確率只有5%的中考易錯(cuò)題

越來(lái)越流行的松弛感穿搭,照著穿就很好看

本地新聞

12噸巧克力有難,全網(wǎng)化身超級(jí)偵探添亂

軍事要聞

黎真主黨發(fā)射火箭彈 回應(yīng)以違反?;饏f(xié)議

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版