好幾年沒寫AI框架大稿了，

我先把結(jié)論放在標(biāo)題里，

若想細(xì)看其中原委，

只能說，大幾千字閱讀量是跑不了的。

01.靈魂三問

PyTorch最近有點(diǎn)煩，

歷經(jīng)多年碼海沉浮，

拼快慢，爭(zhēng)靜動(dòng)，

較難易，掀生態(tài)。

看似地位穩(wěn)如泰山：

“主流框架”

“事實(shí)工業(yè)標(biāo)準(zhǔn)”

“生態(tài)百花齊放”，

開發(fā)者“簞食壺漿以迎王師”，

“框架”作為AI這個(gè)熱門賽道里的基礎(chǔ)軟件，

如果愿意多花點(diǎn)時(shí)間觀察，

你就會(huì)發(fā)現(xiàn)，時(shí)間花完，

雖然沒看懂，但起碼累著了。

在此，要向這幾年參與AI框架技術(shù)的大牛們致敬，

還要向全球開源框架開發(fā)者致敬，

感謝你們貢獻(xiàn)了開源。

AI芯片需要框架翻譯才能釋放性能，

AI生產(chǎn)力需要框架解放。

人間為飲千歲，吞吐江海流霞。

近五年，我很多好朋友都出自這個(gè)領(lǐng)域，

感謝他們的認(rèn)可，這是我寫作的不竭動(dòng)力。

我長(zhǎng)話短說，

不過，實(shí)在是說來(lái)話長(zhǎng)。

變量太猛，戰(zhàn)局有變。

先來(lái)個(gè)靈魂三問：

1. 北美大模型玩家也被PyTorch統(tǒng)一了嗎？

2. 誰(shuí)在掏空PyTorch？

3. 開發(fā)者視線轉(zhuǎn)移意味著什么？

02游戲結(jié)束了？

"The game is over.”

直譯：游戲結(jié)束了。

意譯：除了PyTorch，別的AI框架玩家都沒機(jī)會(huì)了。

這是某網(wǎng)友對(duì)AI框架戰(zhàn)局的評(píng)語(yǔ)。

我只能說，情緒到位了，邏輯還差點(diǎn)意思。

甚至說，是僅僅觀察了國(guó)內(nèi)市場(chǎng)后得出的結(jié)論。

先看數(shù)據(jù)，

PyTorch一統(tǒng)江湖。

不得不說，真是帥啊。

再帥也有煩的時(shí)候。

因?yàn)檎w市場(chǎng)占有率是一回事，

巨頭份額又是另外一回事。

當(dāng)然，無(wú)論什么底層軟件，都想上大業(yè)務(wù)。

那么問題來(lái)了，

大模型巨頭玩家到底在用哪種AI框架？

尤其是，巨頭玩家的偏好和中小玩家不同。

巨頭玩家要的不是一個(gè)“現(xiàn)成的萬(wàn)能工具箱”，

而是一個(gè)“按需定制的軍火庫(kù)”。

OpenAI用的是PyTorch，

但幾乎重寫了底層邏輯，

以適應(yīng)自己的大模型架構(gòu)。

谷歌用JAX，它為TPU量身定制。

華為用MindSpore框架，

背后是昇騰AI處理器。

為什么不繼續(xù)用PyTorch呢？

開源框架是基礎(chǔ)，不是答案。

開源框架適合普通開發(fā)者，

而巨頭們往往需要在此基礎(chǔ)上深度定制。

PyTorch作為框架“一哥”，

并不能保證它的原生版本，

就能直接滿足GPT-4或Llama3的全部需求。

所以，當(dāng)你問“大模型巨頭用什么框架”時(shí)，

真正的問題應(yīng)該是：

這些巨頭在訓(xùn)練和推理大模型的時(shí)候，

到底用的什么秘密的框架技術(shù)？

答案可能不會(huì)直接寫在開源框架的市場(chǎng)份額里，

而是藏在巨頭們自家技術(shù)棧的深處。

這個(gè)時(shí)候，譚老師就出場(chǎng)了。

直接人到美國(guó)，現(xiàn)場(chǎng)做題，

當(dāng)然，答案僅供參考。

美國(guó)巨頭的幾家，我們掰著手指頭數(shù)數(shù)看。

谷歌，Anthropic，xAI，蘋果，這四家訓(xùn)練大模型用JAX，

另外兩家，Meta和OpenAI，用PyTorch。

這個(gè)大致的調(diào)查結(jié)果，非常神奇：

北美大模型巨頭的框架份額排第一的是JAX。

此時(shí)此刻，回望大洋彼岸，

國(guó)內(nèi)模型框架仍然是PyTorch占據(jù)主流。

我只能感慨一句，

在框架這件事上，有些人保守了。

再看國(guó)內(nèi)國(guó)產(chǎn)框架，幾年來(lái)，

MindSpore和“洋框架”打了不少?gòu)垐?chǎng)仗，

雖然沒有占過上風(fēng)，

但忍耐力還不算壞。

這時(shí)候，我又想給這個(gè)小章節(jié)重新擬個(gè)標(biāo)題了，

《北美市場(chǎng)已生變數(shù)，國(guó)內(nèi)持舊觀望》

——在不疑處生疑。

越是有人毫不懷疑地用PyTorch，

越要重新審視。

03.不吃生態(tài)這碗飯？

在我個(gè)人的寫作史上，

四年前那篇《搞深度學(xué)習(xí)框架的那幫人》，

其中大量篇幅在聊框架生態(tài)。

然而，時(shí)過境已遷，

身處大模型時(shí)代，

如果拿生態(tài)來(lái)衡量JAX，

實(shí)話實(shí)說，JAX也沒啥生態(tài)，

它的論文數(shù)量還沒有MindSpore多。

（此處不禮貌地笑了）

堂堂谷歌，堂堂華為，

框架生態(tài)都矮“一哥”一頭。

接著靈魂發(fā)問：

為啥JAX在大模型巨頭玩家中的份額這么高呢？

因?yàn)榇竽Ｐ涂蚣軐?duì)原來(lái)的那種生態(tài)，

可能要求沒那么高，

反倒對(duì)性能調(diào)試調(diào)優(yōu)的效率要求高。

也就是，不吃生態(tài)這碗飯，而吃效率這碗飯。

往細(xì)里講，訓(xùn)練時(shí)你寫個(gè)模型腳本不重要。

關(guān)鍵是你能把這個(gè)系統(tǒng)的性能，

調(diào)優(yōu)的效率，精度的對(duì)齊，打出水平。

模型腳本是什么呢？

它是告訴框架“這個(gè)模型應(yīng)該長(zhǎng)什么樣”的說明書。

而在大模型時(shí)代，系統(tǒng)性能和訓(xùn)練效率成了重中之重?？蚣苄枰峁?qiáng)大的分布式訓(xùn)練支持，穩(wěn)定和性能壓倒一切。巨頭玩家搞大模型的時(shí)候，

對(duì)框架的要求和以前相比出現(xiàn)了巨大變化。

平靜的大海培養(yǎng)不出優(yōu)秀的水手。

回到此前結(jié)論，重要的事情說三遍：

變量太猛，戰(zhàn)局有變。

04.為啥谷歌JAX框架這么行？

眾所周知，TensorFlow在大規(guī)模生產(chǎn)部署中，

仍具有技術(shù)優(yōu)勢(shì)，市場(chǎng)份額也有。

尤其是其與TPU芯片深度整合，

繼續(xù)占據(jù)一席之地。

不過同為谷歌系的框架，

TensorFlow框架有很多歷史遺留問題，

而JAX框架低調(diào)地風(fēng)生水起。

第一點(diǎn)，谷歌JAX框架設(shè)計(jì)簡(jiǎn)潔，

不像TensorFlow框架設(shè)計(jì)復(fù)雜。

第二點(diǎn)，谷歌JAX一開始就是靜態(tài)圖，

且擅長(zhǎng)靜態(tài)圖。

靜態(tài)圖天然適合科學(xué)計(jì)算和大模型的優(yōu)化需求，

并延伸出自動(dòng)并行。

同時(shí)，靜態(tài)圖也是自動(dòng)并行的基礎(chǔ)，

為其提供了全局視圖和優(yōu)化空間。

于是，水到渠成第三點(diǎn)，

JAX的自動(dòng)并行非常能打，

是在靜態(tài)圖打下的好基礎(chǔ)上做到的，

有一套強(qiáng)大的自動(dòng)并行工具。

對(duì)比PyTorch框架，早期沒重視并行，

以至于給了第三方背后開槍的機(jī)會(huì)。

（姑且按下，容后細(xì)述）

細(xì)看谷歌JAX，再看一眼昇思MindSpore，

氣質(zhì)上很像，想法也總一樣，

它們都從一開始就考慮在框架上支持并行。

我甚至愿意下這樣一個(gè)結(jié)論，

當(dāng)年，谷歌JAX和昇思MindSpore，

對(duì)并行考慮得多，

就是預(yù)測(cè)模型會(huì)變大。

而今看來(lái)，一切成真。

當(dāng)然，還有一點(diǎn)非常重要，

是一窺當(dāng)下框架競(jìng)爭(zhēng)態(tài)勢(shì)的要點(diǎn)：Numpy。

Numpy是個(gè)好東西，甚至是越看越好。

你可以記不住它，

也可以永遠(yuǎn)用不到它，

但請(qǐng)別忽略它的價(jià)值，

它的價(jià)值不是能用鈔票衡量的，

不僅在人類科學(xué)工具發(fā)展歷史上占有一席之地，

而且什么都不爭(zhēng)，克制低調(diào)，

實(shí)際卻是整個(gè)江湖的發(fā)源地，

甚至間接推動(dòng)了AI框架的崛起。

在AI框架出現(xiàn)之前，

它是唯一的選擇，

Numpy為矩陣計(jì)算提供了最初的接口和工具。

然而，它不是PyTorch的選擇，

你看，JAX選了Numpy，

蘋果也選了Numpy，這可不是巧合。

為什么？

Numpy中立，且兼容性強(qiáng)，

甚至可以說它是一種科學(xué)計(jì)算領(lǐng)域的公共語(yǔ)言。

JAX選Numpy，

蘋果選Numpy，

再反觀PyTorch，雖已一統(tǒng)江湖，

但在設(shè)計(jì)上與Numpy漸行漸遠(yuǎn)。

當(dāng)谷歌JAX和蘋果這兩家代表未來(lái)趨勢(shì)的選手拉起Numpy站隊(duì)時(shí)，

PyTorch反而被推向了一個(gè)“孤立”的處境。

更關(guān)鍵的是，Numpy的中立讓它成為“公共資源”，誰(shuí)都能拿來(lái)用。

但當(dāng)你的對(duì)手都用這個(gè)公共資源來(lái)增強(qiáng)自己，

而你卻在構(gòu)建別的，

這江湖里的對(duì)抗就不只是暗流涌動(dòng)。

我們能看到，谷歌JAX和蘋果的選擇，

其實(shí)是對(duì)PyTorch的一個(gè)有力提醒。

還沒聊完。

還要深入靜態(tài)圖和動(dòng)態(tài)圖的江湖。

不過且慢，我在硅谷遇見了一件小事，

于是，在話題出發(fā)前，

我們繞道去下這里“API”。

05誰(shuí)敢小瞧框架API？

框架的API是啥？

API可翻譯成“接口”。

不過此接口，非彼接口，

再講那件小事。

某天，約見了一個(gè)程序員，

雖然他不搞AI，

但正巧我在寫這篇稿子，

聊一句框架的API。

他信心滿滿地跟我說：

“API不就是調(diào)用一個(gè)服務(wù)嘛，多老的東西了?！?/p>

而他說這話的表情吧，

就像揭露了你炒作技術(shù)概念。

當(dāng)時(shí)，我真是……

所以，大家不要對(duì)美國(guó)硅谷全是濾鏡。

話說回來(lái)，

框架API它不再適用于之前那么單薄的理解了，

那是整層技術(shù)棧的總指揮。

縱觀歷史，唏噓不已，

框架每一輪競(jìng)爭(zhēng)都離不開“接口的博弈”。

可不是讓“程序和程序?qū)υ挕?，這么簡(jiǎn)單，

而是，從“開發(fā)工具”變成了，

“開發(fā)體驗(yàn)”和“硬件性能”的代名詞。

誰(shuí)的接口設(shè)計(jì)得好，誰(shuí)首先就能抓住開發(fā)者。

框架接口的好壞，直接決定了一個(gè)框架的受歡迎程度。比如，屎堆型界面，誰(shuí)也受不了。

早期TensorFlow，也因此跌倒。

因?yàn)樘^復(fù)雜，被PyTorch搶了很多市場(chǎng)份額，

所以，你說，框架接口重不重要呢？

以前，調(diào)用一個(gè)服務(wù)。

現(xiàn)在，表面只是調(diào)用一個(gè)服務(wù)，

背后調(diào)度幾十臺(tái)GPU拼命算矩陣乘法。

甚至，框架的接口規(guī)模很大，

一個(gè)完整的生態(tài)系統(tǒng)可能需要上千個(gè)接口。

那么問題來(lái)了，

PyTorch有多少個(gè)接口？

答案是：一千多個(gè)。

說到這里，如果MindSpore和其全部對(duì)齊呢？

很困難，工作量很大。

所以，我觀察，華為先做了這樣一件事情：

大模型相關(guān)的大概就三四百個(gè)接口。

這也是一個(gè)不小的工作量。

先將大模型相關(guān)的框架接口對(duì)齊。

想全面對(duì)齊，就這個(gè)框架接口的數(shù)量級(jí)，

若不是體量大的公司，大舉揮師，

很難拿下這樣工程量的山頭。

另外，在大模型時(shí)代，

這些“流水線”已經(jīng)復(fù)雜得很不像話了：

比如，大模型訓(xùn)練需要把任務(wù)，

分布到幾十上百塊GPU上，

每塊GPU干啥，框架接口得安排得明明白白。

沒有這些優(yōu)化，硬件就像一群分工混亂的工人，

干活慢，還亂用資源。

再比如，

框架接口如果調(diào)用得不好，

性能立馬掉一截。

不僅是個(gè)接口，

而是通過這些接口將硬件性能最大化釋放。

寫到這，大家也明白了。

有些技術(shù)追趕，

需要用大批量的、高質(zhì)量的工程追趕。

沒有那么多彎道給你超車，

他們建設(shè)得早，路是他們的，車也是他們的。

建我們的道，

造我們的車。

超車需要的是長(zhǎng)期耐心和投入。

框架接口的戰(zhàn)場(chǎng)打的是什么？

要我看，誰(shuí)敢小瞧框架接口？

它打的是基本面。

06靜態(tài)圖與動(dòng)態(tài)圖

說框架，繞不過接口，

更繞不過靜態(tài)圖和動(dòng)態(tài)圖。

這里一直存在不少歷史遺留問題，

而且是個(gè)話題終結(jié)者。

一般都不愿意看這么細(xì)，這么深，

其實(shí)里面大有洞天。

這就像你是一個(gè)電影導(dǎo)演：

動(dòng)態(tài)圖是邊拍，邊調(diào)劇本。

靜態(tài)圖是先定稿劇本，再去成片。

為什么說做框架難？

從表面上看，只需要告訴框架“我想訓(xùn)練啥模型”，

它就會(huì)幫你自動(dòng)（把代碼、數(shù)據(jù)、硬件資源組織好），讓模型跑出結(jié)果，而不用操心底層的數(shù)學(xué)運(yùn)算和硬件適配。

這種“自動(dòng)化”的背后，

繞不開靜態(tài)圖和動(dòng)態(tài)圖。

但從更高的產(chǎn)業(yè)視角來(lái)看，它們不僅是技術(shù)選擇，

PyTorch的江山就是靠動(dòng)態(tài)圖打下來(lái)，

門檻低，好用。

不是非得六邊形戰(zhàn)士才能用。

動(dòng)態(tài)圖，好比，做題，做一步，

翻看一次答案，

錯(cuò)了就是隨時(shí)改，

越做越有信心。

或者另一種方式是，

一道題算了三天三夜，才能對(duì)答案，改錯(cuò)題。

后者更適合學(xué)霸。

這種玩法，

游戲難度太大，玩家就少了。

于是，誰(shuí)靜態(tài)圖起家，

誰(shuí)就吃了生態(tài)上的大虧。

很難講誰(shuí)吃的虧更大。

因?yàn)楣雀鐹AX和昇思MindSpore在這件事情上，

它倆想法又一樣。

（此處又不禮貌地笑了）

它們都是在執(zhí)行的時(shí)候盡量變成靜態(tài)圖去執(zhí)行。

靜態(tài)圖主打“規(guī)劃好一切才準(zhǔn)許行動(dòng)”。

因?yàn)榭蚣懿粌H要理解用戶的代碼，

還要判斷如何用最優(yōu)的方式在硬件上執(zhí)行。

而且靜態(tài)圖是自動(dòng)并行的基礎(chǔ)，

自動(dòng)并行是大模型對(duì)框架的核心需求之一。

再細(xì)看MindSpore，

到昇騰AI處理器第二代，

全面支持動(dòng)態(tài)圖的時(shí)候，相當(dāng)于有個(gè)負(fù)擔(dān)。

也就是說，昇思MindSpore針對(duì)昇騰第二代AI處理器去做設(shè)計(jì)的時(shí)候，

對(duì)靜態(tài)圖投入了大量精力。

動(dòng)態(tài)圖雖然有，性能不太好，別人也不會(huì)用。

談易用性，是在性能還能用的情況下，

并不是在性能不能用的情況下奢談易用性。

也就是說，現(xiàn)在會(huì)繼續(xù)發(fā)展原先靜態(tài)圖的優(yōu)勢(shì)，而短板也要補(bǔ)。

不過，一切都需要時(shí)間。

聊到這里，理解MindSpore在忙啥了吧？

也理解PyTorch在忙啥了吧？

再總結(jié)一下，PyTorch忙活兩件事，

第一要事，拼命搞它的靜態(tài)圖。

07誰(shuí)在掏空PyTorch？

接上文，PyTorch還忙著搞另一件事，

拼命想把并行庫(kù)移到“框架里”。

猛一看，什么叫做“框架里”？

說來(lái)話長(zhǎng)。

作為AI框架的“一哥”，

在設(shè)計(jì)初期，并沒有直接支持并行計(jì)算的能力。

為什么？

因?yàn)樵缙跊]必要，現(xiàn)在很有必要。

早期還沒大模型呢，

軟件這件事就是，你不解決，有的是人幫你解決。

沒有原生并行能力的PyTorch，

吸引到Megatron前來(lái)。

這個(gè)有靠山的兄弟來(lái)了，看似局面穩(wěn)了。

也就是說，當(dāng)你需要讓模型跑在多張GPU上并行訓(xùn)練時(shí)，PyTorch本身是幫不上太多忙的——這個(gè)活兒，靠的是像Megatron這樣的“專業(yè)外包選手”。

Megatron是什么？

是英偉達(dá)開發(fā)的一個(gè)庫(kù)，用于搞定大模型的并行計(jì)算。也可以叫它第三方庫(kù)。

當(dāng)你要訓(xùn)練大家伙（Transformer）的時(shí)候，

Megatron會(huì)幫你把模型的參數(shù)，

數(shù)據(jù)和計(jì)算任務(wù)切分到不同的GPU上，

同時(shí)保證結(jié)果一致。

不過該來(lái)的總該要來(lái)，

誰(shuí)是底層，誰(shuí)就容易無(wú)感。

底層軟件的宿命，就是被用得天經(jīng)地義，卻無(wú)人留意。除非上面一層，仍然是自己人。

常言道，我和你一條船，不代表我和你一條心。

Megatron是英偉達(dá)的。

假如，我是說假如，Megatron這種并行庫(kù)，

連MindSpore都能對(duì)接了，

假如人家MindSpore還做得好，

那么MindSpore+Megatron行不行？

因?yàn)殚_發(fā)者只感受Megatron，底下用啥框架都可以。

終于，PyTorch意識(shí)到了，

戰(zhàn)略要地，怎么能留給別人插旗？

Megatron看似駐扎在PyTorch的地盤上，

但歸根結(jié)底，它還是英偉達(dá)的“親兵”。

別看現(xiàn)在在開源生態(tài)里打得風(fēng)生水起，

關(guān)鍵時(shí)刻，這兵馬終究要聽號(hào)令回歸主陣營(yíng)。

說白了，Megatron扎根在PyTorch，

平時(shí)幫著干活，一旦局勢(shì)有變，

還是要為自家陣地開路。

于是，PyTorch拼命補(bǔ)課，

把并行能力“嵌入”到框架里，成為原生功能。

這樣，不需要外接Megatron這樣的庫(kù)，

開發(fā)者也能直接用PyTorch寫出支持多GPU并行的大模型。

為什么并行能力對(duì)PyTorch很重要？

對(duì)誰(shuí)都很重要，這是時(shí)代的要求，

世人皆知，模型太大，

但是模型大不是結(jié)果，而是需求的特點(diǎn)。

另一個(gè)變量，無(wú)聲登場(chǎng)，
而這個(gè)變量，才是真正的大殺器。

假如大模型的結(jié)構(gòu)在逐漸固定，“逐漸”二字重讀，

打破“逐漸”則需要?jiǎng)?chuàng)新力。

若模型結(jié)構(gòu)趨于不變，

開發(fā)者不再需要頻繁改動(dòng)底層框架邏輯，

而是更多關(guān)注性能優(yōu)化和并行計(jì)算。

這點(diǎn)對(duì)“AI芯片影響更大”，

但因?yàn)榭蚣芎托酒摹按怪闭稀笔橇硪粚用娴姆治觯?/p>

此處按下不表。

如果PyTorch的并行能力總是靠Megatron，

那么開發(fā)者的關(guān)注點(diǎn)會(huì)轉(zhuǎn)移到Megatron上。

久而久之，PyTorch的存在感會(huì)被削弱。

乍一看，AI框架的江湖，
PyTorch似乎已是“一代霸主”，
仿佛塵埃落定。
但事實(shí)遠(yuǎn)非如此。
欲戴王冠，必承其重，
暗潮涌動(dòng)，未必穩(wěn)固。

你再看JAX框架，

技術(shù)路線是并行和編譯這些能力都放在框架本層里，且是靜態(tài)圖加自動(dòng)并行。

巧了，谷歌JAX的思路又跟昇思MindSpore一樣。

剛才說了，PyTorch框架當(dāng)下最重要的工作，

其一，做靜態(tài)圖（編譯），

由此可見，其二是把并行做回框架本層來(lái)。

誠(chéng)如所見，

PyTorch新版本特性集中反映在兩個(gè)聚焦點(diǎn)上。

08開發(fā)者隨上層“遷移”

細(xì)想想，HuggingFace的崛起，

代表了AI開發(fā)從“框架中心”向“模型中心”遷移。

要我說，這種變化間接“架空”了PyTorch在開發(fā)者中的直接影響力。

HuggingFace的核心價(jià)值，

是把復(fù)雜的AI模型封裝成易用的工具庫(kù)和API，

開發(fā)者無(wú)需深入底層，

只需調(diào)用HuggingFace模型接口，就能干活。

PyTorch雖然強(qiáng)大，

但直接在上面開發(fā)頗有門檻，

不是說上手就會(huì)。

當(dāng)HuggingFace的模型庫(kù)和工具，

成為開發(fā)者的入口，

PyTorch則淪為底層執(zhí)行引擎，

成了看不見的“發(fā)動(dòng)機(jī)”，

HuggingFace成了摸得到的“駕駛艙”。

這意味著，PyTorch將生態(tài)主導(dǎo)權(quán)部分讓出。

說實(shí)話，我怎么就感覺PyTorch越來(lái)越“薄”了呢？

你們說呢？

06其他沒機(jī)會(huì)了？

都說千秋霸業(yè)，

霸業(yè)再盛，若不隨勢(shì)而動(dòng)，

也難保江湖恒久敬畏。

生態(tài)位的競(jìng)爭(zhēng)變了，

開發(fā)者的關(guān)注點(diǎn)就轉(zhuǎn)移了。

PyTorch確實(shí)不綁定特定硬件，

但是，AI框架跟硬件強(qiáng)相關(guān)。

但芯片廠商為了吸引開發(fā)者，開發(fā)了特定的異構(gòu)計(jì)算架構(gòu)。比如，英偉達(dá)的CUDA，AMD的ROCm，甚至華為的CANN。

而且，事物有兩面性。

如果框架缺乏硬件支持，

其使用體驗(yàn)和性能都會(huì)受到影響。

框架的廣泛應(yīng)用離不開對(duì)不同硬件的適配，

而適配程度直接影響框架的競(jìng)爭(zhēng)力。

PyTorch沒有硬件，而硬件架構(gòu)演進(jìn)很快，

比如，超節(jié)點(diǎn)，

UMA（統(tǒng)一內(nèi)存架構(gòu)），

Dataflow（美國(guó)AI芯片公司Sambanova架構(gòu)）等等，框架如何快速適配？

多說一句，尤其在中國(guó)，

有很多國(guó)產(chǎn)芯片，正在備嘗艱苦。

假如模型結(jié)構(gòu)固定的話，

玩幾個(gè)“經(jīng)典款”就夠了。

Llama或千問很有潛力。

我目之所及，無(wú)論中國(guó)的，還是美國(guó)的，

很多大甲方的基礎(chǔ)模型就選這兩個(gè)。

只要你能給出最優(yōu)解，我就選你。

只要AI框架自帶一個(gè)優(yōu)秀的Llama組件，

只要這個(gè)標(biāo)準(zhǔn)組件的性能比PyTorch原生的Llama提升15%。大家都很“現(xiàn)實(shí)”，當(dāng)“標(biāo)準(zhǔn)模型”成熟，開發(fā)者根本不關(guān)心它是用什么框架寫的。他們只想知道：哪種框架能讓我用的模型跑得更快？

若模型結(jié)構(gòu)固定，

這個(gè)AI框架（軟件）和AI芯片（硬件）做垂直整合，就有機(jī)會(huì)做出新優(yōu)勢(shì)。

因?yàn)橛布S商了解自家芯片的每一個(gè)細(xì)節(jié)，

框架可以針對(duì)芯片特性做極致優(yōu)化。

而PyTorch這種中立框架需要支持各種硬件，

優(yōu)化時(shí)得考慮兼容性。

它也不可能為某一個(gè)硬件優(yōu)化。

而JAX背后有谷歌TPU芯片，

MindSpore背后有昇騰AI處理器。

AI框架的未來(lái)，并不是單純拼生態(tài)廣度。

是誰(shuí)能在“模型固定后”的賽道上，

跑得更快、更遠(yuǎn)、更穩(wěn)。

當(dāng)下，模型是處于收斂和不收斂的中間狀態(tài)，

不是說模型結(jié)構(gòu)不變，而是它還在演進(jìn)，

中間狀態(tài)，多方戰(zhàn)況焦灼。

不得不說，蘋果的AI框架MLX，

Github上看，熱度漲得很快，不要小瞧。

蘋果MLX框架可面向個(gè)人開發(fā)者，或是小企業(yè)，

群體很大，抓住了，又有蘋果的硬件和全系統(tǒng)的支持，相對(duì)小（1TB）的模型就可在上面訓(xùn)練，做微調(diào)。蘋果這個(gè)例子說明了什么呢？

“垂直整合”。

（AI大模型垂直整合：我有一條龍服務(wù)，我就是那條龍）

不過，蘋果MLX框架+服務(wù)器芯片，

才開始搞，還要再觀察，而且，蘋果在端上的優(yōu)勢(shì)，是另一個(gè)故事了《AI推理篇》。將蘋果的MLX框架集成于M系列芯片中，猛搞終端推理優(yōu)化。

這種策略雖然不搶占大模型訓(xùn)練市場(chǎng)，但在iPhone、iPad上構(gòu)筑強(qiáng)大封閉生態(tài)。放眼望去，這條路也能走出大生態(tài)。

同理也適用于谷歌JAX和昇思MindSpore。

至于PyTorch，最近有點(diǎn)煩。

（完）

One More Thing

2024年2月，我已有一個(gè)以PyTorch被“掏空”為選題的寫作計(jì)劃。

不過，因?yàn)閷懽麟y度大，訪談難度高，久未成稿。

“新聞不是一天發(fā)生”，沒想到僅過一年，

局面基本可以確定如此，喟然一嘆，

這又是一個(gè)量變引起質(zhì)變的故事，

世間萬(wàn)事，莫過如此。