美國(guó)當(dāng)?shù)貢r(shí)間 7 月 22 日，馬斯克在社交平臺(tái) X 上發(fā)帖稱：“xAI 團(tuán)隊(duì)、X 團(tuán)隊(duì)、英偉達(dá)及其他支持公司已于當(dāng)?shù)貢r(shí)間凌晨 4 時(shí) 20 分開(kāi)始在‘孟菲斯超級(jí)集群’上進(jìn)行訓(xùn)練?！?/p>

（來(lái)源：X）

按照馬斯克的說(shuō)法，“孟菲斯超級(jí)集群”（Memphis Supercluster）堪稱是當(dāng)前世界上最強(qiáng)大的 AI 訓(xùn)練集群。

他還表示，孟菲斯超級(jí)集群由 10 萬(wàn)塊英偉達(dá) H100 GPU 組成（采用液冷散熱），在單個(gè) RDMA（遠(yuǎn)程直接數(shù)據(jù)存取，能夠克服網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理延遲）結(jié)構(gòu)上運(yùn)行，對(duì) AI 進(jìn)行訓(xùn)練。

另外，他在留言區(qū)中透露，目標(biāo)是“在今年 12 月前訓(xùn)練出各項(xiàng)指標(biāo)參數(shù)都是全球最強(qiáng)大的 AI”（有可能是 Grok 3）。

（來(lái)源：xAI 公司官網(wǎng)）

此前，馬斯克是 OpenAI 的聯(lián)合創(chuàng)始人之一，但后來(lái)由于公司內(nèi)部的利益沖突等問(wèn)題，他在 2018 年退出了這家公司。眼看 AI 浪潮席卷全球，馬斯克自然不甘落后，于是他自立門(mén)戶。

2023 年 7 月，馬斯克官宣 xAI 正式成立，其將“理解宇宙的真實(shí)本質(zhì)”作為公司愿景，他希望未來(lái)可以用 AI 來(lái)幫助人類解決復(fù)雜的科學(xué)和數(shù)學(xué)問(wèn)題并且“理解”宇宙。

由于他本人“光環(huán)”的加持，加之 xAI 的團(tuán)隊(duì)成員絕大部分都是來(lái)自微軟、DeepMind 等，xAI 儼然成為了 AI 領(lǐng)域“攪局者”一般的存在，對(duì)標(biāo)以 OpenAI 為代表的全球 AI 領(lǐng)域頭部玩家。

去年 11 月，xAI 公司推出旗下名為“Grok”的首個(gè) AI 大模型產(chǎn)品。據(jù)官方資料顯示，Grok 可以通過(guò)社交平臺(tái) X 實(shí)時(shí)了解現(xiàn)實(shí)世界，而且還可以回答通常被其他大多數(shù) AI 模型拒絕的“敏感”問(wèn)題，一度被業(yè)界稱為“叛逆版的 ChatGPT”。

與此同時(shí)，xAI 的吸金能力也讓包括 OpenAI、Anthropic、Inflection AI 等一眾 AI 公司汗顏。據(jù)悉，xAI 今年 5 月完成了 60 億美元的 B 輪融資，使該公司估值達(dá)到 240 億美元。

作為對(duì)比，以 AI 界的“扛把子”O(jiān)penAI 為例，成立近 10 年融資總額超 140 億美元，而 xAI 成立僅僅 10 個(gè)月便完成了 OpenAI 融資總額的一半。

能獲得如此高的融資金額，一方面得益于馬斯克全球強(qiáng)大的號(hào)召力和影響力，另一方面或許是資本看中這家初創(chuàng)公司的潛力及其產(chǎn)品開(kāi)發(fā)迭代進(jìn)程。

尤其是 2024 年以來(lái)，xAI 對(duì) Grok 的開(kāi)發(fā)迭代按下“加速鍵”。今年 3 月，xAI 推出從頭訓(xùn)練的、包含 3140 億參數(shù)的專家混合模型 Grok-1，其參數(shù)是 GPT-3.5 的 1.8 倍（GPT-3.5 包含 1750 億參數(shù)）；緊接著，又推出 128k 長(zhǎng)文本的 Grok-1.5，能夠理解長(zhǎng)語(yǔ)境和實(shí)現(xiàn)高級(jí)推理；4 月，推出旗下首款多模態(tài)大模型 Grok-1.5V，能夠處理文本、圖表、圖像等內(nèi)容，且在理解現(xiàn)實(shí)世界方面優(yōu)于其他 AI 模型；就在不久前，馬斯克表示計(jì)劃將在今年 8 月推出 Grok-2。

（來(lái)源：xAI 公司官網(wǎng)）

為了能與 OpenAI 的 ChatGPT、谷歌的 Gemini、Meta 的 Llama 等分一杯羹，馬斯克更是“煞費(fèi)苦心”。今年 5 月，馬斯克就表示要在年底前部署 8.5 萬(wàn)塊英偉達(dá) H100 GPU，隨后又進(jìn)行了加碼，并表示計(jì)劃部署 10 萬(wàn)塊英偉達(dá) H100 GPU 來(lái)訓(xùn)練和運(yùn)行 Grok 的下一個(gè)版本。

與此同時(shí)，馬斯克還計(jì)劃將所有芯片串聯(lián)成一個(gè)巨型計(jì)算機(jī)系統(tǒng)“超級(jí)計(jì)算集群”，地點(diǎn)則選址在美國(guó)田納西州的孟菲斯市。

畢竟，從很大程度上來(lái)說(shuō)，Grok-2 開(kāi)發(fā)進(jìn)程主要是受到芯片算力的掣肘。馬斯克曾坦言：“由于沒(méi)有足夠多的 AI 芯片，推遲了 Grok-2 模型的訓(xùn)練和發(fā)布。訓(xùn)練 Grok-2 大約需要 2 萬(wàn)塊英偉達(dá) H100 GPU， 而訓(xùn)練 Grok-2 的下一個(gè)版本以及未來(lái)更高的版本將需要 10 萬(wàn)塊 H100 GPU?！?/p>

馬斯克所說(shuō)的這個(gè)超級(jí)計(jì)算集群規(guī)模更是空前。簡(jiǎn)單對(duì)比一下，作為全球規(guī)模最龐大的計(jì)算集群之一，Meta 在今年 3 月推出了 2 個(gè)計(jì)算集群用于訓(xùn)練 Llama 3，每個(gè)計(jì)算集群都包含 2.4 萬(wàn)塊英偉達(dá) H100 GPU，xAI 的超級(jí)集群規(guī)模超出其 4 倍有余。

值得一提的是，近日 Meta 的 Llama 3.1 405B 正式發(fā)布，其在多項(xiàng)測(cè)試中超越 GPT-4o 和 Claude 3.5 Sonnet，而訓(xùn)練 Llama 3.1 則使用了多達(dá) 1.6 萬(wàn)塊英偉達(dá) H100 GPU。

顯然，算力已成科技巨頭的必爭(zhēng)之地。據(jù)消息稱，Meta 計(jì)劃到今年年底采購(gòu) 35 萬(wàn)塊英偉達(dá) H100 GPU，將其拓展到 60 萬(wàn)塊的規(guī)模；另外，微軟和 OpenAI 也在計(jì)劃投入 1000 億美元打造名為“星際之門(mén)”的超級(jí)計(jì)算機(jī)，預(yù)計(jì) 2030 年完成開(kāi)發(fā)。

不難看出，馬斯克口中“世界上最強(qiáng)大的 AI 訓(xùn)練集群”的地位似乎維持不了太久。

今年 5 月，馬斯克表示希望超級(jí)集群能夠在 2025 年秋季之前運(yùn)行起來(lái)，如今，隨著他此次的官宣按下“點(diǎn)火鍵”，這比原計(jì)劃提早了一年多。

圖｜馬斯克親臨超級(jí)集群施工現(xiàn)場(chǎng)（來(lái)源：X）

然而，該超級(jí)集群的建設(shè)和使用并沒(méi)有得到當(dāng)?shù)匾恍┙M織的認(rèn)可。據(jù)外媒報(bào)道，盡管孟菲斯商會(huì)團(tuán)體認(rèn)同 xAI 公司在該地建設(shè)如此大規(guī)模的超級(jí)集群工廠，但當(dāng)?shù)胤次廴窘M織和其他兩個(gè)環(huán)保組織對(duì)該超級(jí)集群的能源和水消耗表示擔(dān)憂，并警告稱可能會(huì)造成嚴(yán)重的“能源負(fù)擔(dān)”。

這些組織在一封公開(kāi)信中表示：“預(yù)計(jì) xAI 的冷卻塔每天至少需要 100 萬(wàn)加侖的水。我們鼓勵(lì) xAI 支持對(duì)孟菲斯市廢水再利用系統(tǒng)的投資，以減少供水壓力。”

另外，據(jù)孟菲斯照明、天然氣和水務(wù)公司的首席執(zhí)行官估計(jì)，“xAI 的超級(jí)集群工廠每小時(shí)可能消耗高達(dá) 150 兆瓦的電力，這大致相當(dāng)于 10 萬(wàn)戶家庭所需的電力?！?/p>

參考資料：

1.https://www.tomshardware.com/pc-components/gpus/elon-musk-fires-up-the-most-powerful-ai-training-cluster-in-the-world-uses-100000-nvidia-h100-gpus-on-a-single-fabric

2.https://www.pcmag.com/news/elon-musk-xai-powers-up-100k-nvidia-gpus-to-train-grok