北京
日前，有X博主發(fā)文表示，OpenAI目前最強(qiáng)的大模型GPT-5是使用英偉達(dá)H100/H200芯片訓(xùn)練的，用GB200 NVL72進(jìn)行推理，而并未用上更強(qiáng)大的B200芯片。
其消息援引自英偉達(dá)亞太區(qū)官方賬號(hào)于今年8月的一條X推文，內(nèi)容曝光了 OpenAI GPT-5 背后的硬件支撐細(xì)節(jié)，根據(jù) NVIDIA Asia Pacific 發(fā)布的內(nèi)容，GPT-5 的訓(xùn)練環(huán)節(jié)并未采用最新的 B200—— 其訓(xùn)練依賴的是 NVIDIA H100 和 H200 GPU；而在推理部署階段，則用上了 NVIDIA GB200 NVL72 系統(tǒng)。
這個(gè) GB200 NVL72 系統(tǒng)配置相當(dāng) “豪華”：它搭載了 72 個(gè) Blackwell 架構(gòu) GPU，還搭配了 36 個(gè) Grace CPU，整套系統(tǒng)靠 NVIDIA 的 NVLink 及 NVLink Switch 計(jì)算架構(gòu)連接，專門適配大規(guī)模的頂尖 AI 運(yùn)算需求。
同時(shí)這條動(dòng)態(tài)也明確了一個(gè)信息：目前市面上還沒(méi)有任何模型，是通過(guò) B200 訓(xùn)練生成的。
英偉達(dá)的 B200（基于 Blackwell 架構(gòu)）是比 H100（Hopper 架構(gòu)）和 H200（Hopper 的升級(jí)版）更強(qiáng)大的芯片，尤其是在 AI 訓(xùn)練和推理方面。
B200 支持更低精度 FP4 和 FP6，并在 FP4 情況下能達(dá)到 ~20 PFLOPS 的推理算力，是 H100 ~4× 的峰值表現(xiàn)。H100 主要優(yōu)化 FP8，但在這些超低精度場(chǎng)景下算力不及 B200。
B200 擁有 192 GB HBM3e 以及 ~8 TB/s 內(nèi)存帶寬，顯著超過(guò) H100/H200。H200 雖然比 H100 內(nèi)存大（~141 GB），但在規(guī)模、帶寬與性能上仍落后于 B200。
此外，在多卡互聯(lián)方面，B200 使用更先進(jìn)的 NVLink 5（~1.8 TB/s），提升大規(guī)模分布式訓(xùn)練效率。
當(dāng)然，并不是說(shuō)用上B200來(lái)訓(xùn)練大模型，就一定比H100/H200訓(xùn)練的大模型“必然更強(qiáng)”，但它能讓訓(xùn)練更便宜、更快，并支持更大的模型規(guī)模和更多訓(xùn)練迭代，因此在同樣的技術(shù)路線下，大概率會(huì)帶來(lái)更強(qiáng)的大模型。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
