MLPerf存儲基準(zhǔn)測試V1.0衡量存儲系統(tǒng)在AI工作負(fù)載下的性能表現(xiàn)，其核心指標(biāo)是在給定的訓(xùn)練模型和GPU型號下，存儲系統(tǒng)能提供的帶寬以及支持的GPU數(shù)量。其他指標(biāo)，例如每GPU帶寬值或每計算節(jié)點帶寬值，基本由主機(jī)相關(guān)配置決定，和存儲系統(tǒng)性能無關(guān)，不具備可比性和參考價值。

今年9月底，MLCommons協(xié)會發(fā)布了最新MLPerf Storage v1.0 AI存儲基準(zhǔn)測試結(jié)果，引發(fā)了業(yè)內(nèi)的廣泛關(guān)注。

MLPerf benchmark是一個衡量人工智能硬件、軟件和服務(wù)性能的標(biāo)準(zhǔn)化基礎(chǔ)測試平臺，由圖靈獎得主David Patterson聯(lián)合頂尖學(xué)術(shù)機(jī)構(gòu)發(fā)起成立，是權(quán)威性最大、影響力最廣的國際AI性能基準(zhǔn)測試。2023年，MLCommons推出了MLPerf存儲基準(zhǔn)性能測試,旨在以架構(gòu)中立、具有代表性和可重復(fù)的方式衡量AI工作負(fù)載的存儲系統(tǒng)性能。

通過嚴(yán)格的測試標(biāo)準(zhǔn)和環(huán)境要求，以及豐富的測試模型和指標(biāo)，MLPerf存儲基準(zhǔn)測試不僅能夠為ML/AI模型開發(fā)者提供權(quán)威的參考依據(jù)，幫助他們選擇合適的存儲解決方案，同時測試結(jié)果也為存儲系統(tǒng)的優(yōu)化和改進(jìn)提供重要參考和指導(dǎo)。

而今年的MLPerf存儲基準(zhǔn)評測(v1.0)一共吸引了全球13家領(lǐng)先存儲廠商和研究機(jī)構(gòu)參與，該評測圍繞醫(yī)學(xué)影像分割、圖像分類、天文學(xué)參數(shù)預(yù)測三大AI存儲應(yīng)用場景，采用主流的3D-Unet、ResNet50、CosmoFlow三類模型，在GPU利用率高達(dá)90%或70%的條件下，以支持的模擬GPU數(shù)量以及帶寬作為基準(zhǔn)測試指標(biāo)，評估存儲系統(tǒng)的性能表現(xiàn)。

值得一提的是，為了更好的幫助外界理解本次基準(zhǔn)測試的標(biāo)準(zhǔn)和結(jié)果，MLCommons市場總監(jiān)Kelly Berschauer日前也單獨(dú)撰文《MLPerf storage benchmark: A user guide from the maker》，從官方的角度進(jìn)一步解讀了本次基準(zhǔn)測試背后的邏輯和思考。

其核心觀點是：“MLPerf存儲基準(zhǔn)測試V1.0衡量存儲系統(tǒng)在AI工作負(fù)載下的性能表現(xiàn)，其核心指標(biāo)是在給定的訓(xùn)練模型和GPU型號下，存儲系統(tǒng)能支持的GPU數(shù)量，而非每GPU帶寬值或每計算節(jié)點帶寬值�！�

首先，存儲系統(tǒng)能夠支持的模擬GPU訓(xùn)練集群的規(guī)模，是本次基準(zhǔn)評測的核心指標(biāo)。

可以看到，當(dāng)前訓(xùn)練數(shù)據(jù)集的規(guī)模正從TB級別上升至PB乃至EB級別，AI大模型的參數(shù)量也從千億級別向萬億甚至十萬億規(guī)模邁進(jìn)，這也意味著所需要的計算資源和存儲資源都將會同步增加，而存儲系統(tǒng)同樣需要提供足夠的容量和與之匹配的性能，才能更好地滿足AI訓(xùn)練過程中對存儲高性能的需求。所以，這個指標(biāo)本質(zhì)上是反映了存儲系統(tǒng)的擴(kuò)展能力和對大規(guī)模AI集群的支持能力。

基于此，在本次基準(zhǔn)測試中，官方認(rèn)為在給定的訓(xùn)練模型和GPU型號下，存儲系統(tǒng)能夠支持多少的模擬GPU數(shù)量將會決定系統(tǒng)性能的“上限”，而存儲系統(tǒng)能夠支持的GPU數(shù)量越多，不僅代表著系統(tǒng)的性能越高，同時用戶的AI存儲投資回報也會越高。當(dāng)然，由于當(dāng)前訓(xùn)練的AI集群規(guī)模都比較大，從用戶的角度來說，未來該指標(biāo)也可以進(jìn)一步“細(xì)化”到單臺存儲設(shè)備或者存儲的擴(kuò)展單元（scale unit）可以支持的GPU數(shù)量規(guī)模，以更全面、更準(zhǔn)確地反映存儲在大規(guī)模AI集群中的綜合性能表現(xiàn)。

其次，僅僅比較每個GPU的MiB/s值（寬帶傳輸速率），并沒有太大的參考價值。

本次基準(zhǔn)測試中，MLPerf Storage Benchmark主要是通過accelerator emulation測試工具，來模擬真實的 GPU，如：NVIDIA A100、H100 等，在無需真實GPU的情況下就能進(jìn)行大規(guī)模的存儲性能壓測，用以評估存儲系統(tǒng)在 AI 模型訓(xùn)練場景的適用性。

在這樣“虛擬”基準(zhǔn)測試環(huán)境下，每GPU對帶寬性能的要求基本上可以看作是一個“確定值”。如官方所言：“本次基準(zhǔn)測試中，只有當(dāng)Unet3D和ResNet50的加速器利用率達(dá)到90%以上，或者Cosmoflow的利用率達(dá)到70%以上時，整個基準(zhǔn)測試才會通過�！鼻覐牟煌瑥S商的UNET3D測試數(shù)據(jù)的對比中，也可以看到“每個GPU的性能差異不會超過10%�！薄９俜竭M(jìn)一步強(qiáng)調(diào)表示：“即使是GPU的使用率超過了90%（對于Unet3D和ResNet50）或者70%（對于Cosmoflow），基準(zhǔn)測試也不認(rèn)為有額外價值”。

事實上，我們以高速公路上行車為例，每GPU對帶寬性能的要求就像是每輛車在高速公路上面臨的“限速”一樣，車輛行駛過程中通常都是不能低于最低限速的（比如90%或70%的利用率）。此外，在基準(zhǔn)測試中強(qiáng)調(diào)的性能差異不超過10%，則類似于不同品牌的車輛在相同條件下（比如都是高性能跑車），它們的速度差異不會太大，都在一個相對接近的范圍之內(nèi)，因此即使車輛能夠開得再快，同樣也不能高于最高限速。

不僅如此，每GPU的帶寬差異也會受卡間同步開銷影響，如官方表示：“每GPU帶寬是用總數(shù)據(jù)讀取量除以總運(yùn)行時間得到的，沒有正確考慮權(quán)重交換期間的空閑時間的影響”。隨著GPU數(shù)量的增加，權(quán)重交換占用的時間也會增加，導(dǎo)致每GPU帶寬下降。因此，在當(dāng)前的測試基準(zhǔn)設(shè)定下，每GPU的MiB/s這個指標(biāo)，主要受GPU卡數(shù)量、主機(jī)性能的影響，無法用于評估存儲系統(tǒng)的性能表現(xiàn)。

我們可以這樣理解，如同在一條高速公路上，車輛的通行“速度”（ 每GPU的MiB/s值）這個指標(biāo)，主要受車輛數(shù)量（GPU卡數(shù)量）和道路擁堵狀況的影響，因而不能僅憑車輛的速度，就可以判斷一條高速公路的質(zhì)量（存儲系統(tǒng)）一樣，我們也不能僅憑每GPU的MiB/s值來評估存儲系統(tǒng)的性能表現(xiàn)。

最后，單純比較每個客戶端（主機(jī)）的MiB/s值，同樣也沒有太大的參考意義。

每客戶端（主機(jī)）的MiB/s基本和每主機(jī)模擬的GPU卡數(shù)呈線性正比，而測試基準(zhǔn)并不限制每主機(jī)模擬的GPU卡數(shù)，測試者可以根據(jù)主機(jī)的性能以及主機(jī)數(shù)量自主決定每主機(jī)模擬的GPU卡數(shù)。這意味著每臺客戶端（主機(jī)）的MiB/s并不能反映存儲系統(tǒng)的性能。

簡單做個比喻，這就像是在一場賽車比賽中，每家車隊（客戶端/主機(jī)）的最終名次大致上與他們參與比賽的賽車數(shù)量（模擬的GPU卡數(shù)）成正比，而比賽規(guī)則并沒有規(guī)定車隊必須駕駛多少輛賽車，因而車隊可以根據(jù)自己的駕駛技術(shù)（主機(jī)性能）以及車隊規(guī)模（主機(jī)數(shù)量）來自由決定自己駕駛的賽車數(shù)量。

這也是官方表示：“基準(zhǔn)測試報告中提到的主機(jī)節(jié)點數(shù)量，并不等同于實際需要的主機(jī)系統(tǒng)數(shù)量，因此我們無法從這個數(shù)據(jù)中得出什么有用的結(jié)論”背后的邏輯。

以此為參考，可以看到在本次MLPerf AI存儲基準(zhǔn)測試中，華為通過單臺設(shè)備成功滿足了255張GPU模擬訓(xùn)練的數(shù)據(jù)吞吐需求，其GPU利用率保持90%以上，單框穩(wěn)定帶寬高達(dá)679 GB/s，是傳統(tǒng)存儲性能的10倍，這一數(shù)據(jù)可以說充分展示了華為存儲系統(tǒng)在支持大規(guī)模GPU運(yùn)行方面的實力。

更為關(guān)鍵的是，它也再次印證了如果AI存儲系統(tǒng)能夠支持更多的GPU同時運(yùn)行，那么它就能更好地滿足大規(guī)模AI模型訓(xùn)練的需求，而這也是未來用戶評估存儲系統(tǒng)性能的核心指標(biāo)的重要所在。

正所謂“正本清源”，相信通過官方對MLPerf AI存儲基準(zhǔn)測試標(biāo)準(zhǔn)的解讀，大家可以更明白無誤地“看懂”本次MLPerf AI存儲基準(zhǔn)測試的結(jié)果，以便于在將來更好地選擇適合自身的AI存儲解決方案。