日前，備受業(yè)內(nèi)矚目的國際權(quán)威AI基準(zhǔn)測試MLPerf?公布了最新一期訓(xùn)練（Training)榜單V1.1。其中，中國系統(tǒng)廠商浪潮信息提交了AI服務(wù)器所有8項單機測試的固定任務(wù)(Closed Division)成績，并斬獲其中7項冠軍。而縱觀即將過去的2021年，在該年度總共4次性能測試中，浪潮AI服務(wù)器共斬獲44項第一，名列MLPerf?2021年度冠軍榜首。

那么問題來了，MLPerf?榜單緣何如此重要？以浪潮信息為代表的中國系統(tǒng)廠商獲得該榜單年度總冠軍背后意味著什么？

大咖云集、接地氣，MLPerf?榜單含金量高

提及與ICT產(chǎn)業(yè)相關(guān)領(lǐng)域的榜單，相信業(yè)內(nèi)有相當(dāng)部分的人會抱有不屑的態(tài)度。這很容易理解，畢竟在“不服跑個分”已經(jīng)成為某些廠商口頭禪和誰都要跑個分的今天，某些榜單的含金量大打折扣確是不爭的事實。

而在我們看來，衡量和判斷一個榜單含金量的標(biāo)準(zhǔn)非常簡單，即參與榜單廠商在與測試相關(guān)的產(chǎn)業(yè)中的實力和地位如何（代表權(quán)威性），更重要的是，該榜單的測試標(biāo)準(zhǔn)及項目是否更貼近該市場和用戶的實際應(yīng)用場景（代表實用性），即俗話說的是否更接地氣。

據(jù)此，我們來看看MLPerf?榜單的含金量究竟如何？

以MLPerf?公布的最新一期訓(xùn)練（Training)榜單V1.1為例，我們看到，它吸引了包括谷歌、微軟云、英偉達、浪潮信息、百度、戴爾、聯(lián)想等14家公司及科研機構(gòu)的參與。其中谷歌、英偉達、微軟無疑是業(yè)內(nèi)公認的，當(dāng)下AI領(lǐng)域軟硬件方面絕對的大咖，而浪潮信息則是AI系統(tǒng)（例如AI服務(wù)器）市場中的No.1（中國及全球AI服務(wù)器市場始終占據(jù)榜首）。從參與的廠商看，我們不難發(fā)現(xiàn)，其涵蓋了AI的硬件、軟件、系統(tǒng)、應(yīng)用等業(yè)內(nèi)頂尖的企業(yè)。

接下來我們再看其是否更貼近市場和用戶的實際應(yīng)用場商場景。這里我們還是以MLPerf?公布的最新一期訓(xùn)練（Training)榜單V1.1為例，上述參與的相關(guān)企業(yè)共提交180項固定任務(wù)成績，6項開放任務(wù)成績。其中固定任務(wù)要求參賽各方使用與參考模型等價的模型和限定的優(yōu)化器，對于實際用戶評測AI計算系統(tǒng)性能具備很強的參考意義，也一直是MLPerf?中角逐最激烈及主流廠商最關(guān)注的領(lǐng)域。

對此，浪潮信息高級 AI 產(chǎn)品經(jīng)理王磊此前接受全球權(quán)威數(shù)據(jù)中心媒體The Next Platform采訪時曾表示：“MLPerf 是基于最廣泛的 AI 負載和應(yīng)用場景，例如計算機視覺、自然語言處理和推薦系統(tǒng)?！薄癕LPerf 訓(xùn)練基準(zhǔn)中的八項任務(wù)提供了較為完整的各類神經(jīng)網(wǎng)絡(luò)模型，對客戶的應(yīng)用場景有非常好的代表性”。而也正是這份權(quán)威雜志，其在《WHY THE MLPERFBENCHMARK IS GOOD FOR AI, AND GOOD FOR YOU》https://www.nextplatform.com//why-the-mlperf-benchmark-is-good-for-ai-and-good-for-you/，文章中，作為第三方，詳細分析了MLPerf?榜單權(quán)威性的原因，有興趣的業(yè)內(nèi)人士不妨拿來一閱，相信會對MLPerf?榜單，尤其是其權(quán)威性和實用性會有更加客觀和深刻的理解，我們這里不再贅述。

我們認為，無論是從參與的廠商（AI產(chǎn)業(yè)相關(guān)大咖云集），還是其接近市場和用戶實際應(yīng)用場景（項目設(shè)置更符合實際應(yīng)用）以及獨立第三方的分析和解讀，MLPerf?榜單不僅權(quán)威，還更接地氣，是它對于市場和用戶的真正價值所在，即市場和用戶以此榜單作為標(biāo)準(zhǔn)做出的選擇，與其在實際業(yè)務(wù)場景中的應(yīng)用表現(xiàn)應(yīng)相差無幾。

當(dāng)我們明確了MLPerf?榜單的權(quán)威性及實用性再來看看中國系統(tǒng)廠商浪潮信息的表現(xiàn)。

2021年，浪潮AI服務(wù)器在MLPerf?數(shù)據(jù)中心AI推理場景的總32項任務(wù)中斬獲17項冠軍，在邊緣AI推理場景的總31項任務(wù)中斬獲16項冠軍，從云到邊全面領(lǐng)先；在單機AI訓(xùn)練場景的16項任務(wù)中浪潮AI服務(wù)器共斬獲11項冠軍。

可以說，無論是從MLPerf?榜單，還是實際應(yīng)用的角度，中國系統(tǒng)廠商在AI計算確實走在了前列。

系統(tǒng)級創(chuàng)新，榜單背后的硬核支撐

所謂知其然，需知所以然。中國系統(tǒng)廠商緣何會在MLPerf?榜單中名列前茅？

眾所周知，對于AI算力，雖然芯片是核心，但事實是，芯片從造出來到大規(guī)模用起來，往往還隔著一個巨大的產(chǎn)業(yè)鏈鴻溝，主要體現(xiàn)在，算力的供給需要構(gòu)建算力平臺，需要解決架構(gòu)設(shè)計、核心部件、高速互聯(lián)、散熱設(shè)計等一系列工程問題。而要解決這些問題，就涉及到系統(tǒng)創(chuàng)新。

需要提醒的是，千萬不要忽視系統(tǒng)創(chuàng)新的難度，具體到一臺AI服務(wù)器，除了芯片外，系統(tǒng)廠商需要解決超過300個關(guān)鍵的過程控制點和設(shè)計難題，同時還需要解決與算法框架和AI應(yīng)用的優(yōu)化和適配等挑戰(zhàn)。

業(yè)內(nèi)知道，與單純的芯片廠商相比，系統(tǒng)廠商由于長期位居服務(wù)市場和客戶的最前沿（離市場和用戶最近），最知曉他們的痛點和需求，所以在我們看來，有且只有系統(tǒng)廠商，依靠其系統(tǒng)級的創(chuàng)新能力，有的放矢，化解我們前述面臨的挑戰(zhàn)，最終釋放出AI算力的最大價值，高效率地輸出算力，滿足市場和用戶實際的應(yīng)用場景及業(yè)務(wù)需求。而這一規(guī)律，通過此次和全年霸榜MLPerf?的中國系統(tǒng)廠商浪潮信息在AI計算系統(tǒng)創(chuàng)新方面的系統(tǒng)設(shè)計和全棧優(yōu)化能力的表現(xiàn)得到了很好的驗證。

具體表現(xiàn)在，針對AI訓(xùn)練中常見的密集I/O傳輸瓶頸，浪潮AI服務(wù)器以領(lǐng)先設(shè)計大幅降低通信延遲，極大提升了AI訓(xùn)練效率；同時，針對高負載多GPU協(xié)同任務(wù)調(diào)度，對NUMA節(jié)點與GPU之間的數(shù)據(jù)傳輸進行全面優(yōu)化和深度調(diào)校，確保訓(xùn)練任務(wù)中的數(shù)據(jù)IO無阻塞；在散熱層面，針對目前業(yè)界功率最高的A100-SXM-80GB(500W） GPU，浪潮率先開發(fā)的先進冷板液冷系統(tǒng)，確保GPU在全功率甚負載下依然穩(wěn)定工作，將AI計算系統(tǒng)的性能發(fā)揮到極致。

針對不同AI任務(wù)的計算特點，浪潮AI服務(wù)器的精細化調(diào)優(yōu)能力也走在前列。在2020年的MLPerf? V0.7評測中，浪潮信息開創(chuàng)性提出效率更高的圖像分類（ResNet50）收斂性優(yōu)化方案，即在ImageNet數(shù)據(jù)集上，僅使用85%的迭代步數(shù)就達到了75.9%的目標(biāo)精度，該優(yōu)化方案將訓(xùn)練性能提升了15%。目前，該方案已被MLPerf社區(qū)成員普遍采納。此外，在本次V1.1競賽中，浪潮信息對Resnet任務(wù)中的圖像的前處理進行了優(yōu)化，使用DALI框架并在GPU上運行解碼，解決了CPU運行的計算瓶頸，實現(xiàn)了浪潮信息在ResNet任務(wù)上連續(xù)3屆領(lǐng)先。

由此看，本次浪潮AI服務(wù)器在8項AI訓(xùn)練任務(wù)中，取得7項冠軍，正體現(xiàn)了浪潮AI服務(wù)器對多元AI計算場景的洞察和深刻理解。

除了具備系統(tǒng)級的創(chuàng)新能力外，我們認為在解決這些市場和用戶痛點及滿足他們需求的同時，系統(tǒng)廠商還能形成自己對于相關(guān)產(chǎn)業(yè)發(fā)展趨勢的洞察和理解，做到先知先覺，并率先付諸于行動，進而形成市場先發(fā)和領(lǐng)先優(yōu)勢。

例如鑒于人工智能在算法領(lǐng)域的不斷突破，不同數(shù)值精度帶來了跨度更大的計算類型，對計算芯片指令集、架構(gòu)的要求更加細分。對此，圖靈獎獲得者 John Hennessy和 David Patterson2019年共同發(fā)表的《計算機架構(gòu)的新黃金時代》，詳見原文https://cacm.acm.org/magazines/2019/2/234352-a-new-golden-age-for-computer-architecture/fulltext中提出：當(dāng)摩爾定律不再適用，一種更以硬件為中心的針對特定問題領(lǐng)域定制設(shè)計計算機體系架構(gòu)的方法DSAs(Domain-Specific Architectures）會成為主導(dǎo)，這種設(shè)計的核心在于針對特定問題或特定領(lǐng)域來定義計算架構(gòu)。

而我們從系統(tǒng)廠商浪潮信息上述的系統(tǒng)級創(chuàng)新不難判斷，其不僅對于計算產(chǎn)業(yè)的發(fā)展趨勢早有認知（例如率先推出采用GPU加速的AI服務(wù)器實例，并至今引領(lǐng)這一市場），且已經(jīng)通過自身的系統(tǒng)級創(chuàng)新能力正在化解擺在業(yè)內(nèi)面前、讓新的計算架構(gòu)真正落地所面臨的挑戰(zhàn)（如我們前述阻礙AI芯片充分發(fā)揮算力產(chǎn)生的產(chǎn)業(yè)鏈鴻溝）。而這也是中國系統(tǒng)廠商霸榜MLPerf?榜單背后的又一個重要原因。

服務(wù)數(shù)字經(jīng)濟，智算時代迎挑戰(zhàn)仍需更多

眾所周知，ICT產(chǎn)業(yè)的創(chuàng)新最終都是要為市場和用戶服務(wù)。而在人工智能為代表的智算時代同樣如此。我們前述AI計算系統(tǒng)創(chuàng)新的根本目的，最終還是要讓算力、算法和數(shù)據(jù)去服務(wù)數(shù)字經(jīng)濟，去支撐科研創(chuàng)新，去推動智慧轉(zhuǎn)型，這就需要加大以AI計算為核心的智能計算中心—這一新型人工智能基礎(chǔ)設(shè)施建設(shè)，以此推動AI產(chǎn)業(yè)化、產(chǎn)業(yè)AI化和政府治理的智能化。

但隨之而來的，面對智算中心建設(shè)所需大規(guī)模AI算力部署，AI算力平臺建設(shè)將面臨高功耗、高電流密度、高總線速率、高系統(tǒng)復(fù)雜度的新挑戰(zhàn)。

對此，中國工程院院士、浪潮首席科學(xué)家王恩東認為，要想釋放多元算力價值、促進人工智能創(chuàng)新，一是要重視智算系統(tǒng)的創(chuàng)新，加大人工智能新型基礎(chǔ)設(shè)施建設(shè)，把從技術(shù)到應(yīng)用的鏈條設(shè)計好，從體系結(jié)構(gòu)、芯片設(shè)計、系統(tǒng)設(shè)計、系統(tǒng)軟件、開發(fā)環(huán)境等各個領(lǐng)域形成既分工明確又協(xié)同創(chuàng)新的局面；二是要加快推動開放標(biāo)準(zhǔn)建設(shè)，通過統(tǒng)一的、規(guī)范的標(biāo)準(zhǔn)，將多元化算力轉(zhuǎn)變?yōu)榭烧{(diào)度的資源，讓算力好用、易用。

不知業(yè)內(nèi)從王恩東院士的言論看到了什么？我們看到的是，系統(tǒng)級創(chuàng)新在智算中心的建設(shè)中依然是重中之重，畢竟AI計算是智算中心的核心，而AI服務(wù)器又是智算中心生產(chǎn)算力的“動力機組”，是產(chǎn)出強大算力的源泉。而放置于智算系統(tǒng)（例如智算中心），系統(tǒng)創(chuàng)新又被賦予了更寬泛的內(nèi)涵，即不僅應(yīng)是算力的生產(chǎn)，還應(yīng)包括聚合、調(diào)度和釋放，同時需要產(chǎn)業(yè)鏈相關(guān)參與者在遵守統(tǒng)一、規(guī)范的標(biāo)準(zhǔn)之下，通力協(xié)作，各施所長，打造智算生態(tài)。

實際的情況是，去年發(fā)布的《智能計算中心規(guī)劃建設(shè)指南》已經(jīng)就上述做了明確的說明。而系統(tǒng)廠商，無論是在算力的生產(chǎn)、聚合、調(diào)度和釋放，還是在打造生態(tài)方面，已走在了業(yè)內(nèi)的前列。

以浪潮信息為例，除了我們前述的在算力生產(chǎn)層面的系統(tǒng)級創(chuàng)新外，在算力調(diào)度層面，浪潮AIStation人工智能開發(fā)平臺能夠為AI模型開發(fā)訓(xùn)練與推理部署提供從底層資源到上層業(yè)務(wù)的全平臺全流程管理支持，幫助企業(yè)提升資源使用率與開發(fā)效率90%以上，加快AI開發(fā)應(yīng)用創(chuàng)新（解決了算力的效率問題）；在聚合算力方面，浪潮持續(xù)打造更高效率更低延遲硬件加速設(shè)備與優(yōu)化軟件棧；在算力釋放上，浪潮AutoML Suite為人工智能客戶與開發(fā)者提供快速高效開發(fā)AI模型的能力，開啟AI全自動建模新方式，加速產(chǎn)業(yè)化應(yīng)用。

總結(jié)：綜上，我們看到，系統(tǒng)廠商在MLPerf?中能取得優(yōu)異成績的能力，是建立在其對市場及客戶應(yīng)用場景的理解之上，而其在產(chǎn)品研發(fā)、客戶需求、實際應(yīng)用中所獲得的洞察和理解，又指導(dǎo)著MLPerf?測試，是其能夠取得優(yōu)異成績的一個重要原因。與此同時，系統(tǒng)廠商在MLPerf?測試中的探索和創(chuàng)新也反過來幫助其更好地回饋產(chǎn)業(yè)客戶的實際應(yīng)用，以此形成一種良性的循環(huán)。而這種良性循環(huán)，在保持系統(tǒng)廠商持續(xù)領(lǐng)先的同時，更重要的是會加速AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的落地。而在智算中心到來的時代，這種能力和良性循環(huán)又會被放大，進而促進中國數(shù)字經(jīng)濟的發(fā)展。