HyperionResearch的最新調(diào)查顯示，2021年全球HPC的整體支出（包括本地、云和人工智能）達(dá)到了348億美元，并有望在2022年達(dá)到400億美元，預(yù)計(jì)到2026年可以達(dá)到500億美元的規(guī)模。而市場(chǎng)增長(zhǎng)的亮點(diǎn)來(lái)自于云端HPC的旺盛需求，HPC與云的深度融合正在提速。而作為云計(jì)算龍頭的亞馬遜云科技，其日前舉辦的re:Invent2022上的系列舉措，則更預(yù)示著云端高性能計(jì)算時(shí)代的到來(lái)。

HPC發(fā)展迅速，云端HPC崛起

眾所周知，高性能計(jì)算（簡(jiǎn)稱(chēng)HPC）是科學(xué)家、工程師和研究人員手中用來(lái)完成龐大復(fù)雜的計(jì)算密集型任務(wù)的利器，在天氣預(yù)報(bào)、石油和天然氣勘探、物理學(xué)、量子力學(xué)和其它科學(xué)領(lǐng)域，到處都能看到運(yùn)行著的HPC任務(wù)，典型的任務(wù)包括：制造數(shù)字孿生、計(jì)算機(jī)輔助工程、計(jì)算流體動(dòng)力學(xué)；金融交易平臺(tái)、風(fēng)險(xiǎn)建模；媒體視覺(jué)效果渲染；跨行業(yè)AI、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)；醫(yī)學(xué)研究、藥物發(fā)現(xiàn)、基因組學(xué)、氣候變化；生命科學(xué)、分析原子或分子中的物理運(yùn)動(dòng)，執(zhí)行核苷酸和基因組測(cè)序。

據(jù)TrendForce預(yù)測(cè)，2021年全球HPC市場(chǎng)規(guī)模達(dá)約368億美元，相較2020年增長(zhǎng)7.1％，并預(yù)估2022年全球HPC市場(chǎng)規(guī)模有望達(dá)397億美元，年增長(zhǎng)率為7.3%。此外，HPC市場(chǎng)規(guī)模將在2027年前持續(xù)增長(zhǎng)，并且2022年的增長(zhǎng)率為近幾年最高水平7.3％。

然而，隨著云計(jì)算被企業(yè)廣泛采用，業(yè)內(nèi)發(fā)現(xiàn)近年來(lái)高性能腦計(jì)算的發(fā)展與以往有所不同。那就是云端高性能計(jì)算的崛起。

據(jù)Hyperion Research的市場(chǎng)調(diào)研數(shù)據(jù)顯示，2022年底將有18.8%的HPC在云端運(yùn)行，而這個(gè)數(shù)據(jù)在2021年只有12.3%。而來(lái)自Market Research Future的報(bào)告也表明，云端高性能計(jì)算在未來(lái)五年會(huì)保持21%的年復(fù)合增長(zhǎng)率，2023年的市場(chǎng)規(guī)模將達(dá)220億美元。

對(duì)此，專(zhuān)家預(yù)測(cè)該數(shù)據(jù)在未來(lái)幾年還將呈現(xiàn)加速增長(zhǎng)的態(tài)勢(shì)，因?yàn)樵瓶梢再x予HPC豐富的“彈性”和更多、更廣的選擇能力，包括資源的擴(kuò)展性、敏捷性等，還可以大幅降低運(yùn)維的復(fù)雜度，使計(jì)價(jià)模式更靈活。

欲善其事先利其器：打造最佳HPC云平臺(tái)，架構(gòu)與芯片創(chuàng)新是關(guān)鍵

說(shuō)到云端HPC，目前在全球高性能計(jì)算轉(zhuǎn)向云平臺(tái)的過(guò)程中，約有58%的高性能計(jì)算云端計(jì)算量處于亞馬遜云科技平臺(tái)上。與此同時(shí)，亞馬遜云科技在高性能計(jì)算領(lǐng)域?qū)覄?chuàng)佳績(jī)，連續(xù)四年入選HPC連線雜志“最佳HPC云平臺(tái)”，并在2021 CCF年會(huì)上獲得高性能計(jì)算實(shí)例產(chǎn)品創(chuàng)新大獎(jiǎng)。

所謂工欲善其事必先利其器，亞馬遜云科技何以打造出最佳HPC云平臺(tái)？這就不得不提及AmazonNitro。

眾所周知，Amazon Nitro是亞馬遜云科技基礎(chǔ)架構(gòu)的核心，從2013年發(fā)展AmazonNitro系統(tǒng)，至今已經(jīng)接近十年的時(shí)間。

作為獨(dú)立專(zhuān)業(yè)硬件系統(tǒng)，Amazon Nitro深植在每一套物理機(jī)里面控制網(wǎng)絡(luò)、存儲(chǔ)，以及其他系統(tǒng)，結(jié)合其他VPC的環(huán)境、管理、安全的控制，以及監(jiān)控的系統(tǒng)、虛擬化層，最終將計(jì)算力交付給客戶。

具體表現(xiàn)在所有跟虛擬化有關(guān)的工作全部由Amazon Nitro系統(tǒng)完成，不再占用服務(wù)器里面的CPU內(nèi)存本身的資源，意味著釋放CPU內(nèi)存，交付真正的工作負(fù)載，而在傳統(tǒng)的數(shù)據(jù)中心環(huán)境里面自己搭建機(jī)器虛擬化的系統(tǒng)，可能虛擬化這一層會(huì)占整個(gè)算力20%，甚至更多的開(kāi)銷(xiāo)，這是非常大的浪費(fèi)。相比之下，從底層技術(shù)上Amazon Nitro會(huì)讓虛擬化的開(kāi)銷(xiāo)控制在1%以?xún)?nèi)，幾乎和完整的物理機(jī)給你的功能是一樣的，但是賦予了云的管理能力、云的安全能力等等。Amazon Nitro在性能上能夠把最新的硬件技術(shù)充分地發(fā)揮出來(lái)，運(yùn)用到高性能計(jì)算的實(shí)際案例中。

此外，網(wǎng)絡(luò)能力透過(guò)Amazon Nitro可以實(shí)現(xiàn)非常低的延時(shí)和很高的穩(wěn)定性，同時(shí)優(yōu)化了成本，Amazon Nitro是模塊化的系統(tǒng)，可以獨(dú)立發(fā)展，每一個(gè)模塊可以自由演進(jìn)，也可以和物理服務(wù)器脫離開(kāi)來(lái)，這樣一個(gè)靈活的機(jī)構(gòu)加上非常緊密的配合，可以與時(shí)俱進(jìn)地跟上所有硬件的需要，新的硬件的推出Amazon Nitro會(huì)給它新的能力，Amazon Nitro的發(fā)展也會(huì)給硬件帶來(lái)能力進(jìn)一步的提升，兩者相輔相成。

在我們看來(lái)，Amazon Nitro幾乎是業(yè)內(nèi)最早開(kāi)始嘗試將硬件虛擬化、云計(jì)算專(zhuān)用芯片整合而成一個(gè)統(tǒng)一架構(gòu)平臺(tái)的產(chǎn)品嘗試，背后的核心的動(dòng)力源于亞馬遜云科技對(duì)云計(jì)算本身的理解，即：彈性、安全、性能、成本、可用性及可持續(xù)性，這也是亞馬遜云科技在云計(jì)算領(lǐng)域的建設(shè)理念。在Amazon Nitro出現(xiàn)前，無(wú)論何種虛擬化方案，都無(wú)法將大部分資源用于客戶的計(jì)算服務(wù)，也無(wú)法降低服務(wù)采用門(mén)檻，Amazon Nitro實(shí)現(xiàn)了近乎裸機(jī)的性能是一種事實(shí)上的突破。另外，云計(jì)算的安全問(wèn)題自虛擬化技術(shù)誕生之初就伴隨出現(xiàn)，Amazon Nitro則把安全性推到一個(gè)新的高度。

簡(jiǎn)而言之，Amazon Nitro很好地化解了此前在云端獲取高性能計(jì)算時(shí)用戶所面臨的管理、能效及安全的挑戰(zhàn)，加速了云端高性能計(jì)算的落地。

目前亞馬遜云科技已經(jīng)在Amazon Nitro系統(tǒng)的加持下，有超過(guò)600款計(jì)算實(shí)例，幾乎可以滿足一切云上負(fù)載的需求。如今每天有超過(guò)6000 萬(wàn)個(gè)新的Amazon EC2實(shí)例在亞馬遜云科技上被創(chuàng)建。

需要說(shuō)明的是，自2013年推出 AmazonNitro系統(tǒng)以來(lái)，亞馬遜云科技還開(kāi)發(fā)了多個(gè)自研芯片，包括五代Amazon Nitro系統(tǒng)、致力于為各種工作負(fù)載提升性能和優(yōu)化成本的三代Amazon Graviton 芯片、用于加速機(jī)器學(xué)習(xí)推理的兩代 Amazon Inferentia芯片，以及用于加速機(jī)器學(xué)習(xí)訓(xùn)練的Amazon Trainium芯片。

而每推出一款新的芯片，亞馬遜云科技都進(jìn)一步提升了這些芯片支持的Amazon EC2實(shí)例的性能、效率以及更優(yōu)化的成本，為客戶提供了更多的芯片和實(shí)例組合選擇。

就像亞馬遜云科技Amazon EC2副總裁David Brown所言：“從Graviton到Trainium、Inferentia再到Nitro，亞馬遜云科技每一代自研芯片都為客戶的各種工作負(fù)載提供更高的性能、更優(yōu)化的成本和更高的能效。

當(dāng)然，除了上述架構(gòu)及芯片的創(chuàng)新外，面向行業(yè)需求與用戶痛點(diǎn)，具備大量高度產(chǎn)業(yè)指向的軟硬件構(gòu)成的HPC生態(tài)也是亞馬遜云科技在云端高性能計(jì)算領(lǐng)域不可或缺的因素。

一切剛剛開(kāi)始：re:Invent 2022，云端高性能計(jì)算創(chuàng)新不止

盡管在云端高性能計(jì)算已經(jīng)處在領(lǐng)先的位置，但對(duì)于亞馬遜云科技而言，一切剛剛開(kāi)始。

日前召開(kāi)的re:Invent 2022 大會(huì)上，亞馬遜云科技正式推出了針對(duì)高性能計(jì)算優(yōu)化的Amazon Graviton3E芯片，進(jìn)一步優(yōu)化了浮點(diǎn)運(yùn)算性能，在HPL基線測(cè)試中，工作負(fù)載的性能提升35%，對(duì)比上一代耗能減少60%。

與此同時(shí)，亞馬遜云科技還發(fā)布了第五代Nitro系統(tǒng)，相比于前一代產(chǎn)品，晶體管數(shù)量比前一代增加了一倍，提供更高的計(jì)算性能，同時(shí)DRAM內(nèi)存性能提升了一半，PCle帶寬提升兩倍，降低約三成延遲，每瓦性能提高四成，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能提高六成。

基于上述新發(fā)布的芯片和系統(tǒng)，亞馬遜云科技推出了面向不同工作負(fù)載的全新高性能計(jì)算實(shí)例，以幫助高性能計(jì)算客戶更好地應(yīng)對(duì)不同的工作負(fù)載，如計(jì)算密集型負(fù)載、計(jì)算和網(wǎng)絡(luò)密集型負(fù)載、數(shù)據(jù)和內(nèi)存密集型負(fù)載等，同時(shí)提供超高的性?xún)r(jià)比，進(jìn)一步推動(dòng)高性能計(jì)算的普及。

例如Amazon EC2 Hpc實(shí)例就采用了新發(fā)布的Graviton3E芯片，提供了更多的網(wǎng)絡(luò)功能，擁有更高的內(nèi)存帶寬和200Gbps的EFA彈性結(jié)構(gòu)適配器網(wǎng)絡(luò)，性能方面與當(dāng)前一代C6gn實(shí)例相比浮點(diǎn)性能提高了2倍，與當(dāng)前一代Hpc實(shí)例相比性能提高了20%，為亞馬遜云科技上的高性能計(jì)算工作負(fù)載提供了超高性?xún)r(jià)比。

而Amazon EC2 Hpc6id實(shí)例則是基于Amazon Nitro系統(tǒng)構(gòu)建，旨在為數(shù)據(jù)和內(nèi)存密集型HPC工作負(fù)載提供領(lǐng)先的性?xún)r(jià)比，具有更高的每核內(nèi)存帶寬、更快的本地SSD存儲(chǔ)以及帶有彈性結(jié)構(gòu)適配器的增強(qiáng)網(wǎng)絡(luò)。Hpc6id實(shí)例提供200Gbps彈性結(jié)構(gòu)適配器網(wǎng)絡(luò)，用于高吞吐量節(jié)點(diǎn)間通信，使客戶HPC工作負(fù)載能夠大規(guī)模運(yùn)行。

Amazon Hpc實(shí)例則是此前推出的計(jì)算密集型實(shí)例，廣泛用于天氣預(yù)報(bào)、流體動(dòng)力學(xué)計(jì)算、金融期權(quán)定價(jià)等領(lǐng)域，與基于X86架構(gòu)的實(shí)例相比，它的性?xún)r(jià)比高出65%。

眾所周知，模擬仿真是高性能計(jì)算的一大應(yīng)用場(chǎng)景，為此，亞馬遜云科技在re:Invent2022全球大會(huì)還推出了完全托管的計(jì)算服務(wù)Amazon SimSpace Weaver，基于亞馬遜云科技的高性能算力，幫助客戶構(gòu)建、操作和運(yùn)行大規(guī)模的空間模擬仿真系統(tǒng)。

借助Amazon SimSpace Weaver，客戶可以部署空間模擬應(yīng)用，對(duì)具有多個(gè)數(shù)據(jù)點(diǎn)的動(dòng)態(tài)系統(tǒng)進(jìn)行建模（例如整個(gè)城市的交通、場(chǎng)館內(nèi)流動(dòng)的人群或工廠車(chē)間的布局），模擬可視化的物理空間，運(yùn)行沉浸式的訓(xùn)練模型，獲得不同情景下的關(guān)鍵指標(biāo)并做出明智的決策?？蛻羰褂肁mazon SimSpace Weaver可模擬出100萬(wàn)個(gè)以上、實(shí)時(shí)交互的仿真對(duì)象，創(chuàng)建比以往更加復(fù)雜的環(huán)境，并且將模擬仿真系統(tǒng)部署的時(shí)間從數(shù)年縮短至數(shù)月。

直到今天，空間模擬通常僅限于在單個(gè)硬件上運(yùn)行。如果開(kāi)發(fā)人員想模擬一個(gè)包含大量獨(dú)立且動(dòng)態(tài)實(shí)體的更大、更復(fù)雜的世界，他們需要配置一臺(tái)更大的計(jì)算機(jī)。模擬開(kāi)發(fā)人員被迫在規(guī)模和保真度之間做出權(quán)衡，換句話說(shuō)，就是要確定世界有多大、有多少獨(dú)立實(shí)體，亞馬遜云科技突破了這個(gè)挑戰(zhàn)。

寫(xiě)在最后：從天氣建模到基因組作圖，再到搜尋地球外的空間信息，HPC（高性能計(jì)算）如今已遍布多個(gè)行業(yè)正在幫助推動(dòng)先進(jìn)計(jì)算技術(shù)的發(fā)展，現(xiàn)在云計(jì)算已經(jīng)可以全面支持HPC計(jì)算并推動(dòng)HPC在各行各業(yè)的落地。

值得注意的是，隨著硬件技術(shù)的創(chuàng)新，以及人工智能的迅猛發(fā)展，亞馬遜云科技發(fā)現(xiàn)越來(lái)越多的HPC任務(wù)和AI、ML、DL相結(jié)合。這就要求為客戶提供相對(duì)應(yīng)的方案，也由此催生出HPC+的概念——從更廣泛的維度，包括加速計(jì)算、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等多方面去設(shè)計(jì)服務(wù)和構(gòu)建方案，即一個(gè)全新的HPC+的云端高性能計(jì)算時(shí)代已經(jīng)到來(lái)，而亞馬遜云科技無(wú)疑再次站在了潮頭。