這項可選服務(wù)將幫助數(shù)據(jù)中心運營商監(jiān)測整個 AI GPU 集群運行狀況，從而最大限度地延長正常運行時間。

隨著 AI 基礎(chǔ)設(shè)施的規(guī)模和復(fù)雜性不斷增加，數(shù)據(jù)中心運營商需要持續(xù)了解性能、溫度和功耗等因素。這些洞察使數(shù)據(jù)中心運營商能夠主動監(jiān)測和調(diào)整大規(guī)模分布式系統(tǒng)中的數(shù)據(jù)中心配置，從而確保這些系統(tǒng)以最高效率和可靠性運行。

NVIDIA 正在開發(fā)用于可視化和監(jiān)測 NVIDIA GPU 集群的軟件解決方案，為云合作伙伴和企業(yè)提供洞察儀表板，幫助他們提高整個計算基礎(chǔ)設(shè)施的 GPU 正常運行時間。

該服務(wù)由客戶選擇、自行安裝和控制，用于監(jiān)測 GPU 使用情況、配置和錯誤。它將包含一個開源客戶端軟件智能體，這是 NVIDIA 持續(xù)支持開放、透明軟件的一部分，旨在幫助客戶最大限度的發(fā)揮其 GPU 系統(tǒng)的性能。

通過這項服務(wù)，數(shù)據(jù)中心運營商將能夠：

• 追蹤功耗峰值，在不超出能耗預(yù)算的前提下最大化單位功耗性能。
• 監(jiān)測整個集群的利用率、內(nèi)存帶寬和互連運行狀況。
• 及早發(fā)現(xiàn)熱點和氣流問題，以避免過熱降頻和組件過早老化。
• 確認(rèn)軟件配置和設(shè)置一致，以確保結(jié)果可復(fù)現(xiàn)以及運行可靠。
• NVIDIA 軟件可選服務(wù)支持?jǐn)?shù)據(jù)中心集群管理發(fā)現(xiàn)錯誤和異常情況，及早發(fā)現(xiàn)故障部件。

這些功能可以幫助企業(yè)和云提供商可視化其 GPU 集群、解決系統(tǒng)瓶頸并優(yōu)化生產(chǎn)力，從而提高投資回報。

此可選服務(wù)提供實時監(jiān)測，讓每個 GPU 系統(tǒng)與外部云服務(wù)通信和共享 GPU 指標(biāo)。NVIDIA GPU 沒有硬件跟蹤技術(shù)、終止開關(guān)和后門。

以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：NVIDIA 軟件可選服務(wù)支持?jǐn)?shù)據(jù)中心集群管理 | NVIDIA 英偉達(dá)博客