吉林
【全球存儲(chǔ)觀察 ｜ 科技熱點(diǎn)關(guān)注】
當(dāng)前，隨著大模型行業(yè)應(yīng)用的展開(kāi)，打造AI基礎(chǔ)設(shè)施在全球受到前所未有的重視，美國(guó)星際之門，法國(guó)的France 2030……
企業(yè)可以利用AI基礎(chǔ)設(shè)施中的算力、存力、算法和數(shù)據(jù)，推動(dòng)業(yè)務(wù)實(shí)現(xiàn)智能化創(chuàng)新與進(jìn)步。特別是在智能汽車、具身智能機(jī)器人、智能制造等新興領(lǐng)域的發(fā)展過(guò)程中，AI基礎(chǔ)設(shè)施帶來(lái)的價(jià)值日益凸顯。
不過(guò)，推動(dòng)AI基礎(chǔ)設(shè)施建設(shè)，在算力需求上呈現(xiàn)出了三大趨勢(shì)：算力需求分層、存算協(xié)同、GPU國(guó)產(chǎn)替代。其中，先進(jìn)存力依然占據(jù)著基石地位。
全球存儲(chǔ)觀察分析指出，隨著中國(guó)存儲(chǔ)力量的逐漸崛起，借助AI基礎(chǔ)設(shè)施建設(shè)的大好機(jī)遇，加速?gòu)澋莱?，大有可為?/p>
聚焦存需求變革，以創(chuàng)變應(yīng)萬(wàn)變
AI訓(xùn)練與推理的應(yīng)用對(duì)高性能存儲(chǔ)產(chǎn)品可謂是剛需。近年來(lái)中國(guó)存儲(chǔ)廠商在高性能存儲(chǔ)領(lǐng)域不斷發(fā)力，正好可以立足當(dāng)前AI應(yīng)用，順勢(shì)而為，在數(shù)據(jù)存儲(chǔ)領(lǐng)域推陳出新，以滿足AI基礎(chǔ)設(shè)施對(duì)存儲(chǔ)的高要求。
伴隨DeepSeek出現(xiàn)，通過(guò)算法優(yōu)化和混合精度訓(xùn)練，大模型訓(xùn)練成本已經(jīng)大幅降低。開(kāi)源模型開(kāi)始推動(dòng)推理需求爆發(fā)，推理普及化與專業(yè)化，企業(yè)可基于DeepSeek蒸餾小模型，結(jié)合領(lǐng)域數(shù)據(jù)微調(diào)，實(shí)現(xiàn)低延遲、高精度推理，邊緣端部署成為可能。同時(shí)對(duì)于數(shù)據(jù)模型精細(xì)化要求提升，就此帶來(lái)了存力需求的三大變革。
一是，刺激了數(shù)據(jù)存儲(chǔ)需求增加。隨著大模型的廣泛應(yīng)用和推理需求的增長(zhǎng)，數(shù)據(jù)的產(chǎn)生和存儲(chǔ)需求也在不斷增加。企業(yè)需要處理和存儲(chǔ)大量的訓(xùn)練數(shù)據(jù)、模型參數(shù)以及推理過(guò)程中產(chǎn)生的中間結(jié)果，這對(duì)存儲(chǔ)系統(tǒng)的容量和性能提出了更高的要求。
二是，迫使存儲(chǔ)性能要求提升。為了滿足大模型快速推理的需求，存儲(chǔ)系統(tǒng)需要具備更高的讀寫速度和更低的延遲。傳統(tǒng)的存儲(chǔ)架構(gòu)可能無(wú)法滿足這些要求，因此需要采用更先進(jìn)的存儲(chǔ)技術(shù)和架構(gòu)，如分布式存儲(chǔ)、閃存存儲(chǔ)等，以提高存儲(chǔ)系統(tǒng)的性能和可靠性。
三是，強(qiáng)化數(shù)據(jù)管理并確保安全性。大量的數(shù)據(jù)存儲(chǔ)也帶來(lái)了數(shù)據(jù)管理和安全性的挑戰(zhàn)。企業(yè)需要建立有效的數(shù)據(jù)管理系統(tǒng)，確保數(shù)據(jù)的一致性、完整性和可用性。同時(shí)，還需要加強(qiáng)數(shù)據(jù)安全防護(hù)，防止數(shù)據(jù)泄露和被惡意篡改。
聚焦AI時(shí)代的存力需求變革，唯有以創(chuàng)新應(yīng)萬(wàn)變，方能與時(shí)俱進(jìn)，力爭(zhēng)中國(guó)存儲(chǔ)彎道超車。曙光存儲(chǔ)副總裁張新鳳分析指出，特別是在自動(dòng)駕駛應(yīng)用領(lǐng)域，每天需要采集數(shù)TB數(shù)據(jù)，并做數(shù)據(jù)存儲(chǔ)匯總，然后經(jīng)過(guò)標(biāo)注、清洗等處理后的數(shù)據(jù)，供給大模型訓(xùn)練，訓(xùn)練完的數(shù)據(jù)需要?dú)w檔存儲(chǔ)起來(lái)。于是在每一個(gè)數(shù)據(jù)處理階段，將面對(duì)不同的存儲(chǔ)協(xié)議，如數(shù)據(jù)采集階段需要S3協(xié)議，數(shù)據(jù)標(biāo)注處理時(shí)需要NAS協(xié)議，算法訓(xùn)練時(shí)需要高性能POSIX協(xié)議，歸檔云端需要S3協(xié)議。
為此，針對(duì)支持AI訓(xùn)練加速應(yīng)用場(chǎng)景的需求，曙光存儲(chǔ)全新升級(jí)的ParaStor分布式全閃存儲(chǔ)解決方案，采取2U2N設(shè)計(jì)。其帶寬190GB/s，讀寫速度500萬(wàn) IOPS/s，大模型CKPT時(shí)間縮短到分鐘級(jí)，充分壓榨算力性能，萬(wàn)億參數(shù)大模型訓(xùn)練時(shí)間可以從數(shù)月縮短到數(shù)周，并且ParaStor分布式系統(tǒng)本身對(duì)多協(xié)議有著高效的支持能力，全面滿足自動(dòng)駕駛應(yīng)用場(chǎng)景每個(gè)處理數(shù)據(jù)階段的存儲(chǔ)協(xié)議需求。
然而，一個(gè)存儲(chǔ)設(shè)備不可能滿足AI的所有需求。因此針對(duì)訓(xùn)練提速與推理應(yīng)用的高要求上，需要有所不同的創(chuàng)新考量。
AI推理對(duì)存儲(chǔ)系統(tǒng)性能要求很高，可能大家有所耳聞，那么到底有多高呢？
全球存儲(chǔ)觀察分析認(rèn)為，主要在于AI推理對(duì)實(shí)時(shí)性要求高，高并發(fā)請(qǐng)求，以及數(shù)據(jù)密集型處理要求存儲(chǔ)系統(tǒng)性能必須高之又高，可謂沒(méi)有最高只有更高。為此，我們才看到SPC存儲(chǔ)性能打榜，每隔一段時(shí)間，總會(huì)出現(xiàn)新奇跡，這也是曙光、華為等國(guó)產(chǎn)存儲(chǔ)廠商努力登榜的原因所在。
AI推理需要快速響應(yīng)用戶請(qǐng)求，尤其是在實(shí)時(shí)交互場(chǎng)景中，如中大規(guī)模實(shí)時(shí)推理應(yīng)用、金融行業(yè)實(shí)時(shí)交易類業(yè)務(wù)等。存儲(chǔ)系統(tǒng)需要具備低延遲特性，以確保數(shù)據(jù)能夠快速加載和處理，從而滿足這類場(chǎng)景應(yīng)用的實(shí)時(shí)性要求。
在高并發(fā)請(qǐng)求上，大模型實(shí)時(shí)推理往往帶來(lái)每秒千萬(wàn)級(jí)的并發(fā)請(qǐng)求，這對(duì)存儲(chǔ)系統(tǒng)的IO吞吐量和并發(fā)處理能力提出了極高的要求。
當(dāng)然，AI推理屬于數(shù)據(jù)密集型處理的典型應(yīng)用場(chǎng)景，尤其是在處理大規(guī)模數(shù)據(jù)集時(shí)，會(huì)涉及大量數(shù)據(jù)的讀取和寫入。因而，存儲(chǔ)系統(tǒng)需要具備高帶寬和大容量，才能支持AI推理場(chǎng)景下的數(shù)據(jù)快速傳輸和存儲(chǔ)。
為了更好滿足AI推理加速應(yīng)用場(chǎng)景的需求，曙光FlashNexus集中式全閃存儲(chǔ)（8000）在AI推理領(lǐng)域樹(shù)立起了新的性能標(biāo)桿。這款具備全球最強(qiáng)存儲(chǔ)性能的產(chǎn)品，擁有32控、超3000萬(wàn)IOPS性能和 0.202ms的時(shí)延，通過(guò)超級(jí)隧道技術(shù)，實(shí)現(xiàn)RAG、KV-Cache親和，切實(shí)解決AI推理場(chǎng)景的存儲(chǔ)性能瓶頸，應(yīng)對(duì)AI推理場(chǎng)景的實(shí)時(shí)性、低延遲、高并發(fā)、數(shù)據(jù)密集型等存儲(chǔ)高性能需求。
除此之外，降本增效一直是中國(guó)存儲(chǔ)產(chǎn)業(yè)發(fā)展的長(zhǎng)期話題。因此，針對(duì)AI應(yīng)用場(chǎng)景的需求變革，還有一個(gè)重要的事情，AI應(yīng)用的數(shù)據(jù)最終會(huì)有很大一部分需要長(zhǎng)期存儲(chǔ)，歸檔存儲(chǔ)的成本優(yōu)化一直是所有存儲(chǔ)用戶所關(guān)注的重點(diǎn)之一。但是，AI應(yīng)用數(shù)據(jù)的歸檔存儲(chǔ)需要在保障存儲(chǔ)高效率的前提下，去實(shí)現(xiàn)成本的優(yōu)化。
瞄準(zhǔn)AI降本增效的應(yīng)用需求，立足高融合AI存儲(chǔ)需求，曙光存儲(chǔ)創(chuàng)新推出了4U60 ParaStor分布式全閃方案，實(shí)現(xiàn)更低成本歸檔AI數(shù)據(jù)。以1.44PB/框的超大容量和20%成本降低支撐千億參數(shù)歸檔，通過(guò)冷熱數(shù)據(jù)分層技術(shù)和智能數(shù)據(jù)調(diào)度功能，實(shí)現(xiàn)動(dòng)態(tài)優(yōu)化存儲(chǔ)資源的分配、跨形態(tài)熱溫冷數(shù)據(jù)無(wú)感流動(dòng)，提高了存儲(chǔ)資源的利用率。
其實(shí)，無(wú)論是針對(duì)訓(xùn)練提速、推理高質(zhì)，還是極致降本的應(yīng)用場(chǎng)景需求，都存在兩個(gè)最大的共性，那就是數(shù)據(jù)管理與數(shù)據(jù)安全，以及擴(kuò)展性和靈活性。
在AI訓(xùn)練與推理過(guò)程中，數(shù)據(jù)的安全性和隱私性至關(guān)重要。因而，任何一個(gè)過(guò)硬的存儲(chǔ)系統(tǒng)需要提供數(shù)據(jù)加密和訪問(wèn)控制功能，以防止數(shù)據(jù)泄露和未授權(quán)訪問(wèn)。值得一提的是，在數(shù)據(jù)全生命周期管理上，曙光ParaStor具備熱溫冷數(shù)據(jù)智能分級(jí)流動(dòng)，支持給數(shù)據(jù)自定義標(biāo)簽，過(guò)期后自動(dòng)刪除。對(duì)于AI數(shù)據(jù)存儲(chǔ)的安全要求，曙光ParaStor憑借全棧自研能力，從操作系統(tǒng)、存儲(chǔ)架構(gòu)、軟件核心模塊、存儲(chǔ)介質(zhì)等多層面保障數(shù)據(jù)安全。提升存儲(chǔ)可靠性，降低數(shù)據(jù)管理成本，讓AI訓(xùn)練與推理應(yīng)用變得省心省力。
同時(shí)對(duì)于擴(kuò)展性和靈活性的要求，隨著AI模型規(guī)模和數(shù)據(jù)量的增長(zhǎng)，存儲(chǔ)系統(tǒng)需要具備良好的擴(kuò)展性。于此，曙光存儲(chǔ)ParaStor分布式體系，與生俱來(lái)的擴(kuò)展性與靈活性，能夠提供動(dòng)態(tài)擴(kuò)展能力，支持存儲(chǔ)資源的靈活分配，這都不在話下。
新架構(gòu)重塑AI存儲(chǔ)，借勢(shì)加速?gòu)澋莱?/strong>
兵來(lái)將擋，水來(lái)土掩。通常而言，在存儲(chǔ)技術(shù)創(chuàng)新的道路上，唯有搞定了難點(diǎn)、痛點(diǎn)，才能談得上存儲(chǔ)技術(shù)的真創(chuàng)新。
面對(duì)AI基礎(chǔ)設(shè)施的大好發(fā)展時(shí)機(jī)，中科曙光在存儲(chǔ)產(chǎn)品升級(jí)的背后，暗藏新架構(gòu)重塑AI存儲(chǔ)的玄機(jī)，也借勢(shì)加速?gòu)澋莱嚒?/p>
首先，讓數(shù)據(jù)離GPU更近，搞定AI存儲(chǔ)兩大痛點(diǎn)。曙光存儲(chǔ)另辟蹊徑的XDS技術(shù)，讓數(shù)據(jù)直通GPU顯存，解決AI大模型訓(xùn)練和推理場(chǎng)景下的存儲(chǔ)痛點(diǎn)，提升數(shù)據(jù)處理效率和存儲(chǔ)性能，大幅縮短了訓(xùn)練時(shí)間，提高了模型的開(kāi)發(fā)效率。XDS技術(shù)采用多層級(jí)智能加速，集成了算力端和存力端各維度各層級(jí)的加速引擎，實(shí)現(xiàn)了高效的存算協(xié)同。在存力端，XDS內(nèi)嵌ParaBuffer加速引擎，在AI訓(xùn)練計(jì)算節(jié)點(diǎn)與存儲(chǔ)系統(tǒng)之間構(gòu)造大內(nèi)存池，將系統(tǒng)整體I/O性能提升數(shù)倍，大幅降低訓(xùn)練時(shí)間。
其次，實(shí)現(xiàn)高效數(shù)據(jù)處理，以存代算與以存促算相結(jié)合。作為一種在Transformer架構(gòu)中用于提升模型推理效率的關(guān)鍵技術(shù)，中科曙光AI存儲(chǔ)采用的KV-Cache通過(guò)緩存已計(jì)算的Key和Value矩陣，避免在自回歸生成過(guò)程中重復(fù)計(jì)算，從而顯著提升推理效率。由此，不僅提升實(shí)時(shí)交互性能，同時(shí)也降低同等GPU資源消耗，實(shí)現(xiàn)更高并發(fā)推理請(qǐng)求，推理效率提升50%，令業(yè)界刮目相看。不僅如此，中科曙光AI存儲(chǔ)支持檢索增強(qiáng)生成RAG技術(shù)，突破大模型在知識(shí)更新、幻覺(jué)問(wèn)題和推理效率上的限制。這種多源數(shù)據(jù)整合能力有助于提升模型在處理復(fù)雜問(wèn)題時(shí)的準(zhǔn)確性和全面性。
其三，打造AI數(shù)據(jù)湖，構(gòu)建AI全棧數(shù)據(jù)通道。中科曙光AI存儲(chǔ)通過(guò)高性能池、大容量池、數(shù)據(jù)保護(hù)池打造AI數(shù)據(jù)湖解決方案，聚焦數(shù)據(jù)加工的全環(huán)節(jié)，集成數(shù)據(jù)預(yù)處理、檢查點(diǎn)保存/加載等，能夠自動(dòng)查找、篩選和傳輸數(shù)據(jù)。
基于此，在新架構(gòu)重溯AI存儲(chǔ)的賽道上，曙光存儲(chǔ)通過(guò)多年的計(jì)算、存儲(chǔ)等領(lǐng)域技術(shù)積累，擁有面向AI存儲(chǔ)最新發(fā)展趨勢(shì)的創(chuàng)新能力，不只是發(fā)布升級(jí)產(chǎn)品，強(qiáng)化AI市場(chǎng)策略，聚焦行業(yè)用戶創(chuàng)新需求，同時(shí)也在引領(lǐng)中國(guó)存儲(chǔ)行業(yè)的發(fā)展，助推先進(jìn)存力賦能AI基礎(chǔ)設(shè)施的創(chuàng)新與變革。
而今大踏步邁入AI存儲(chǔ)時(shí)代，如此良好的發(fā)展契機(jī)，為何不順應(yīng)行業(yè)發(fā)展的時(shí)代機(jī)遇，實(shí)現(xiàn)中國(guó)存儲(chǔ)高質(zhì)量發(fā)展呢？
誠(chéng)然，順應(yīng)行業(yè)政策對(duì)AI基礎(chǔ)設(shè)施建設(shè)的重視與支持，像曙光、華為等中國(guó)存儲(chǔ)廠商正在加大研發(fā)投入，提升技術(shù)水平，推動(dòng)產(chǎn)業(yè)發(fā)展。同時(shí)抓住AI技術(shù)的快速發(fā)展和應(yīng)用的大好時(shí)機(jī)，中國(guó)存儲(chǔ)廠商不斷推出符合市場(chǎng)需求的產(chǎn)品和解決方案，實(shí)現(xiàn)市場(chǎng)份額更大增長(zhǎng)，推動(dòng)中國(guó)存儲(chǔ)高質(zhì)量發(fā)展。
由此可見(jiàn)，借AI新基礎(chǔ)設(shè)施建設(shè)的上升大勢(shì)頭，繼續(xù)提升中國(guó)存力的世界影響力，中國(guó)存儲(chǔ)加速?gòu)澋莱囈矊睦硐胫饾u變成現(xiàn)實(shí)。
機(jī)不可失，時(shí)不我待。
你怎么看？
歡迎文末評(píng)論補(bǔ)充！
【全球存儲(chǔ)觀察 ｜全球云觀察｜科技明說(shuō)｜阿明觀察】專注科技公司分析，用數(shù)據(jù)說(shuō)話，帶你看懂科技。本文和作者回復(fù)僅代表個(gè)人觀點(diǎn)，不構(gòu)成任何投資建議。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
