淺友們好~我是史中，我的日常生活是開(kāi)撩五湖四海的科技大牛，我會(huì)嘗試用各種姿勢(shì)，把他們的無(wú)邊腦洞和溫情故事講給你聽(tīng)。如果你想和我做朋友，不妨加微信（shizhongmax）。

AI 能陪你親親熱熱，

多虧了“存儲(chǔ)硬漢”輸出狠活兒！

文 | 史中

（一）AI 憑啥免費(fèi)給你香香？

你有沒(méi)有想過(guò)，這些國(guó)民級(jí)的 AI 應(yīng)用憑啥能免費(fèi)給你用？

現(xiàn)在咱人均都有四五個(gè)“在線卑微”的 AI 秘書。

她們化著淡妝站一排，從“霸王龍?jiān)趺创暝琛钡健皢适瑖强恳桓篮炄绾瓮粐?，無(wú)論多奇葩的問(wèn)題，只要你問(wèn)得出口，她們就必須捏著鼻子答。

而且，豆秘書（豆包）的答案不滿意，你扭頭就去找 D 秘書（DeepSeek），是一點(diǎn)兒情面都不看，比皇帝選妃還兇殘，屬實(shí)膨脹。

要知道，這些秘書們可都是免費(fèi)的??！一個(gè)個(gè)用愛(ài)發(fā)電、自帶干糧住你家、 24 小時(shí)侍寢還被你挑三揀四。

可見(jiàn) AI 這行有多卷。

當(dāng)然，免費(fèi)背后肯定是 AI 廠商在補(bǔ)貼嘛。但這里有個(gè)前提：成本不能離譜，太高誰(shuí)也補(bǔ)不起呀！

AI 廠商的師傅們每天研究一件事兒——怎么高性價(jià)比地“開(kāi)學(xué)?！?！

教學(xué)質(zhì)量要好：隔三差五把自家模型送學(xué)?；貭t，爭(zhēng)取學(xué)完之后色藝雙絕，艷壓群芳； 學(xué)費(fèi)還得便宜：畢竟就算學(xué)出來(lái)是學(xué)貫中西博古通今的花魁，打工的收入還是辣么微薄。。。

從 2023 年開(kāi)始，各家 AI 都狂暴地請(qǐng)來(lái)更好的名師（算法），研發(fā)新的教材（數(shù)據(jù)），蓋更多的教室（GPU），使用更先進(jìn)的教學(xué)管理制度（訓(xùn)練框架），爭(zhēng)取讓學(xué)生們學(xué)得又好又快又便宜。

忙活了一兩年，賽博世界里一座座嶄新的學(xué)校挺立，”教學(xué)性價(jià)比”嗷嗷提升。

夠了嗎？夠了。。。又好像不夠。。。

老師傅們不約而同地緩緩移動(dòng)懷疑的目光。

他們發(fā)現(xiàn)，角落里不起眼的“圖書館”。。。仿佛似乎竟然。。。成了支撐 AI “性價(jià)比”的一根重要支柱?。?！

此時(shí)從天空俯瞰，歷史恰行至拐點(diǎn)，驚雷炸響，國(guó)產(chǎn)存儲(chǔ)技術(shù)的命運(yùn)齒輪開(kāi)始緩緩轉(zhuǎn)動(dòng)。

（二）建圖書館的“天命人”

我們開(kāi)動(dòng)時(shí)光機(jī)，去往 2023 年的北京西二旗。

那真是平靜的日子，袁清波還有空研究“保溫杯里應(yīng)該泡哪種枸杞”。。。不光是他，整個(gè)曙光存儲(chǔ)的技術(shù)團(tuán)隊(duì)都在“泡枸杞”。

澄清一下，不是老師傅集體躺平摸魚(yú)，正相反，他們有點(diǎn)兒“獨(dú)孤求敗”的意思。

這幫師傅就是“圖書館”的施工隊(duì)。

所謂圖書館，就是——企業(yè)級(jí)存儲(chǔ)系統(tǒng)。

那時(shí)候，曙光存儲(chǔ)系統(tǒng)主要服務(wù)于大型的國(guó)企央企。這些企業(yè)的數(shù)據(jù)固然很重要，但要求和圖書館類似：存下來(lái)，別丟，想要的時(shí)候能找出來(lái)。

至于一個(gè)數(shù)據(jù)是 0.1 秒找到，還是 0.0001 秒找到，同時(shí)能找 10 萬(wàn)條數(shù)據(jù)還是 100 萬(wàn)條數(shù)據(jù)，還真沒(méi)啥極致的講究。。。

再看袁清波，是中科院計(jì)算所的博士后，主攻系統(tǒng)架構(gòu)，他的很多同事都是中科院師兄弟，放眼全中國(guó)這是妥妥的明星陣容。雖說(shuō)要正心誠(chéng)意地開(kāi)發(fā)每一代產(chǎn)品，但這個(gè)團(tuán)隊(duì)多少有點(diǎn)兒“性能過(guò)?！钡囊馑?。

袁清波

靈明石猴棲身花果山，可不是為了量販吃桃，而是有朝一日成為“天命人”。

這不，2024 年春節(jié)剛過(guò)，分布式存儲(chǔ)產(chǎn)品 ParaStor 的產(chǎn)品經(jīng)理喬雅楠就找到了袁清波，上來(lái)一頓虎狼之詞：

“下一代分布式存儲(chǔ)產(chǎn)品，能不能把帶寬做到190G 每秒，把IOPS 做到 500 萬(wàn)？”

先按下暫停鍵，科普一下。

這句話的意思是說(shuō)：

1）每秒鐘傳輸?shù)臄?shù)據(jù)量是 190GB，這相當(dāng)于 38000 張照片。這么說(shuō)吧，你微信里所有朋友一年的自拍，都能在一秒鐘內(nèi)幫你存好！ 2）每秒鐘存取的動(dòng)作能做 500 萬(wàn)次，相當(dāng)于天南海北的 500 萬(wàn)人同時(shí)給你小紅書點(diǎn)贊，能在一秒之內(nèi)一個(gè)不差地幫你記錄清楚！

不夸張地說(shuō)，曙光是中國(guó)存儲(chǔ)產(chǎn)品的扛把子，性能本來(lái)就是“姚明級(jí)”的。但下一代產(chǎn)品的要求卻要比現(xiàn)在翻兩番，妥妥是讓姚明穿著增高鞋踩高蹺蹦起來(lái)扣籃。。。

這么強(qiáng)悍的性能，是準(zhǔn)備存啥？？

咱們繼續(xù)按下播放鍵。

袁清波聽(tīng)到這話，并不驚詫，而是 45 度仰天長(zhǎng)嘆，一副“該來(lái)的總算來(lái)了”的神情。。。

雖是久居山林的掃地僧，但技術(shù)師傅早有耳聞，曙光存儲(chǔ)正在和很多頭部 AI 廠商勾兌，要幫他們的“AI 學(xué)?！苯ā皥D書館”。

這里，話頭就和最開(kāi)始接上了：訓(xùn)練個(gè) AI，到底跟圖書館有啥關(guān)系嘞？

不妨跟著中哥鉆進(jìn)一座 AI 學(xué)校，咱們實(shí)地觀摩下目前人類最牛的“萬(wàn)億參數(shù)大語(yǔ)言模型”是腫么訓(xùn)練的！

我們先來(lái)到教學(xué)樓，這里熱火朝天，有 1 萬(wàn)間教室，每個(gè)教室里都能坐下 1 億個(gè)葫蘆娃，他們?cè)谝槐疽槐镜仫w速看書。

每個(gè)葫蘆娃其實(shí)就是 AI 大腦的一個(gè)神經(jīng)元。他們看的書，就是訓(xùn)練語(yǔ)料。

每看一本書，他們都會(huì)刷新一次自己對(duì)世界的認(rèn)識(shí)，然后改一下手里的參數(shù)。

當(dāng)所有的教材都看完之后，每個(gè)葫蘆娃手里的最終參數(shù)也固定了下來(lái)，一萬(wàn)億個(gè)參數(shù)匯合在一起，就組成了一個(gè)水靈靈的 AI 大秘書！

喂養(yǎng)這么一個(gè)怪獸級(jí)的模型，大概需要消耗 10PB 的語(yǔ)料。這是多少呢？

換成紙質(zhì)書有 220 億本，一本一本豎著放，也能繞地球赤道一圈。比香飄飄還狠。

一萬(wàn)億個(gè)葫蘆娃同時(shí)看書，場(chǎng)面如風(fēng)卷殘?jiān)疲?/p>

可能這一秒要從圖書館調(diào)撥 500 萬(wàn)冊(cè)語(yǔ)文書；下一秒鐘就調(diào)撥 500 萬(wàn)冊(cè)英語(yǔ)書。。。

這時(shí)候，壓力給到了圖書館，如果供不上這么大的量，那學(xué)校只能停課干等，不就浪費(fèi)了教學(xué)資源嗎？！

所以，要想支持世界最強(qiáng) AI 的訓(xùn)練，500 萬(wàn) IOPS（也就是每秒 500 萬(wàn)次讀寫）的能力還真就是必須的↓↓↓

即便如此，還遠(yuǎn)遠(yuǎn)不夠。

AI 學(xué)校并不真實(shí)，而是在賽博世界里構(gòu)建的，每間教室其實(shí)就是一張顯卡。這一萬(wàn)張顯卡同時(shí)進(jìn)行巨量又細(xì)密的計(jì)算，難免會(huì)出現(xiàn) Bug。

這就好像：一萬(wàn)間教室突然有一個(gè)停電了，葫蘆娃同學(xué)一慌，把之前看的書給忘了。。。

這一忘不要緊。因?yàn)樽罱K的 AI 秘書由每一個(gè)葫蘆娃手里的參數(shù)所共同支撐，有一個(gè)教室的學(xué)生學(xué)岔劈了，所有教室的學(xué)生都得重頭再來(lái)。

沒(méi)錯(cuò)，是倒回到新學(xué)期第一天，從第一本書開(kāi)始。。。

就像下圖↓↓↓

不用懷疑，現(xiàn)在人類的技術(shù)就是這么水。

為了讓 AI 好歹能訓(xùn)練完，老師傅摸索出了一個(gè)并不優(yōu)雅的辦法：

每隔一段時(shí)間，就讓所有葫蘆娃暫停下，把手里的參數(shù)統(tǒng)一抄在本本上，作為一個(gè)“檢查點(diǎn)”放在圖書館備著。 萬(wàn)一后面哪個(gè)教室掉鏈子，就全體滾回到最近的“檢查點(diǎn)”開(kāi)始，總比從頭來(lái)要好！

就像醬↓↓↓

這里，壓力又給到了圖書館！

檢查點(diǎn)包括萬(wàn)億參數(shù)，是一個(gè)巨巨巨巨大的文件，最大能到 5TB，相當(dāng)于 3 套《四庫(kù)全書》。

圖書館存這么多書，可得要點(diǎn)兒時(shí)間呢。。。關(guān)鍵是，如果完成這個(gè)存檔需要 1 小時(shí)，那么下一個(gè)存檔最早也要 1 小時(shí)之后才能開(kāi)始。

這中間萬(wàn)一學(xué)校那邊出錯(cuò)了，就相當(dāng)于一個(gè)小時(shí)都白學(xué)了。一退就退一個(gè)鐘頭，這不又浪費(fèi)了教學(xué)資源嗎？！

也許有人覺(jué)得，一個(gè)小時(shí)還好吧。

給你算算，萬(wàn)卡集群的成本是幾億美元，核算折舊，加上電費(fèi)、人力，每回滾一秒就是上百美元的損失，回滾兩分鐘就是近萬(wàn)美元的損失，回滾一個(gè)小時(shí)幾十萬(wàn)美元就沒(méi)了。。。

幾十萬(wàn)美元用來(lái)買泡面，得吃幾輩子呀？！

如果圖書館（存儲(chǔ)系統(tǒng)）每秒能存儲(chǔ) 190GB，那情況就完全不同了——存完一個(gè) 5TB 的檢查點(diǎn)只需要 26.32 秒。

這意味著，每分鐘都可以存一次檔！存兩次都行！

這就相當(dāng)于開(kāi)掛了呀↓↓↓

OK，科普結(jié)束，跳回現(xiàn)實(shí)。

喬雅楠粗略算了一下，如果達(dá)到每秒 190GB 吞吐能力，500 萬(wàn) IOPS，對(duì)于 AI 廠商來(lái)說(shuō)，每投入 1 快錢在這樣的存儲(chǔ)上，就能得到 10 快錢的收益。這種“一本十利”的買賣，誰(shuí)能拒絕呢？

這筆賬算完，技術(shù)團(tuán)隊(duì)的命數(shù)就定了——搞得出來(lái)要搞，搞不出來(lái)也得搞！

此時(shí)，鏡頭緩緩轉(zhuǎn)向?qū)γ娴脑宀ā１尘耙魳?lè)的鼓點(diǎn)兒已經(jīng)由遠(yuǎn)及近，保溫杯里震起漣漪。。。

生活不止眼前的枸杞，曙光存儲(chǔ)團(tuán)隊(duì)的師傅們已不再是花果山散仙，而是拯救人工智能于水火的“天命人”。

Mission Accepted！

（三）從頭蓋一座圖書館

話說(shuō)，曙光存儲(chǔ)老師傅之所以敢接這么兇殘的任務(wù)，還有個(gè)樸素的原因：當(dāng)時(shí)某頂尖美國(guó)存儲(chǔ)廠商已經(jīng)放出風(fēng)來(lái)，他們的下一代產(chǎn)品可以達(dá)到 190G 帶寬。

呵，都是一個(gè)鼻子兩個(gè)眼，美國(guó)人能做出來(lái)，中國(guó)人做不出來(lái)？？

原地鼓搗了倆禮拜，技術(shù)團(tuán)隊(duì)已經(jīng)非常有信心了：

基于現(xiàn)有的服務(wù)器硬件，每秒要吞下 190G，只有一個(gè)辦法，讓電流傳輸超過(guò)光速~~

所以，做不出來(lái)。

今天的淺黑故事就到這里，再見(jiàn)。

等等。。。剛才好像有個(gè)限定條件：“基于現(xiàn)有的服務(wù)器硬件”。

“如果咱自己從頭設(shè)計(jì)一套‘存儲(chǔ)專用服務(wù)器’，有沒(méi)有戲呢？”

袁清波被自己的想法嚇了一跳。

他們可是軟件工程師??！過(guò)去對(duì)圖書館做升級(jí)，從來(lái)都是在既有的房間里改“軟裝”，現(xiàn)在竟然要把“圖書館本身”推倒重蓋，這也太膨脹了。

但老師傅冷靜一想，幾乎可以肯定：美國(guó)同行如果沒(méi)有推翻相對(duì)論，也必須得重新設(shè)計(jì)服務(wù)器。。。至于他們咋設(shè)計(jì)的，咱也不知道，咱也沒(méi)法問(wèn)。。。

然而，既然做了中國(guó)存儲(chǔ)行業(yè)的扛把子，摸石頭過(guò)河不就是曙光的“天命”嗎？！

估計(jì)你已經(jīng)好奇圖書館里是啥樣子了。

咱們這就鉆進(jìn)去，和老師傅們一起設(shè)計(jì)設(shè)計(jì)。

先介紹主要人物：

書：數(shù)據(jù) 書架：硬盤 圖書管理員：CPU 管理員的桌子：內(nèi)存 借書還書的窗口：網(wǎng)卡

咱們一步一步來(lái)。先講講過(guò)去“舊圖書館”的樣子：

簡(jiǎn)單說(shuō)，通用服務(wù)器的設(shè)計(jì)目標(biāo)不是“圖書管理”，而是“算數(shù)”。

所以，這里的 CPU 不應(yīng)叫圖書管理員，更應(yīng)該叫算數(shù)員。

只要有題目從窗口進(jìn)來(lái)，算數(shù)員就算，算好后返回給窗口。

大多中間步驟數(shù)據(jù)用完就扔了。只有重要的結(jié)果才會(huì)歸檔，所以書架放在旁邊即可。

（這里的金色地毯代表硬件通路，數(shù)據(jù)只能從這里走。）

但是，如果用這個(gè)布局直接做圖書館，就有一點(diǎn)兒別扭了。

因?yàn)閳D書館的管理員沒(méi)有那么花哨的計(jì)算，主要職能就是“搬運(yùn)”——把從窗口送進(jìn)來(lái)的書籍放到書架上，以及把書架上的書籍送到窗口。

搬運(yùn)，講究個(gè)絲滑。

大家經(jīng)常爭(zhēng)搶線路，就不好了。

于是咱可以把布局微調(diào)，把圖書管理員的桌子做大一些，讓書架和桌子之間的路寬一些。

這樣想要什么書，管理員放在桌子上“滴”一下，就直接送到窗口了。

除了基礎(chǔ)布局，額外的通路設(shè)計(jì)也很有講究。

袁清波給我舉了個(gè)例子：

圖書館里其實(shí)有兩組管理員（兩顆 CPU），每組管理員都有距離自己較近的窗口（網(wǎng)卡）、桌子（內(nèi)存）和書架（硬盤）。

假設(shè)：一個(gè)找書的需求從窗口 A 進(jìn)來(lái)，可它要找的那本書離 B 組 4 號(hào)管理員更近。

那么，B 組 4 號(hào)管理員就得先從架子上把書拿下來(lái)，放在自己面前的桌子上，A 組再過(guò)來(lái)一個(gè)管理員，繞到 B 桌，把東西拿回來(lái) A 桌，再?gòu)?A 窗口送出去。

這會(huì)導(dǎo)致一個(gè)問(wèn)題：這本書會(huì)有相當(dāng)一段時(shí)間滯留在桌上。

要是只有一本也就罷了。在每秒幾百萬(wàn)次的請(qǐng)求中，如果很多書滯留在桌面，就會(huì)讓桌面空間吃緊。

它們像管道里的淤泥一樣，影響整個(gè)圖書館的周轉(zhuǎn)速度。

估計(jì)你也想到了辦法：

如果想辦法在這里加幾條通道，讓 A 桌管理員能更方便地拿到 B 做的東西，不就能大大減少桌面面積（內(nèi)存）被占用的時(shí)間了嗎？

以上只是為了畫小人方便，把情況進(jìn)行了極端簡(jiǎn)化，真實(shí)的解決方案并非如此顯而易見(jiàn)。

但相信你已經(jīng)有了感覺(jué)：硬件布局和通路設(shè)計(jì)，這兩件事兒對(duì)整個(gè)存儲(chǔ)系統(tǒng)的*性能上限*影響巨大。

OK，我們繼續(xù)回到技術(shù)師傅身邊。

他們仰頭，前面出現(xiàn)三座大山：

第一座，把這個(gè)服務(wù)器給設(shè)計(jì)出來(lái)； 第二座：說(shuō)服領(lǐng)導(dǎo)同意用“專用存儲(chǔ)服務(wù)器”開(kāi)發(fā)下一代存儲(chǔ)產(chǎn)品； 第三座：說(shuō)服工程技術(shù)中心把這服務(wù)器給造出來(lái)。

先搞“第一座山”。

設(shè)計(jì)硬件，好像就是在紙上畫畫圖，但實(shí)際遠(yuǎn)非這么輕松愉快。一顆 CPU 或者一條內(nèi)存在某種情況下的具體性能，是很難估算準(zhǔn)確的。

要想確切了解，只有把硬件拿來(lái)實(shí)地測(cè)試。

袁清波他們開(kāi)始搭建環(huán)境，一點(diǎn)點(diǎn)兒調(diào)整圖書館里“桌椅板凳”的位置和遠(yuǎn)近。通過(guò)觀察性能變化，羅列出所有瓶頸，再?gòu)乃衅款i里尋找最“卡脖子”的部分依次解決。

這種微調(diào)，很像玩兒華容道，在方寸里里左挪一下右挪一下，每挪一下都牽連到最終結(jié)局。

越做實(shí)驗(yàn)，袁清波他們就對(duì)硬件的脾氣越清楚；越清楚，信心就越足。

這些信心在翻越“第二座山”的時(shí)候派上了大用。

團(tuán)隊(duì)在肝設(shè)計(jì)方案

老師傅私下憋了很久才敢和領(lǐng)導(dǎo)提出“把圖書館推倒重蓋”。

聽(tīng)到這個(gè)“非分請(qǐng)求”，領(lǐng)導(dǎo)提出疑問(wèn)：“新搞一套服務(wù)器肯定要成本，團(tuán)隊(duì)努努力，還用標(biāo)準(zhǔn)服務(wù)器克服一下有沒(méi)有可能？”

“絕不可能！”袁清波拍案而起。

噗地一聲，他從懷里掏出電腦，把最近幾個(gè)月做的各種實(shí)驗(yàn)數(shù)據(jù)一一列舉，跟打辯論一樣，擺出了十來(lái)?xiàng)l“舊硬件存在物理極限”的證據(jù)。

領(lǐng)導(dǎo)還沒(méi)來(lái)得及反應(yīng)，他又話鋒一轉(zhuǎn)：“再說(shuō)，咱也不是沒(méi)這個(gè)實(shí)力！”敲下鍵盤，肝了幾個(gè)月搞出來(lái)的新服務(wù)器設(shè)計(jì)圖出現(xiàn)在屏幕上。

釜底抽薪+貼臉殺，領(lǐng)導(dǎo)好像沒(méi)有不答應(yīng)的道理。。。

拿到了金牌令箭，接下來(lái)就要挖“第三座山”——找工程技術(shù)部商量生產(chǎn)問(wèn)題。

這是“外交大使”喬雅楠的任務(wù)。

工程技術(shù)部的同事聽(tīng)明來(lái)意，其實(shí)有點(diǎn)兒錯(cuò)愕，設(shè)計(jì)硬件，不是我們的活兒?jiǎn)?？你們咋給干了？

本來(lái)愉快地答應(yīng)就行，但他們發(fā)現(xiàn)一些小問(wèn)題：

存儲(chǔ)團(tuán)隊(duì)設(shè)計(jì)的硬件，有很多附加的邏輯和通路，這會(huì)提高硬件的制造成本呀！

這些額外的連線，真的有必要嗎？

喬雅楠趕緊把測(cè)試軟件拿來(lái)，逐一現(xiàn)場(chǎng)演示這些附加的線路都是干啥用的。工程技術(shù)部的師傅們點(diǎn)了點(diǎn)頭，隨即又搖了搖頭：“應(yīng)該還有性價(jià)比更高的設(shè)計(jì)方法吧？”

他們說(shuō)得有道理，但現(xiàn)實(shí)情況是門外的 AI 客戶已經(jīng)嗷嗷待哺，來(lái)不及了呀??！存儲(chǔ)團(tuán)隊(duì)干脆一拍胸脯：“先這么生產(chǎn)，多出來(lái)的成本，我們包了！”

就這樣，第三座大山終于被推為平地。

新的服務(wù)器拿去量產(chǎn)時(shí)，已經(jīng)到了 2024 年秋天。190G/s 帶寬終于穩(wěn)了，老師傅回頭一看，這邊還剩一位爺——500 萬(wàn) IOPS！

喬雅楠

（四）在 0 和 1 的世界里雕花

我猜還有淺友沒(méi)搞清帶寬和 IOPS 的區(qū)別。

這里再用圖書館打個(gè)比方：

IOPS，指的是圖書館每秒借出去的書有“多少本”； 帶寬，是指圖書館每秒鐘借出去書的總厚度有“多少頁(yè)”。

有啥區(qū)別呢？

假設(shè)圖書館每秒借出的書摞在一起是 1900 萬(wàn)頁(yè)。

如果大多數(shù)書都很厚， 每本書有 1900 頁(yè)，那 1900 萬(wàn)頁(yè)總共也就 1 萬(wàn)本。把這些書借出去，管理員們每秒只需要“滴” 1 萬(wàn)次。這對(duì)于光速工作的 CPU 來(lái)說(shuō)壓力不大。

但同樣總共 1900 萬(wàn)頁(yè)，如果每本書只有 5 頁(yè)，那每秒鐘管理員就得“滴” 400 多萬(wàn)次，工作量瞬間多400倍，比在產(chǎn)線上打螺絲還累了！

腫么辦？

一個(gè)所有人都能想到的辦法就是：加管理員（CPU）唄。。。

但袁清波的“加”字還沒(méi)說(shuō)出口，就被喬雅楠的 PUA 給打斷了：“我對(duì)你們這群大神有信心，現(xiàn)有資源肯定能撐住 500 萬(wàn)！”

袁清波點(diǎn)點(diǎn)頭：“嗯，我也對(duì)自己有信心！”

咱們繼續(xù)鉆進(jìn)圖書館里，看老師傅要怎么搞 IOPS。

話說(shuō)，在圖書館（服務(wù)器）里攏共有 256 個(gè)管理員（CPU 核心）。這些管理員如果被充分調(diào)度，干到 500 萬(wàn) IOPS 是綽綽有余的。

但問(wèn)題恰恰是：圖書館的日常工作中，調(diào)度并不充分！“等待”和“繞路”是常態(tài)。

舉兩個(gè)：

1）同一時(shí)刻，1 號(hào)管理員要找 A 書，2 號(hào)管理員要找 B 書?？汕∏?A、B 兩本書在書架上挨得很近。

為了防止兩個(gè)管理員打架，圖書館就得有規(guī)章：一個(gè)管理員站在書架前面操作，另一個(gè)必須站在一邊等。

2）明明要找的書在 1 號(hào)書架上，可是系統(tǒng)隨機(jī)指派了距離 1 號(hào)書架比較遠(yuǎn)的 4 號(hào)管理員去取。

4 號(hào)就得“跳”過(guò)好幾個(gè)管理員的位置去拿書。路線一繞，耗時(shí)當(dāng)然就長(zhǎng)。

從微觀來(lái)看，這些操作真的只多了一丟丟時(shí)間，但幾百萬(wàn)個(gè)一丟丟疊加起來(lái)，浪費(fèi)就相當(dāng)明顯。

要解決這些浪費(fèi)，就必須到最微觀的細(xì)節(jié)里動(dòng)手術(shù)。

技術(shù)老師傅開(kāi)動(dòng)腦筋，琢磨黑科技：

一個(gè)黑科技叫“各管一攤”。

比如，1 號(hào)管理員，只允許操作 1 號(hào)書架，也只允許坐在桌子的”1 號(hào)區(qū)域”，不能亂跑；2 號(hào)管理員只能操作 2 號(hào)書架， 只能坐在桌子的“2 號(hào)區(qū)域”；以此類推。

老師傅把每個(gè)獨(dú)立的區(qū)域稱為“IO 域”。

這樣一來(lái)，管理員等待的問(wèn)題就消失了——一個(gè)書架就我一個(gè)人負(fù)責(zé)，哪還會(huì)有人跟我搶？

還有個(gè)黑科技叫“接力賽跑”。

簡(jiǎn)單來(lái)說(shuō)，就是幾個(gè)管理員可以共同完成一個(gè)借書任務(wù)。

例如：1 號(hào)管理員站在窗口，只負(fù)責(zé)接任務(wù)；它把任務(wù)推給最靠近這本書的 4 號(hào)管理員，后者負(fù)責(zé)把書找回來(lái)；如果 4 號(hào)管理員比較忙，他就會(huì)委托離自己最近同時(shí)也有閑的 3 號(hào)管理員把書送回到窗口。

就像下圖所示↓↓↓

這樣一來(lái)，相當(dāng)于把一個(gè)任務(wù)拆散成 N 個(gè)，讓壓力*總能*分配到比較閑的管理員身上。

實(shí)際上，“調(diào)度”是整個(gè)存儲(chǔ)系統(tǒng)中最硬核的部分：

每一個(gè) IO，可能有四五個(gè)管理員負(fù)責(zé)接力。一旦系統(tǒng)指派的管理員之間的距離很遠(yuǎn)，或者走的路線很別扭，最后肯定還不如一個(gè)管理員全干下來(lái)快呢！

每一次調(diào)度，都像是在 0 和 1 的世界里做微雕。策略用不對(duì)，就像刻刀抖了一下，滿盤皆輸。

但我之前介紹過(guò)，曙光存儲(chǔ)的師傅搞操作系統(tǒng)可是純純童子功，人均”微雕大師“。

十年飲冰，終于等到一朝噴火，此時(shí)不干，更待何時(shí)？他們擼胳膊挽袖子，各種眼花繚亂的調(diào)度策略都往上招呼！

這時(shí)，袁清波突然慶幸去年“把圖書館推倒重蓋”的選擇是多么正確——很多調(diào)度策略必須通過(guò)特定的通路才能實(shí)現(xiàn)，要不是堅(jiān)持做了專用服務(wù)器，這些騷操作有一多半兒都玩不出來(lái)。。。

你看，真正的高手，每一招都不是獨(dú)立的，而是承接前手，招招相連，不是加法是乘法。（戰(zhàn)術(shù)后仰）

一次次測(cè)試中，500萬(wàn) IOPS 的目標(biāo)逐漸逼近。

就在老師傅緊鑼密鼓地在 0 和 1 的世界里雕花的時(shí)候，門外突然殺來(lái)幾個(gè)神秘壯漢。

開(kāi)門一看，這。。?？墒鞘锕獯鎯?chǔ)期待已久的貴客。

（五）殺入“主戰(zhàn)場(chǎng)”

敲響大門的，是幾家頭部的云計(jì)算廠商。

按理說(shuō)，計(jì)算和存儲(chǔ)本是榫卯不離的好基友。但實(shí)際情況是，在過(guò)去幾年云計(jì)算蓬勃發(fā)展的歷史里，它和企業(yè)級(jí)存儲(chǔ)卻并沒(méi)有很榫卯的合作。

原因也簡(jiǎn)單：云計(jì)算廠商自己也有”云存儲(chǔ)”產(chǎn)品，云存儲(chǔ)玩的是一個(gè)“容量巨大，價(jià)格低廉、兼容各種硬件”。

但有得必有失：既然選擇了性價(jià)比和兼容性，極限性能就會(huì)受限。

好在過(guò)去幾年，大多云上用戶并沒(méi)有對(duì)存儲(chǔ)有特別兇殘的需求，云存儲(chǔ)游刃有余。

但 AI 時(shí)代的朝霞突然降臨，“云上圖書館”支撐高級(jí)的 AI 學(xué)校開(kāi)始吃力。

AI 客戶拍拍錢包：兄嘚，還有沒(méi)有更高性能的存儲(chǔ)產(chǎn)品？多少錢，我買！

這么一來(lái)，云廠商就得主動(dòng)去市場(chǎng)上尋找更專業(yè)的存儲(chǔ)系統(tǒng)，于是敲響了曙光存儲(chǔ)的山門，請(qǐng)大佬出山！

表面上劉備三顧茅廬，其實(shí)孔明也同樣需要?jiǎng)?。?！?/p>

因?yàn)榇鎯?chǔ)系統(tǒng)自己孤芳自賞是不夠的，它要知道自己的上家——計(jì)算系統(tǒng)——需要什么姿勢(shì)！

云計(jì)算是前沿計(jì)算的“主戰(zhàn)場(chǎng)”。武器只有開(kāi)進(jìn)主戰(zhàn)場(chǎng)，才會(huì)面對(duì)最復(fù)雜的戰(zhàn)情，才能看到最真實(shí)的需求，才能成為更強(qiáng)的武器！

主戰(zhàn)場(chǎng)的戰(zhàn)況很復(fù)雜。

咱就說(shuō)一個(gè)角度：“CPU 和 GPU 的暗戰(zhàn)”。

話說(shuō)，在過(guò)去的幾十年里，CPU 都是賽博世界的王，所有的資源都是圍繞它來(lái)設(shè)置的。

比如：內(nèi)存是 CPU 的小弟，CPU 手里抓不下的數(shù)據(jù)，就放在內(nèi)存上。網(wǎng)卡也是 CPU 的小弟，它接到的數(shù)據(jù)都得由 CPU 先臨幸一下，再進(jìn)一步分配。

但 AI 崛起后，GPU 這個(gè)“新王”蘇醒。

計(jì)算的重?fù)?dān)雖移到了 GPU 身上，可數(shù)據(jù)通路卻仍由 CPU 霸占。

GPU 查看內(nèi)存里的數(shù)據(jù)，需要 CPU 點(diǎn)頭；

GPU 要用硬盤里的數(shù)據(jù)，不僅要 CPU 點(diǎn)頭，還得從內(nèi)存里涮一水，才能進(jìn)自己的顯存。

關(guān)鍵是，你 CPU 和內(nèi)存的速度都不如我快呀。。。

“新王”不開(kāi)心，思考各種辦法繞開(kāi) CPU。

英偉達(dá)研發(fā)出了一個(gè)名叫 GDS 的協(xié)議——GPU 能直接把數(shù)據(jù)從存儲(chǔ)系統(tǒng)拉到自己的顯存里。這樣就能和 CPU 說(shuō)白拜，數(shù)據(jù)傳輸大大加快。

當(dāng)然，前提是存儲(chǔ)系統(tǒng)也得支持這個(gè) GDS 協(xié)議。

曙光存儲(chǔ)也支持 GDS 就行了唄？

行，但不夠。

因?yàn)槟愣脑颍袊?guó)的 AI 訓(xùn)練早已不止用英偉達(dá) GPU，越來(lái)越多國(guó)產(chǎn) GPU 在奔赴戰(zhàn)場(chǎng)。

曙光存儲(chǔ)索性一波帶走，支持市面上所有的 GPU 直讀協(xié)議，起名叫做 XDS。

即使繞過(guò) CPU 和存儲(chǔ)系統(tǒng)直接溝通，新王 GPU 還嫌不夠快。

畢竟 GPU 和存儲(chǔ)系統(tǒng)中間還有一根網(wǎng)線相連，這里網(wǎng)絡(luò)的速度也可能限制 GPU 發(fā)揮實(shí)力。

能不能把這根網(wǎng)線也去掉？

當(dāng)然那根實(shí)際的網(wǎng)線沒(méi)辦法去掉，但是有些黑科技可以讓網(wǎng)線“變粗”。

曙光老師傅從超算中借鑒了一個(gè)技術(shù)——Burst Buffer。

簡(jiǎn)單來(lái)說(shuō)就是，在網(wǎng)絡(luò)不太忙的時(shí)候，把將來(lái)可能用到的數(shù)據(jù)先從存儲(chǔ)系統(tǒng)倒騰到 GPU 所在服務(wù)器的本地硬盤里。

這樣，接下來(lái)的事情就都發(fā)生在 GPU 的機(jī)箱內(nèi)部，就沒(méi)網(wǎng)線什么事兒了，速度超快。

注意，Burst Buffer 只是存儲(chǔ)系統(tǒng)在計(jì)算系統(tǒng)里的飛地，本質(zhì)上還屬于存儲(chǔ)系統(tǒng)的一部分。

這意味著，老師傅的責(zé)任變多了。。。不僅要讓數(shù)據(jù)能夠穩(wěn)定轉(zhuǎn)移到這些飛地上，還要保證這些數(shù)據(jù)能實(shí)時(shí)同步，不出現(xiàn)錯(cuò)漏。。。

以上種種，其實(shí)都可以稱為“AI 加速技術(shù)”，屬于存儲(chǔ)系統(tǒng)的“高階技能”。

說(shuō)到這些高階技能，喬雅楠很感慨。

她帶曙光分布式存儲(chǔ)產(chǎn)品已經(jīng)7年了，就在2023年以前，她一度覺(jué)得存儲(chǔ)系統(tǒng)變成了“價(jià)格的廝殺”：

當(dāng)時(shí)即便我們做了高階功能，遠(yuǎn)程復(fù)制，各種克隆快照，業(yè)務(wù)用的也不多。 說(shuō)到底，存儲(chǔ)系統(tǒng)再厲害，業(yè)務(wù)發(fā)揮不出來(lái)，就無(wú)法感受到存儲(chǔ)真正的價(jià)值。

但這一切都在 2023年反轉(zhuǎn)。

AI 全民化時(shí)代的降臨，讓存儲(chǔ)性能成了關(guān)乎生死的“大殺器”；

云計(jì)算，又讓存儲(chǔ)的各種高階功能真正成了剛需。

在我探訪的時(shí)候，有一個(gè)明顯的感覺(jué)：團(tuán)隊(duì)師傅雖然比過(guò)去幾年忙了十倍，但大伙兒心里有種說(shuō)不出的美滋滋。那是一種“被需要”的幸福。

在時(shí)光中漫長(zhǎng)等待，他們不再是誰(shuí)的附屬。

存儲(chǔ)有了自己的主戰(zhàn)場(chǎng)！

就在 2025 年 3 月，曙光驕傲地推出了最新一代分布式存儲(chǔ)產(chǎn)品 ParaStor F9000，不僅達(dá)到了190GB/s 帶寬和 500萬(wàn) IOPS 這兩個(gè)核心性能，還帶著 XDS、BurstBuffer 和各種 AI 加速特性。

它看上去只是一個(gè)性冷淡的“大方盒”，但當(dāng)你了解了這些細(xì)密電路中纏繞的點(diǎn)滴故事，也許會(huì)從嘶嘶電流的吟唱中，聽(tīng)到“天命人”對(duì)自己的回答。

ParaStor F9000

（六）數(shù)據(jù)的生命

2025 年，DeepSeek 橫空出世，給曙光存儲(chǔ)的師傅帶來(lái)一個(gè)好消息和一個(gè)壞消息。

好消息是：“AI 秘書”的成本有望大幅下降，長(zhǎng)期看對(duì)存儲(chǔ)的需求更旺盛；

壞消息是：AI 對(duì)存儲(chǔ)的要求也在劇烈變化，存儲(chǔ)產(chǎn)品稍不留神就會(huì)掉隊(duì)。

但無(wú)論科技樹(shù)的枝丫怎么生長(zhǎng)，它的根基永遠(yuǎn)不會(huì)變。

我們不妨從生命的角度來(lái)理解數(shù)據(jù)。

AI 的靈魂是從數(shù)據(jù)的母體中浮現(xiàn)的。這意味著，要想孕育一個(gè)強(qiáng)大的 AI 生命，數(shù)據(jù)本身的生命周期要更長(zhǎng)、更寬廣。

這就引出了存儲(chǔ)在時(shí)間線上的左右延展：

在訓(xùn)練 AI 之前，要滿足數(shù)據(jù)的收集和清洗。 在訓(xùn)練 AI 之后，要滿足數(shù)據(jù)的歸檔和冷卻。

先說(shuō) AI 訓(xùn)練之前。

喬雅楠告訴我，數(shù)據(jù)存儲(chǔ)有很多種格式。

在數(shù)據(jù)收集階段，會(huì)大量提取互聯(lián)網(wǎng)上的數(shù)據(jù)，它們以“對(duì)象”的形式存儲(chǔ)；但這些數(shù)據(jù)卻不能直接訓(xùn)練 AI，AI 用到的課本以“文件”的形式存儲(chǔ)更合適。

所以，存儲(chǔ)系統(tǒng)就必須具備一個(gè)能力：

同一套數(shù)據(jù)，能用對(duì)象的格式讀寫，也能用文件的格式讀寫。

老師傅于是做了一個(gè)“翻譯官”，底層使用文件存儲(chǔ)，當(dāng)你要用對(duì)象的格式提取時(shí)，翻譯官就把“文件”翻譯成“對(duì)象”。

但袁清波并不滿意，因?yàn)榉g不夠優(yōu)雅，也存在資源損耗。

最近他們?cè)谙朕k法踢掉翻譯官，讓存儲(chǔ)系統(tǒng)自己學(xué)會(huì)”雙語(yǔ)“：你用對(duì)象格式請(qǐng)求，它就給你對(duì)象數(shù)據(jù)，你用文件格式請(qǐng)求，它就給你文件數(shù)據(jù)。

再說(shuō) AI 訓(xùn)練之后。

好不容易收集的數(shù)據(jù)，訓(xùn)練之后肯定不能丟，應(yīng)該存起來(lái)，以備將來(lái)再次訓(xùn)練或者不時(shí)之需。

于是，怎樣讓數(shù)據(jù)以最低成本沉睡歸檔，就成了一個(gè)問(wèn)題。

目前存儲(chǔ)的介質(zhì)主要分為兩種：“成本高但速度快的閃存”和“成本低但速度慢的機(jī)械硬盤”。

在訓(xùn)練的時(shí)候，當(dāng)然必須放到閃存介質(zhì)中；但在訓(xùn)練之后，再霸占閃存里就有點(diǎn)兒浪費(fèi)了。

喬雅楠告訴我，為這事兒曙光存儲(chǔ)專門搞了一個(gè) S6000 “分層存儲(chǔ)”混閃產(chǎn)品，里面有一小部分閃存盤，一大部分機(jī)械盤。

在訓(xùn)練時(shí)，會(huì)自動(dòng)把數(shù)據(jù)推到閃存中，訓(xùn)練完畢，又會(huì)自動(dòng)落回到機(jī)械硬盤中。

他們稱之為“冷熱數(shù)據(jù)分層技術(shù)”。

由于冷熱數(shù)據(jù)是由系統(tǒng)自動(dòng)挪移的，所以只要在合理的負(fù)載范圍內(nèi)使用，你會(huì)發(fā)現(xiàn) S6000 的性能會(huì)和純閃設(shè)備一樣，但存儲(chǔ)成本卻比純閃設(shè)備低很多。

ParaStor S6000

這種自由游動(dòng)的感覺(jué)，昭示了存儲(chǔ)系統(tǒng)的未來(lái)：

也許某一天，只用一套存儲(chǔ)系統(tǒng)就可以承載“AI 秘書的一生”：

無(wú)論在訓(xùn)練之前、訓(xùn)練之中、訓(xùn)練之后，AI 師傅都只需要關(guān)心自己的學(xué)校。完全不用操心圖書館這邊的吞吐帶寬、讀取速率、存儲(chǔ)成本、數(shù)據(jù)格式等等亂七八糟的事情。。。

數(shù)據(jù)有了生命，它會(huì)自己尋找道路。

告別前，袁清波悄悄告訴我，他已經(jīng)領(lǐng)到了新任務(wù)——在下一代存儲(chǔ)產(chǎn)品上讓性能繼續(xù)暴漲。為此，老師傅不止定制了新服務(wù)器，還定制了 CPU。

CPU 是說(shuō)定制就定制的嗎？

沒(méi)錯(cuò)，因?yàn)樗菄?guó)產(chǎn)的。

多說(shuō)一句，由于美國(guó)實(shí)體清單的制裁，曙光從 2019 年以來(lái)就已經(jīng)無(wú)法使用美國(guó)的關(guān)鍵技術(shù)了，所以今天講述的曙光產(chǎn)品全部是基于國(guó)產(chǎn)芯片研發(fā)的。

無(wú)獨(dú)有偶，中國(guó)存儲(chǔ)行業(yè)的另一個(gè)巨頭華為也享受了同樣的待遇。

這意味，整個(gè)中國(guó)高端存儲(chǔ)行業(yè)必須在國(guó)產(chǎn)技術(shù)棧之上生根發(fā)芽，而且已經(jīng)枝蔓粗壯。

回望來(lái)路，技術(shù)老師傅從沒(méi)有能力左右世界局勢(shì)，也沒(méi)有能力解決政治紛爭(zhēng)。他們能做的，只是在漫長(zhǎng)的冬季守護(hù)花朵，期待它們?cè)诖禾炀`放。

而所謂天命人，也無(wú)非是讓洶涌的扼殺之刃穿過(guò)身體，化作滂沱的成全之雨。

方寸騰挪

賽博狠活

再自我介紹一下吧。我叫史中，是一個(gè)傾心故事的科技記者。我的日常是和各路大神聊天。如果想和我做朋友，可以搜索微信：shizhongmax。

哦對(duì)了，如果喜歡文章，請(qǐng)別吝惜你的“在看”或“分享”。讓有趣的靈魂有機(jī)會(huì)相遇，會(huì)是一件很美好的事情。

Thx with in Beijing