隨著生成式AI邁入萬(wàn)億參數(shù)時(shí)代，大語(yǔ)言模型（LLM）的推理與部署面臨著前所未有的“顯存墻”挑戰(zhàn)。如何在超節(jié)點(diǎn)（SuperNode）復(fù)雜的異構(gòu)存儲(chǔ)架構(gòu)下，實(shí)現(xiàn)海量張量的高效管理和調(diào)度，已成為大模型落地的勝負(fù)手。

近日，上海交通大學(xué)可擴(kuò)展計(jì)算研究所蔣力、劉方鑫老師團(tuán)隊(duì)聯(lián)合華為MindSpore團(tuán)隊(duì)，正式發(fā)布技術(shù)報(bào)告：《HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures》(arXiv: 2602.00748)。

• 技術(shù)報(bào)告(arXiv):
• https://arxiv.org/abs/2602.00748
• 開(kāi)源社區(qū)(AtomGit):
• https://atomgit.com/mindspore/hyper-parallel

該方案通過(guò)創(chuàng)新的“圖驅(qū)動(dòng)”顯示存儲(chǔ)層級(jí)管理，顯著提升了超節(jié)點(diǎn)內(nèi)異構(gòu)資源的協(xié)同效率。目前，HyperOffload核心技術(shù)已作為Hyper-Parallel庫(kù)的關(guān)鍵特性，正式集成于華為官方AI框架MindSpore 2.8版本。Hyper-Paralle它成了多樣化的并行策略與異構(gòu)存儲(chǔ)管理方案，助力開(kāi)發(fā)者在超節(jié)點(diǎn)架構(gòu)下實(shí)現(xiàn)萬(wàn)億參數(shù)模型的“一鍵式”加速部署。

賦能超節(jié)點(diǎn)：從“存不下”到“存得優(yōu)”

傳統(tǒng)的內(nèi)存優(yōu)化方案往往聚焦于單卡或簡(jiǎn)單的多卡環(huán)境，而HyperOffload專(zhuān)為擁有HBM、DDR及Flash等多級(jí)存儲(chǔ)的超節(jié)點(diǎn)（SuperNode）深度定制。其核心在于通過(guò)Hierarchical Memory Manager (HMM)模塊，將物理隔離的存儲(chǔ)介質(zhì)轉(zhuǎn)化為邏輯上的“資源池化”視圖。

• 全要素存儲(chǔ)協(xié)同與資源池化：HyperOffload突破了以往只針對(duì)權(quán)重（Weights）卸載的局限，實(shí)現(xiàn)了對(duì)推理全流程中KV Cache、中間激活值（Activations）及優(yōu)化器狀態(tài)的深度分層管理。論文提出的統(tǒng)一邏輯視圖，能根據(jù)硬件拓?fù)渥詣?dòng)感應(yīng)HBM和DDR的帶寬差異，將海量張量跨介質(zhì)無(wú)縫縫合，實(shí)現(xiàn)了“邏輯顯存”對(duì)物理顯存瓶頸的降維打擊。
• 
  
• 極致容量拓容： 結(jié)合選擇性參數(shù)卸載（Selective Offload）與自適應(yīng)激活值交換（Adaptive Swapping）技術(shù)，該方案能讓超大規(guī)模模型在有限顯存的硬件集群上平滑運(yùn)行，確保訓(xùn)推業(yè)務(wù)“不斷檔”。

選擇性參數(shù)卸載：引入了多維代價(jià)模型（Cost Model），系統(tǒng)會(huì)根據(jù)張量的訪問(wèn)頻率、重計(jì)算代價(jià)及通信帶寬損耗進(jìn)行智能評(píng)分。通過(guò)識(shí)別非關(guān)鍵路徑上的“冷張量”，確保高頻調(diào)用的核心算子始終駐留高速HBM，而海量背景數(shù)據(jù)則有序分布在DDR中。

自適應(yīng)激活值交換：針對(duì)LLM推理中動(dòng)態(tài)膨脹的KV Cache，系統(tǒng)通過(guò)動(dòng)態(tài)水位線監(jiān)控機(jī)制自動(dòng)觸發(fā)交換協(xié)議。即便面對(duì)超長(zhǎng)上下文的極端顯存壓力，也能通過(guò)細(xì)粒度的張量換入換出確保業(yè)務(wù)“不斷檔”，極大提升了單節(jié)點(diǎn)能承載的模型規(guī)模。

圖驅(qū)動(dòng)規(guī)劃：“被動(dòng)調(diào)度”到“全局規(guī)劃”

不同于傳統(tǒng)的運(yùn)行時(shí)被動(dòng)觸發(fā)，HyperOffload引入了創(chuàng)新的編譯驅(qū)動(dòng)圖化管理策略。它利用MindSpore的靜態(tài)圖編譯技術(shù)，將資源管理從“滯后的響應(yīng)”進(jìn)化為“確定的預(yù)演”，具體優(yōu)化如下：

1.靜態(tài)圖語(yǔ)義增強(qiáng)：構(gòu)建“上帝視角”

在編譯階段，HyperOffload引擎會(huì)對(duì)MindIR靜態(tài)圖進(jìn)行深度語(yǔ)義掃描，開(kāi)展全局張量生命周期分析。系統(tǒng)會(huì)在計(jì)算流水線中精準(zhǔn)定位內(nèi)存峰值點(diǎn)，并提前在圖中顯式植入SwapIn與SwapOut原語(yǔ)。這意味著在推理啟動(dòng)前，整場(chǎng)“數(shù)據(jù)物資調(diào)度”的路線圖已完全確定，消除了運(yùn)行時(shí)頻繁申請(qǐng)/釋放內(nèi)存帶來(lái)的碎片化和系統(tǒng)開(kāi)銷(xiāo)。

2.算力與帶寬的深度重疊：實(shí)現(xiàn)“無(wú)感通信”

利用昇騰（Ascend）硬件的異步并行能力，HyperOffload實(shí)現(xiàn)了近乎完美的無(wú)感通信掩蓋：

·全局預(yù)判：系統(tǒng)根據(jù)計(jì)算圖的進(jìn)度，精準(zhǔn)預(yù)判下一階段的張量需求，提前下達(dá)搬運(yùn)指令。

·提前預(yù)?。?/strong>依托“糧草先行”邏輯，當(dāng)NPU的計(jì)算核心（Cube/Vector）正在處理當(dāng)前層任務(wù)時(shí)，下一層的權(quán)重或KV Cache已異步從DDR換入顯存。

·通信遮掩：這種深度重疊將昂貴的數(shù)據(jù)遷移開(kāi)銷(xiāo)完全掩蓋在計(jì)算任務(wù)的執(zhí)行周期內(nèi)。實(shí)驗(yàn)表明，該策略極大提升了超節(jié)點(diǎn)的整體算力利用率，使系統(tǒng)在不增加硬件成本的前提下，實(shí)現(xiàn)了吞吐量的階躍式提升。

產(chǎn)學(xué)研深度合作：加速AI工業(yè)化進(jìn)程

HyperOffload的發(fā)布，標(biāo)志著上海交通大學(xué)科研團(tuán)隊(duì)與華為MindSpore團(tuán)隊(duì)在AI基礎(chǔ)設(shè)施領(lǐng)域的合作邁向新階段。目前，該方案已在多個(gè)大規(guī)模商用項(xiàng)目中落地，為萬(wàn)億參數(shù)模型的輕量化部署提供了成熟的工業(yè)級(jí)參考。

未來(lái)，雙方將繼續(xù)深耕超節(jié)點(diǎn)架構(gòu)下的性能優(yōu)化，構(gòu)建更具彈性的端到端推理框架，為生成式AI的規(guī)?；瘧?yīng)用夯實(shí)底座。