在大模型分布式訓(xùn)練領(lǐng)域，DeepSpeed作為業(yè)界主流的優(yōu)化框架，持續(xù)通過版本迭代為開發(fā)者提供更高效、更穩(wěn)定、更兼容的訓(xùn)練能力。近日，DeepSpeed正式推出v0.18.9版本，本次更新聚焦于AutoTP自動(dòng)張量并行能力增強(qiáng)、ZeRO優(yōu)化器適配、SuperOffload內(nèi)存卸載優(yōu)化、PyTorch兼容性修復(fù)、環(huán)境變量適配完善以及CI流程與文檔更新等多個(gè)核心方向，同時(shí)完成了AutoSP功能的合并入庫，進(jìn)一步完善了序列并行相關(guān)能力，修復(fù)了多項(xiàng)影響訓(xùn)練穩(wěn)定性與環(huán)境適配的問題，為大模型訓(xùn)練提供了更可靠的底層支撐。

本次版本更新共計(jì)16次提交、56個(gè)文件變更，由16位社區(qū)貢獻(xiàn)者共同完成，代碼層面實(shí)現(xiàn)3891行新增與321行刪除，覆蓋功能新增、缺陷修復(fù)、兼容性優(yōu)化、文檔更新、CI流程調(diào)整等全維度內(nèi)容，本文將基于官方更新日志，對(duì)DeepSpeed v0.18.9的所有變更進(jìn)行全面、詳細(xì)的解析，幫助開發(fā)者快速掌握版本核心升級(jí)點(diǎn)，順利完成版本升級(jí)與業(yè)務(wù)適配。

一、環(huán)境適配與硬件檢測優(yōu)化

DeepSpeed v0.18.9針對(duì)環(huán)境變量適配、GPU硬件檢測邏輯進(jìn)行了多項(xiàng)優(yōu)化，解決了不同硬件平臺(tái)、自定義環(huán)境路徑下的適配問題，提升了框架的環(huán)境兼容性與部署靈活性。

1. 支持$TRITON_HOME環(huán)境變量

本次更新新增對(duì) 環(huán) 境 變 量 的 適 配 ， 框 架 會(huì) 自 動(dòng) 識(shí) 別 該 環(huán) 境 變 量 配 置 的 路 徑 ， 解 決 了 相 關(guān) 組 件 在 自 定 義 安 裝 路 徑 下 無 法 被 正 確 加 載 的 問 題 。 在 過 往 版 本 中 ， 僅 默 認(rèn) 讀 取 系 統(tǒng) 默 認(rèn) 路 徑 下 的 相 關(guān) 文 件 ， 當(dāng) 用 戶 通 過 自 定 義 路 徑 安 裝 時(shí) ， 會(huì) 出 現(xiàn) 路 徑 查 找 失 敗 、 組 件 調(diào) 用 異 常 等 問 題 ， 而 通 過 適 配 TRITON_HOME環(huán)境變量，允許用戶自由指定Triton的安裝目錄，大幅提升了框架在自定義部署環(huán)境下的適配能力，尤其適用于多版本Triton共存、離線部署等復(fù)雜場景。

2. ROCm GPU架構(gòu)檢測移除不必要的shell=True

針對(duì)AMD ROCm平臺(tái)的GPU架構(gòu)檢測邏輯，本次更新移除了代碼中不必要的shell=True參數(shù)。在Python的subprocess調(diào)用中，shell=True會(huì)帶來潛在的安全風(fēng)險(xiǎn)與執(zhí)行效率問題，同時(shí)可能引發(fā)命令解析異常。DeepSpeed v0.18.9優(yōu)化了ROCm GPU架構(gòu)檢測的代碼實(shí)現(xiàn)，采用無shell模式執(zhí)行硬件檢測命令，既提升了檢測邏輯的安全性，又避免了因shell環(huán)境差異導(dǎo)致的GPU架構(gòu)識(shí)別失敗問題，保障了AMD GPU平臺(tái)上DeepSpeed的穩(wěn)定運(yùn)行。

3. 支持$DS_IGNORE_CUDA_DETECTION環(huán)境變量跳過本地GPU檢測

新增$DS_IGNORE_CUDA_DETECTION環(huán)境變量控制邏輯，當(dāng)用戶設(shè)置該環(huán)境變量時(shí)，DeepSpeed會(huì)跳過本地CUDA GPU的檢測流程。該優(yōu)化主要針對(duì)無GPU環(huán)境、遠(yuǎn)程訓(xùn)練節(jié)點(diǎn)、容器化部署等場景，在這些場景下，本地GPU檢測不僅無意義，還可能因檢測失敗導(dǎo)致框架初始化異常。通過該環(huán)境變量，開發(fā)者可以靈活控制GPU檢測行為，避免非必要的硬件檢測流程，提升框架在純CPU環(huán)境、云服務(wù)器遠(yuǎn)程調(diào)度場景下的初始化效率。

4. 修復(fù)Triton自動(dòng)調(diào)優(yōu)緩存的NFS路徑判斷問題

修復(fù)了Triton自動(dòng)調(diào)優(yōu)緩存模塊中，is_nfs_path函數(shù)對(duì)不存在路徑的處理異常問題。在過往版本中，當(dāng)判斷的NFS路徑不存在時(shí)，該函數(shù)會(huì)拋出異常，導(dǎo)致Triton自動(dòng)調(diào)優(yōu)流程中斷，影響模型訓(xùn)練的性能調(diào)優(yōu)。v0.18.9優(yōu)化了路徑存在性校驗(yàn)邏輯，當(dāng)目標(biāo)路徑不存在時(shí)，函數(shù)會(huì)返回合理的默認(rèn)值，不會(huì)中斷調(diào)優(yōu)流程，保障了Triton自動(dòng)調(diào)優(yōu)功能在任意路徑配置下的穩(wěn)定運(yùn)行，提升了大模型訓(xùn)練的性能調(diào)優(yōu)可靠性。

二、AutoTP自動(dòng)張量并行核心功能增強(qiáng)

AutoTP作為DeepSpeed實(shí)現(xiàn)自動(dòng)張量并行的核心模塊，是大模型分布式訓(xùn)練的關(guān)鍵能力，本次v0.18.9版本對(duì)AutoTP進(jìn)行了多項(xiàng)功能升級(jí)，大幅提升了其兼容性、易用性與模型適配范圍。

1. 新增AutoTP通用Checkpoint功能

本次更新為AutoTP新增通用Checkpoint（通用 checkpoint）功能，在checkpoint/constants.py中新增UNIVERSAL_CHECKPOINT_VERSION_KEY、UNIVERSAL_CHECKPOINT_VERSION_VALUE、DS_AUTOTP_UC_META等常量定義，同時(shí)在universal_checkpoint.py中實(shí)現(xiàn)了AutoTP通用 checkpoint 的加載與解析邏輯。

該功能支持AutoTP模式下的模型權(quán)重、并行元信息的統(tǒng)一存儲(chǔ)與恢復(fù)，新增_get_param_uc_restore_meta函數(shù)用于獲取AutoTP通用 checkpoint 的參數(shù)元數(shù)據(jù)，新增_resolve_autotp_partition函數(shù)實(shí)現(xiàn)AutoTP并行參數(shù)的分區(qū)解析與恢復(fù)，支持分區(qū)維度、邏輯形狀、子參數(shù)形狀、子參數(shù)大小等元信息的讀取與處理，同時(shí)支持復(fù)制型參數(shù)的特殊處理。

通用Checkpoint功能解決了AutoTP模式下模型 checkpoint 兼容性差、跨節(jié)點(diǎn)恢復(fù)困難的問題，支持不同并行配置下的模型權(quán)重遷移，尤其適用于大模型訓(xùn)練中斷恢復(fù)、多節(jié)點(diǎn)并行訓(xùn)練切換、模型微調(diào)等場景，大幅提升了AutoTP模式下訓(xùn)練任務(wù)的可遷移性與可靠性。

2. 支持HuggingFace官方tp_plan配置

新增對(duì)HuggingFace Transformers庫中tp_plan的原生支持，AutoTP可自動(dòng)識(shí)別并使用Llama、Qwen、Gemma2等模型內(nèi)置的base_model_tp_plan配置，無需開發(fā)者手動(dòng)設(shè)置preset_model或partition_config參數(shù)。該優(yōu)化實(shí)現(xiàn)了DeepSpeed AutoTP與HuggingFace模型生態(tài)的無縫銜接，開發(fā)者無需額外編寫并行分區(qū)規(guī)則，直接使用HuggingFace官方模型即可開啟AutoTP并行訓(xùn)練，支持colwise與rowwise兩種核心分區(qū)類型，大幅降低了AutoTP的使用門檻。

同時(shí)，官方在huggingface-tp/README.md中更新了相關(guān)文檔，詳細(xì)說明HuggingFace tp_plan的適配邏輯與使用方法，明確了AutoTP對(duì)自定義分區(qū)的支持方式，讓開發(fā)者可以快速上手基于HuggingFace模型的自動(dòng)張量并行訓(xùn)練。

三、PyTorch兼容性與訓(xùn)練穩(wěn)定性修復(fù)

DeepSpeed的核心能力依賴PyTorch生態(tài)，本次版本針對(duì)低版本PyTorch的兼容性、訓(xùn)練過程中的內(nèi)存與梯度更新問題進(jìn)行了關(guān)鍵修復(fù)，保障了不同PyTorch版本下訓(xùn)練任務(wù)的穩(wěn)定運(yùn)行。

1. 修復(fù)PyTorch 2.4以下版本torch.amp.custom_fwd兼容性問題

修復(fù)了torch.amp.custom_fwd接口在PyTorch 2.4以下版本的向后兼容問題。在過往版本中，DeepSpeed的自動(dòng)混合精度訓(xùn)練模塊調(diào)用custom_fwd接口時(shí)，會(huì)因PyTorch版本差異出現(xiàn)接口不兼容、訓(xùn)練中斷等異常，v0.18.9通過接口適配與邏輯兼容處理，確保在PyTorch 2.4以下版本中，自動(dòng)混合精度訓(xùn)練功能可以正常運(yùn)行，無需開發(fā)者升級(jí)PyTorch版本，提升了框架對(duì)老舊環(huán)境的適配能力。

2. SuperOffload模塊修復(fù)多分組共享CPU緩沖區(qū)梯度更新問題

修復(fù)了SuperOffload模塊中，多分組梯度更新使用共享CPU緩沖區(qū)時(shí)的數(shù)據(jù)丟失問題。SuperOffload是DeepSpeed實(shí)現(xiàn)內(nèi)存卸載、降低GPU顯存占用的核心功能，在大模型訓(xùn)練中，多分組梯度更新場景下，共享CPU緩沖區(qū)會(huì)導(dǎo)致梯度數(shù)據(jù)覆蓋、更新失效等問題，嚴(yán)重影響訓(xùn)練收斂效果。v0.18.9優(yōu)化了緩沖區(qū)管理邏輯，保障多分組梯度更新時(shí)的數(shù)據(jù)獨(dú)立性，確保梯度更新結(jié)果正確保留，提升了SuperOffload模式下大模型訓(xùn)練的穩(wěn)定性與收斂效果。

四、ZeRO優(yōu)化與Muon優(yōu)化器適配擴(kuò)展

ZeRO作為DeepSpeed的核心內(nèi)存優(yōu)化技術(shù)，本次更新對(duì)ZeRO Stage 3進(jìn)行了優(yōu)化，同時(shí)擴(kuò)展了Muon優(yōu)化器的支持范圍，提升了分布式訓(xùn)練的內(nèi)存效率與優(yōu)化器兼容性。

1. 擴(kuò)展Muon優(yōu)化器對(duì)ZeRO Stage 3的支持

新增Muon優(yōu)化器在ZeRO Stage 3模式下的完整支持，解決了過往版本中Muon優(yōu)化器與ZeRO Stage 3不兼容、參數(shù)分區(qū)異常、優(yōu)化器狀態(tài)同步失敗等問題。ZeRO Stage 3是DeepSpeed顯存優(yōu)化的最高級(jí)別，可將模型參數(shù)、梯度、優(yōu)化器狀態(tài)全部分區(qū)存儲(chǔ)，大幅降低單卡顯存占用，而Muon優(yōu)化器作為新型優(yōu)化器，在大模型訓(xùn)練中具備收斂速度快、穩(wěn)定性強(qiáng)的優(yōu)勢，本次適配讓開發(fā)者可以在ZeRO Stage 3模式下使用Muon優(yōu)化器，兼顧顯存效率與訓(xùn)練性能。

2. ZeRO相關(guān)底層邏輯優(yōu)化

配合Muon優(yōu)化器適配，DeepSpeed v0.18.9對(duì)ZeRO Stage 3的參數(shù)分區(qū)、狀態(tài)同步、內(nèi)存管理邏輯進(jìn)行了微調(diào)，確保優(yōu)化器狀態(tài)與模型分區(qū)參數(shù)的正確映射，避免了顯存泄漏、狀態(tài)同步延遲等問題，進(jìn)一步提升了ZeRO Stage 3模式下的訓(xùn)練穩(wěn)定性。

五、AutoSP功能合并入庫

本次版本最大的功能升級(jí)之一，是將AutoSP（自動(dòng)序列并行）功能正式合并入DeepSpeed主分支，完成了AutoSP模塊的全量集成。AutoSP是DeepSpeed針對(duì)長序列大模型訓(xùn)練推出的自動(dòng)序列并行技術(shù)，基于torch.compile與FX圖優(yōu)化實(shí)現(xiàn)序列維度的自動(dòng)分片，無需手動(dòng)修改模型代碼，即可實(shí)現(xiàn)序列并行訓(xùn)練，大幅提升長上下文大模型的訓(xùn)練效率。

1. AutoSP核心測試用例新增

在tests/unit/v1/compile/目錄下新增大量AutoSP相關(guān)測試用例，覆蓋SDPA節(jié)點(diǎn)檢測、輸入ID/標(biāo)簽ID/位置ID節(jié)點(diǎn)識(shí)別、符號(hào)序列長度節(jié)點(diǎn)查找、分片偏移量生成、符號(hào)切片索引創(chuàng)建、張量分片節(jié)點(diǎn)替換等核心功能測試，測試序列長度覆蓋64、128、256等常用場景，確保AutoSP功能在不同序列長度下的穩(wěn)定性。

2. AutoSP與Ulysses SP對(duì)齊驗(yàn)證

新增compare_sp_loss測試函數(shù)，實(shí)現(xiàn)AutoSP編譯模型與Ulysses SP基準(zhǔn)模型的損失值對(duì)齊驗(yàn)證，在分布式環(huán)境下對(duì)比兩種序列并行方案的訓(xùn)練損失，確保AutoSP的計(jì)算精度與Ulysses SP一致，誤差控制在RTOL=0.1、ATOL=0.01范圍內(nèi)，保障自動(dòng)序列并行的訓(xùn)練精度。

3. AutoSP圖優(yōu)化邏輯完善

新增create_gm_nodes函數(shù)實(shí)現(xiàn)模型FX圖捕獲，通過自定義torch.compile后端捕獲模型計(jì)算圖，確保AutoSP可以正確識(shí)別序列維度與輸入節(jié)點(diǎn)；新增find_sym_seq_node函數(shù)實(shí)現(xiàn)符號(hào)序列長度節(jié)點(diǎn)的查找，解決了torch 2.9 bf16模式下符號(hào)節(jié)點(diǎn)順序異常的問題，保障AutoSP在不同PyTorch版本與精度模式下的正常運(yùn)行。

六、CI流程、文檔與版權(quán)信息更新 1. CI工作流優(yōu)化

對(duì).github/workflows/aws-torch-latest-full.yml進(jìn)行調(diào)整，優(yōu)化AWS L40S GPU集群的CI測試流程，新增容量 fallback 邏輯，當(dāng)L40S GPU資源不足時(shí)，自動(dòng)切換至8xA100節(jié)點(diǎn)執(zhí)行測試；優(yōu)化提交檢測邏輯，簡化GitHub Actions的命令執(zhí)行格式，統(tǒng)一標(biāo)點(diǎn)符號(hào)規(guī)范；新增GPU架構(gòu)自動(dòng)檢測步驟，通過Python代碼實(shí)時(shí)獲取GPU計(jì)算能力與設(shè)備數(shù)量，動(dòng)態(tài)設(shè)置TORCH_CUDA_ARCH_LIST環(huán)境變量，提升CI測試的兼容性與靈活性。

同時(shí)新增測試 fallback 邏輯，當(dāng)部分測試用例執(zhí)行失敗時(shí)，自動(dòng)切換至完整測試模式，確保測試覆蓋率，保障版本發(fā)布的穩(wěn)定性。

2. 開發(fā)文檔更新

對(duì)AGENTS.md與CLAUDE.md文檔進(jìn)行優(yōu)化，在CI開發(fā)規(guī)范中新增pre-commit命令說明，明確要求開發(fā)者提交代碼前執(zhí)行pre-commit run --files 命令，僅檢查修改文件而非全量代碼庫，提升開發(fā)效率；移除文檔中Microsoft Corporation版權(quán)聲明，統(tǒng)一版權(quán)規(guī)范；更新pre-commit配置說明，明確代碼格式化、靜態(tài)檢查的執(zhí)行要求。

3. 項(xiàng)目README與新聞更新

更新README.md的Latest News板塊，新增兩項(xiàng)重要資訊：一是DeepSpeed團(tuán)隊(duì)在ASPLOS 2026發(fā)布大模型系統(tǒng)構(gòu)建教程；二是SuperOffload相關(guān)工作獲得ASPLOS 2026最佳論文榮譽(yù)提名，同步更新相關(guān)鏈接，提升項(xiàng)目社區(qū)影響力。

同時(shí)新增ASPLOS 2026最佳論文獎(jiǎng)相關(guān)新聞條目，完善項(xiàng)目榮譽(yù)展示，增強(qiáng)社區(qū)開發(fā)者對(duì)DeepSpeed技術(shù)價(jià)值的認(rèn)可。

4. 版本號(hào)更新

將version.txt文件中的版本號(hào)從0.18.8更新至0.18.9，完成正式版本的標(biāo)識(shí)，方便開發(fā)者通過版本號(hào)區(qū)分迭代內(nèi)容，順利進(jìn)行版本升級(jí)。

七、版本更新總結(jié)與升級(jí)建議

DeepSpeed v0.18.9作為一次迭代型版本更新，聚焦于功能增強(qiáng)、兼容性修復(fù)、穩(wěn)定性提升、生態(tài)適配四大核心方向，所有變更均圍繞大模型分布式訓(xùn)練的實(shí)際痛點(diǎn)展開，無破壞性變更，適合所有使用DeepSpeed的開發(fā)者升級(jí)。

本次更新的核心價(jià)值體現(xiàn)在：

1. 1. AutoTP能力全面升級(jí)，通用Checkpoint與HuggingFace tp_plan支持，大幅降低自動(dòng)張量并行使用門檻；

2. 2. 硬件與環(huán)境適配優(yōu)化，支持自定義環(huán)境變量、多平臺(tái)GPU檢測，提升框架部署靈活性；

3. 3. 訓(xùn)練穩(wěn)定性修復(fù)，解決PyTorch兼容、SuperOffload梯度更新、Triton路徑異常等關(guān)鍵問題；

4. 4. AutoSP正式合并，長序列自動(dòng)并行能力落地，適配長上下文大模型訓(xùn)練；

5. 5. ZeRO與優(yōu)化器適配擴(kuò)展，支持Muon優(yōu)化器在ZeRO Stage 3模式下運(yùn)行；

6. 6. CI與文檔完善，提升開發(fā)協(xié)作效率與項(xiàng)目規(guī)范性。

升級(jí)建議：

1. 1. 正在使用DeepSpeed v0.18.x系列版本的開發(fā)者，可直接升級(jí)至v0.18.9，無需修改業(yè)務(wù)代碼；

2. 2. 使用HuggingFace模型進(jìn)行張量并行訓(xùn)練的開發(fā)者，升級(jí)后可直接使用官方tp_plan，簡化配置；

3. 3. 長序列大模型訓(xùn)練場景，可嘗試AutoSP功能，提升序列并行訓(xùn)練效率；

4. 4. AMD ROCm平臺(tái)、自定義Triton路徑、無GPU環(huán)境的開發(fā)者，升級(jí)后可解決環(huán)境適配問題；

5. 5. 使用PyTorch 2.4以下版本的開發(fā)者，升級(jí)后可修復(fù)混合精度訓(xùn)練接口兼容問題。

代碼地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.18.9版本通過社區(qū)協(xié)同開發(fā)，完成了多項(xiàng)實(shí)用功能升級(jí)與缺陷修復(fù)，進(jìn)一步鞏固了其在大模型分布式訓(xùn)練領(lǐng)域的領(lǐng)先地位。AutoTP的生態(tài)適配、AutoSP的正式落地、ZeRO與優(yōu)化器的深度優(yōu)化，讓大模型訓(xùn)練更高效、更簡單、更穩(wěn)定；環(huán)境適配與兼容性修復(fù)，保障了框架在不同硬件、不同軟件版本下的可靠運(yùn)行。

我們相信人工智能為普通人提供了一種“增強(qiáng)工具”，并致力于分享全方位的AI知識(shí)。在這里，您可以找到最新的AI科普文章、工具評(píng)測、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”，發(fā)消息可獲得面試資料，讓AI助力您的未來發(fā)展。