DeepSpeed v0.18.2于2025年11月6日正式發(fā)布，本次補丁版本在多項核心模塊進行了優(yōu)化與 Bug 修復(fù)，減少訓(xùn)練過程中的冗余計算與內(nèi)存開銷，并對文檔進行了更直觀的調(diào)整，提升開發(fā)者使用體驗。以下為本次更新的詳細內(nèi)容整理：

一、版本更新概覽

本次更新主要涉及以下幾類改動：

• ?版本號更新：由 v0.18.1 升級至 v0.18.2。

• ?內(nèi)存與計算優(yōu)化：減少浮點權(quán)重的重復(fù)存儲與拷貝開銷。

• ?Ulysses Sequence Parallelism（UlyssesSP）改進：優(yōu)化變量序列長度的處理邏輯，接口更直觀。

• ?優(yōu)化器修復(fù)：修復(fù)溢出處理返回值位置錯誤。

• ?ZeRO Stage 改動：增強在torch.autocast場景下的權(quán)重管理，防止不必要的權(quán)重重復(fù)拷貝。

• ?文檔更新：調(diào)整教程參數(shù)說明，修復(fù)示例代碼中的拼寫錯誤，使 API 使用更清晰。

在ZeRO Stage 3與torch.autocast同時啟用時，模型權(quán)重可能會在所謂的 “fp16” 分組中直接以 fp32 格式存在并更新。
此次更新中，系統(tǒng)檢測到此類場景后不再額外創(chuàng)建 fp32 副本，直接使用現(xiàn)有權(quán)重，減少內(nèi)存占用與拷貝開銷。

2. UlyssesSP 模塊更新

本次更新對UlyssesSPAttentionHF接口優(yōu)化，主要包括：

• ? 支持seq_length_is_variable=True時不必在初始化設(shè)置固定序列長度，由forward動態(tài)計算。

• ? 新增seq_length參數(shù)用于固定批次長度場景（可節(jié)省少量運行時間），替代已廢棄的max_length參數(shù)。

• ? 當(dāng)批次序列長度恒定時，系統(tǒng)會預(yù)先計算所需的 Tensor 形狀，避免重復(fù)推導(dǎo)。

• ? 文檔中新增變量長度模式與固定長度模式使用示例，讓開發(fā)者更易選擇適合的路徑。

此外，更新強調(diào)了TiledMLP與SequenceTiledCompute在反向計算中會重復(fù)執(zhí)行forward（激活檢查點模式下甚至可達三次），提醒用戶注意性能開銷。

3. fused_optimizer.py 修復(fù)

修復(fù)了溢出處理邏輯中return 語句位置錯誤的問題，確保溢出計時器在返回前能夠正確記錄信息。

4. ZeRO Stage 1 & 2 參數(shù)縮減修復(fù)

修復(fù)了extra_large_param_to_reduce在管理梯度通信數(shù)據(jù)類型（comm_dtype）時的錯誤索引問題，確保數(shù)據(jù)按正確的通信精度分桶存儲與傳輸。
同時解決了_get_state_without_padding在處理0維 Tensor時的切片報錯問題。

三、文檔與教程更新 1. README 精簡與刷新

• ? 整理了“Latest News”板塊，只保留近期重點技術(shù)文章鏈接。

• ? 優(yōu)化了架構(gòu)描述，使“DeepSpeed 的四大創(chuàng)新支柱”結(jié)構(gòu)更清晰：

1. 1.DeepSpeed-Training

2. 2.DeepSpeed-Inference

3. 3.DeepSpeed-Compression

4. 4.DeepSpeed4Science

• ?pytorch-profiler.md：修復(fù)了示例代碼中record_function參數(shù)的錯誤拼寫，改為"model_forward"以便正確標注分析段落。

• ?ulysses-alst-sequence-parallelism.md：

• • ? 統(tǒng)一參數(shù)名稱max_length→seq_length（推薦使用seq_length，max_length已標記為廢棄）。

  • ? 增加兩種使用模式示例：

  • • ?變量長度模式：seq_length_is_variable=True，系統(tǒng)每批次計算形狀。

    • ?固定長度模式：seq_length_is_variable=False，需保證序列長度可被sequence_parallel_size整除。

  • ? 說明 DataLoader 適配器在分片批次后，如何預(yù)先“標簽右移”以確保損失計算正確。

• ?訓(xùn)練性能：減少冗余 fp32 權(quán)重復(fù)制與存儲，釋放顯存，提高訓(xùn)練吞吐。

• ?開發(fā)體驗：更直觀的 API 與教程，簡化配置流程，減少參數(shù)混淆風(fēng)險。

• ?穩(wěn)定性：多個 bug 修復(fù)消除潛在的訓(xùn)練中斷與計算異常風(fēng)險。

• ?代碼維護性：棄用舊參數(shù)名、增強容錯邏輯，為后續(xù)版本迭代奠定基礎(chǔ)。

DeepSpeed v0.18.2盡管是一次補丁版本，但涵蓋了從內(nèi)存優(yōu)化到 API 改進再到文檔修復(fù)的全面優(yōu)化，特別是在Ulysses Sequence Parallelism與ZeRO Stage部分，為大規(guī)模模型的穩(wěn)定、高效訓(xùn)練提供了更堅實的支持。

我們相信人工智能為普通人提供了一種“增強工具”，并致力于分享全方位的AI知識。在這里，您可以找到最新的AI科普文章、工具評測、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”，發(fā)消息可獲得面試資料，讓AI助力您的未來發(fā)展。