【TechWeb】2月27日消息，就在外界翹首期盼DeepSeek-V4大模型發(fā)布之際，DeepSeek團隊再次帶來了一份技術(shù)驚喜。

DeepSeek聯(lián)合北京大學(xué)、清華大學(xué)發(fā)布了一篇題為《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》的論文，提出了一種創(chuàng)新的推理系統(tǒng)架構(gòu)，直指當(dāng)前大語言模型在多輪Agent交互場景下的核心性能瓶頸。

論文開篇指出了一個重要趨勢：LLM正在從單輪對話機器人演變?yōu)槟軌蜃灾饕?guī)劃、調(diào)用工具、解決現(xiàn)實世界任務(wù)的Agentic系統(tǒng)。在這種新范式下，模型不再處理孤立的提示詞，而是參與長達(dá)數(shù)十甚至數(shù)百輪的長期會話，上下文不斷累積。

這種變化帶來了全新的計算特征：高KV-Cache（鍵值緩存）命中率、低計算需求。論文中的數(shù)據(jù)顯示，在典型的編碼任務(wù)軌跡中，平均輪次達(dá)到157輪，平均上下文長度32.7K tokens，而每次追加的平均長度僅429 tokens，這意味著KV-Cache命中率高達(dá)98.7%。

這種“長上下文、短追加、多輪次”的工作負(fù)載模式，使得KV-Cache的加載效率而非計算效率成為主導(dǎo)性能的關(guān)鍵因素。

現(xiàn)有架構(gòu)的致命弱點

當(dāng)前主流的LLM推理系統(tǒng)普遍采用預(yù)填充-解碼分離架構(gòu)。在這種設(shè)計中，預(yù)填充引擎負(fù)責(zé)從分布式存儲加載KV-Cache，然后傳輸給解碼引擎進(jìn)行自回歸生成。

然而，論文揭示了一個嚴(yán)重的資源利用不平衡問題：預(yù)填充引擎的存儲網(wǎng)絡(luò)帶寬成為整個系統(tǒng)的吞吐瓶頸，而解碼引擎的存儲網(wǎng)絡(luò)帶寬卻基本閑置。

更令人擔(dān)憂的是硬件發(fā)展趨勢。論文數(shù)據(jù)顯示，從NVIDIA Ampere架構(gòu)到Blackwell架構(gòu)，I/O與計算的比例下降了14.4倍。這意味著GPU算力增長遠(yuǎn)快于網(wǎng)絡(luò)帶寬和HBM容量的增長，導(dǎo)致I/O瓶頸問題日益嚴(yán)重。

DualPath的創(chuàng)新突破

面對這一挑戰(zhàn)，DeepSeek團隊提出了一個反直覺的解決方案：讓KV-Cache加載不再局限于預(yù)填充引擎。

DualPath的核心洞察是：可以利用解碼引擎閑置的存儲帶寬來加載KV-Cache，然后通過高性能RDMA計算網(wǎng)絡(luò)傳輸給預(yù)填充引擎。這種“雙路徑加載”架構(gòu)將存儲I/O從單一瓶頸資源轉(zhuǎn)變?yōu)槿挚烧{(diào)度的容量池。

具體實現(xiàn)中，DualPath在預(yù)填充引擎和解碼引擎上各分配少量DRAM作為緩沖區(qū)。當(dāng)采用傳統(tǒng)的預(yù)填充讀取路徑時，KV-Cache從存儲加載到預(yù)填充引擎緩沖區(qū)，然后逐層傳輸?shù)紾PU HBM進(jìn)行計算，最后傳輸給解碼引擎。而當(dāng)采用新穎的解碼讀取路徑時，KV-Cache首先加載到解碼引擎緩沖區(qū)，然后在預(yù)填充計算過程中逐層傳輸給預(yù)填充引擎。

實現(xiàn)這一設(shè)計面臨三個關(guān)鍵挑戰(zhàn)：

第一，細(xì)粒度數(shù)據(jù)傳輸。 層式預(yù)填充技術(shù)將KV-Cache分割成眾多細(xì)粒度塊，傳輸這些小塊數(shù)據(jù)需要極低的開銷。DualPath通過設(shè)計兩種塊布局（全量塊和層塊）來優(yōu)化傳輸效率。

第二，流量隔離。 額外的KV-Cache傳輸流量可能與模型執(zhí)行中的延遲敏感型集體通信產(chǎn)生干擾。DualPath采用CNIC中心化的數(shù)據(jù)傳輸方式，所有進(jìn)出GPU的數(shù)據(jù)都必須通過GPU配對的計算NIC，并利用InfiniBand的虛擬通道技術(shù)實現(xiàn)嚴(yán)格的流量分級。

第三，動態(tài)負(fù)載均衡。 系統(tǒng)需要在線決策每條請求使用哪條加載路徑。DualPath設(shè)計了兩級調(diào)度算法，綜合考慮存儲NIC隊列長度、GPU計算負(fù)載和請求特征，實現(xiàn)計算和網(wǎng)絡(luò)資源的聯(lián)合平衡。

推理吞吐量提升近2倍

論文在三個模型上進(jìn)行了全面評估：DeepSeek-V3.2 660B、一個27B的降規(guī)模版本以及Qwen2.5-32B。

實驗數(shù)據(jù)令人印象深刻：在離線批處理推理場景（如強化學(xué)習(xí)訓(xùn)練中的 rollout 階段）中，DualPath相比基線系統(tǒng)實現(xiàn)了最高1.87倍的吞吐量提升。在在線服務(wù)場景中，DualPath在不違反SLO的前提下，平均提升了1.96倍的Agent每秒處理能力。

研究團隊還在多達(dá)1152塊GPU的規(guī)模上驗證了DualPath的可擴展性。從2個預(yù)填充引擎+4個解碼引擎擴展到48+96配置時，系統(tǒng)實現(xiàn)了接近線性的加速。在在線服務(wù)場景中，44+88配置實現(xiàn)了22倍的吞吐量提升，同時保持相似的延遲特征。

同時，論文也指出了未來工作方向：更自適應(yīng)、更靈活的并行度和預(yù)填充-解碼比例配置方法，以及在大規(guī)模部署中實現(xiàn)更低的TTFT（Time To First Token）百分位數(shù)。

在萬眾期待DeepSeek-V4之際，這篇論文展示了DeepSeek團隊在系統(tǒng)層面的深厚積累。DualPath的創(chuàng)新不僅解決了當(dāng)前Agentic LLM推理的核心瓶頸，也為未來更大規(guī)模、更復(fù)雜的多輪交互應(yīng)用鋪平了道路。（宜月）