北京
近日，DeepSeek團(tuán)隊(duì)聯(lián)合清華大學(xué)、北京大學(xué)計(jì)算機(jī)學(xué)院發(fā)表名為《DualPath：突破智能體LLM推理中的存儲(chǔ)帶寬瓶頸》的論文，將研究方向投向了決定大模型實(shí)際應(yīng)用落地的關(guān)鍵一環(huán)——推理速度，為日益復(fù)雜的AI智能體，提供一套高效的底層系統(tǒng)解決方案。
具體來(lái)說(shuō)，新論文介紹了一個(gè)名為DualPath的創(chuàng)新推理系統(tǒng)，專門針對(duì)智能體工作負(fù)載下的大模型（LLM）推理性能進(jìn)行優(yōu)化。通過(guò)引入“雙路徑讀取KV-Cache（類似記憶緩存）”機(jī)制，重新分配存儲(chǔ)網(wǎng)絡(luò)負(fù)載，將離線推理吞吐量最高提升1.87倍，在線服務(wù)的每秒智能體運(yùn)行數(shù)平均提升1.96倍。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
