TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架，核心目標(biāo)是突破 NVIDIA 平臺(tái)上的推理性能瓶頸。為實(shí)現(xiàn)這一目標(biāo)，其構(gòu)建了多維度的核心實(shí)現(xiàn)路徑：一方面，針對(duì)需部署熱門開源模型的應(yīng)用場(chǎng)景，框架已支持 GPT-OSS、DeepSeek、Llama 2 及 Llama 3 等主流模型的端到端部署；另一方面，框架將部署功能封裝為可擴(kuò)展的 Python 框架；同時(shí)，TensorRT LLM 還承擔(dān)著推理領(lǐng)域新技術(shù)載體的角色，通過(guò)將前沿創(chuàng)新引入 LLM 推理生態(tài)，持續(xù)提升整個(gè)生態(tài)系統(tǒng)合作伙伴的技術(shù)能力。

• TensorRT LLM 1.0 易用性優(yōu)化與實(shí)現(xiàn)方式：TensorRT LLM 1.0 版本的核心升級(jí)聚焦于易用性提升，且針對(duì)不同角色的用戶需求進(jìn)行了差異化設(shè)計(jì)。為實(shí)現(xiàn)這些易用性目標(biāo)，框架在技術(shù)層面做了多重優(yōu)化：首先，支持將現(xiàn)有 PyTorch 模型（如 Hugging Face 生態(tài)中的建模代碼）遷移至 TensorRT LLM，且優(yōu)化過(guò)程可分步實(shí)施；其次，框架完全兼容 PyTorch 與 Python 生態(tài)中的調(diào)試工具，開發(fā)者可直接使用 PDB 調(diào)試或打印張量中間值等熟悉的方式排查問(wèn)題；此外，新運(yùn)行時(shí)采用模塊化 Python 構(gòu)建塊設(shè)計(jì)，為核心組件定義清晰接口并提供 Python 實(shí)現(xiàn)；同時(shí)，框架無(wú)需提前編譯或構(gòu)建顯式引擎，支持快速迭代參數(shù)與跨硬件切換；最后，所有功能均開源在 GitHub，開發(fā)者可直接與 NVIDIA 團(tuán)隊(duì)協(xié)作，通過(guò)貢獻(xiàn)代碼推動(dòng)框架路線圖演進(jìn)。

• TensorRT LLM 性能突破：評(píng)估 TensorRT LLM 的核心價(jià)值，需重點(diǎn)關(guān)注其在推理性能極限上的突破能力，而這一突破依賴于對(duì)全堆棧優(yōu)化機(jī)會(huì)的精準(zhǔn)把握與軟硬件協(xié)同優(yōu)化。從 Hopper 架構(gòu)到最新的 Blackwell 架構(gòu)，NVIDIA 借助大型 NVLink 域、FP4 Tensor Cores 等硬件新技術(shù)，結(jié)合框架層面的模型分解服務(wù)，實(shí)現(xiàn)了軟硬件能力的深度協(xié)同。

針對(duì) NVIDIA 平臺(tái)的優(yōu)化過(guò)程中，這種協(xié)同設(shè)計(jì)讓 Hopper 到 Blackwell 兩代硬件的性能實(shí)現(xiàn) 8 倍提升。在分析性能前沿時(shí)，需重點(diǎn)關(guān)注兩個(gè)關(guān)鍵維度：一是交互性（即用戶體驗(yàn)），具體表現(xiàn)為 token 在終端用戶屏幕上的傳播速度，直接影響用戶使用時(shí)的流暢感；二是系統(tǒng)產(chǎn)能，即單位時(shí)間內(nèi)系統(tǒng)的 token 輸出量，決定了系統(tǒng)的服務(wù)效率。通過(guò)軟硬件協(xié)同優(yōu)化，TensorRT LLM 可同時(shí)改善這兩個(gè)維度的表現(xiàn)，真正突破 LLM 推理的性能極限，推動(dòng)領(lǐng)域發(fā)展邊界。

• 支撐易部署易擴(kuò)展的三大核心特征：TensorRT LLM 之所以能實(shí)現(xiàn)易部署、易擴(kuò)展的特性，并持續(xù)突破性能邊界，核心依賴于三類關(guān)鍵技術(shù)特征的支撐。

第一類特征是針對(duì) LLM 推理中最常見操作的優(yōu)化內(nèi)核，包括快速注意力內(nèi)核、GEMM 內(nèi)核、通信內(nèi)核等，這些內(nèi)核以 Torch 自定義操作的形式實(shí)現(xiàn)模塊化封裝，可直接在模型前向傳遞過(guò)程中調(diào)用，保核心計(jì)算環(huán)節(jié)的高效性。

第二類核心特征是提供高效運(yùn)行時(shí)支持。該運(yùn)行時(shí)集成了動(dòng)態(tài)批處理、高級(jí) KV Cache 重用、預(yù)測(cè)性解碼、高級(jí)并行化等關(guān)鍵技術(shù)，能夠從系統(tǒng)層面優(yōu)化整體性能，而非局限于模型單一計(jì)算環(huán)節(jié)的提升。

第三類核心特征則是將所有技術(shù)能力封裝至 Pythonic 框架中，開發(fā)者可直接在 PyTorch 環(huán)境中編寫模型代碼，同時(shí)通過(guò) Python 運(yùn)行時(shí)模塊靈活自定義系統(tǒng)行為，既降低了使用門檻，又保留了足夠的擴(kuò)展靈活性，讓不同技術(shù)背景的開發(fā)者都能高效利用框架能力。

• 快速啟動(dòng)并使用 TensorRT LLM：為幫助開發(fā)者快速啟動(dòng)并使用 TensorRT LLM，框架提供了三種核心交互方式。首先，通過(guò) TRT LLM serve CLI 工具，開發(fā)者可僅用一行代碼啟動(dòng)服務(wù)器。對(duì)于更大規(guī)模的部署場(chǎng)景，尤其是需要多實(shí)例編排的需求，開發(fā)者可借助 Dynamo 等工具實(shí)現(xiàn)高級(jí)數(shù)據(jù)中心規(guī)模優(yōu)化。若開發(fā)者需要更靈活、穩(wěn)定的 API 支持，框架推薦使用 LLM API。該 API 在 1.x 版本中保持接口穩(wěn)定，能確保部署過(guò)程的穩(wěn)定性與無(wú)縫性，同時(shí)支持各類自定義場(chǎng)景，無(wú)論是調(diào)整運(yùn)行時(shí)參數(shù)還是集成自定義模塊，都能通過(guò) API 便捷實(shí)現(xiàn)，兼顧穩(wěn)定性與靈活性。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：

輕松部署、加速推理：TensorRT LLM 1.0 正式上線，全新易用的 Python 式運(yùn)行 - NVIDIA 技術(shù)博客