開源生成式 AI 模型不再局限于數(shù)據(jù)中心，而是開始深入到現(xiàn)實(shí)世界的各種機(jī)器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運(yùn)行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區(qū)模型的通用平臺(tái)。

在今年初的 CES 展會(huì)上，卡特彼勒展示了 Cat 306 CR 小型挖掘機(jī)。其 Cat AI Assistant 運(yùn)行在 NVIDIA Jetson Thor 平臺(tái)上。為了實(shí)現(xiàn)快速準(zhǔn)確的自然語音交互，該系統(tǒng)采用了 NVIDIA Nemotron 語音模型，同時(shí)借助 Qwen3 4B，可以通過 vLLM 本地服務(wù)，確保無云連接的情況下，以低延遲解析請求并生成響應(yīng)。

除了推動(dòng)企業(yè)創(chuàng)新，開放模型還為開發(fā)者開辟了自由構(gòu)建與實(shí)驗(yàn)的廣闊空間。基于 NVIDIA Jetson，開發(fā)者可打造個(gè)人全天候在線的邊緣 AI 助手。

云部署會(huì)帶來延遲成本和持續(xù)的計(jì)算成本，而物理系統(tǒng)需要低延遲、功耗受控以及穩(wěn)定一致的行為。NVIDIA Jetson 通過將計(jì)算單元與內(nèi)存集成于單個(gè)系統(tǒng)級模塊（SoM）中，不僅加速了客戶的硬件設(shè)計(jì)進(jìn)程，也使元器件采購與驗(yàn)證比采用分立方案更為高效可靠。

NVIDIA Jetson 已成為在邊緣端運(yùn)行開放模型的通用平臺(tái)。它全面支持各類開放模型與 AI 框架，開發(fā)者可在邊緣端靈活部署幾乎任何生成式 AI 工作負(fù)載。同時(shí)，Jetson Thor 在所有主流生成式 AI 模型上均提供領(lǐng)先的推理性能。

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：開放模型點(diǎn)燃 AI 熱潮，NVIDIA Jetson 賦能 AI 在邊緣端落地 | NVIDIA 英偉達(dá)博客