開源生成式 AI 模型的迅猛發(fā)展正在推動(dòng)數(shù)據(jù)中心向物理世界中運(yùn)行的機(jī)器邁進(jìn)。開發(fā)者積極將這些模型部署至邊緣，以支持物理 AI 智能體和自主機(jī)器人自動(dòng)執(zhí)行高負(fù)載的任務(wù)。

關(guān)鍵的挑戰(zhàn)在于如何在內(nèi)存受限的邊緣設(shè)備上高效運(yùn)行包含數(shù)十億個(gè)參數(shù)的模型。在內(nèi)存供應(yīng)持續(xù)受限和成本上升的情況下，開發(fā)者正專注于在更少的資源約束下實(shí)現(xiàn)更高性能與效率。

NVIDIA Jetson平臺(tái)在支持熱門開放模型的同時(shí)，在邊緣端提供強(qiáng)大的運(yùn)行時(shí)性能和內(nèi)存優(yōu)化能力。對(duì)于邊緣開發(fā)者而言，內(nèi)存占用決定了系統(tǒng)是否正常運(yùn)行。與云環(huán)境不同，邊緣設(shè)備在嚴(yán)格的內(nèi)存限制下運(yùn)行，CPU 和 GPU 共享的資源是受限的。

內(nèi)存使用效率低下可能會(huì)導(dǎo)致瓶頸、延遲峰值或系統(tǒng)故障。與此同時(shí)，如今的邊緣應(yīng)用通常會(huì)運(yùn)行多個(gè)流程（例如檢測(cè)、跟蹤和分割），這使得高效的內(nèi)存管理對(duì)于在功耗和散熱受限的情況下實(shí)現(xiàn)穩(wěn)定的實(shí)時(shí)性能至關(guān)重要。

優(yōu)化內(nèi)存占用具有明顯優(yōu)勢(shì)。開發(fā)者可以通過減少開銷和增加并發(fā)性來提高相同硬件的性能，同時(shí)支持如大語言模型（LLM）、多攝像頭系統(tǒng)和傳感器融合等更復(fù)雜的工作負(fù)載。它還通過適配較小的內(nèi)存配置來降低系統(tǒng)成本，并通過最大限度地減少瓶頸并提高 GPU 利用率來提高效率（每瓦性能）。

本文將探討各種優(yōu)化策略，以幫助開發(fā)者在資源受限的邊緣系統(tǒng)上最大限度地提高性能、效率和功能。

具體包括以下內(nèi)容：

• 邊緣 AI 軟件堆棧

基礎(chǔ)層：板級(jí)支持包和軟件堆棧

推理工作流

推理框架

模型量化

• 使用專用加速器解析邊緣推理
• 實(shí)際用例：Reachy Mini Jetson Mini Assistant

以上為摘要內(nèi)容，點(diǎn)擊鏈接閱讀完整內(nèi)容：更大限度地提高內(nèi)存效率，在 NVIDIA Jetson 上運(yùn)行更大的模型 - NVIDIA 技術(shù)博客