2025年11月2日，ollama 發(fā)布了v0.12.9最新版本，本次更新主要針對(duì) CPU-only 系統(tǒng)的性能回退問題進(jìn)行了修復(fù)，同時(shí)在 GPU 設(shè)備檢測(cè)、ROCm 錯(cuò)誤處理以及 CUDA 內(nèi)存分配優(yōu)化方面進(jìn)行了多項(xiàng)改進(jìn)。以下是版本的詳細(xì)變化說明。

一、主要更新內(nèi)容 1. 修復(fù) CPU-only 系統(tǒng)性能回退問題

本次版本重點(diǎn)修復(fù)了在僅使用 CPU 的環(huán)境下出現(xiàn)的性能回退（regression）問題，確保在缺乏 GPU 的系統(tǒng)上依舊能夠高效運(yùn)行模型。

2. GPU 設(shè)備檢測(cè)路徑優(yōu)化

在 GPU 設(shè)備枚舉的過程中，舊版本使用LibOllamaPath作為庫(kù)路徑，本次更新統(tǒng)一改為ml.LibOllamaPath，保證路徑引用一致性，提升跨平臺(tái)與多設(shè)備環(huán)境下的穩(wěn)定性。
改動(dòng)包括：

• ?discover/runner.go中多處將LibOllamaPath替換為ml.LibOllamaPath

• ? 在 ROCm 目錄查找、設(shè)備列表更新等邏輯中進(jìn)行相同修改

• ?ml/device.go中LibraryPaths函數(shù)初始化時(shí)確保LibOllamaPath包含于 GPU 庫(kù)路徑列表中

這些改動(dòng)有助于在 GPU 初始化階段正確加載相關(guān)庫(kù)文件，尤其是在混合 GPU 環(huán)境中（CUDA 與 ROCm 并存）。

3. ROCm 錯(cuò)誤捕獲與日志改進(jìn)

新增對(duì)ROCm error的日志監(jiān)控，llm/status.go的errorPrefixes列表中增加了"ROCm error"條目，使錯(cuò)誤信息能夠被及時(shí)捕獲與輸出，便于定位問題。

4. CUDA 內(nèi)存操作優(yōu)化

在 CUDA 后端實(shí)現(xiàn)中增加了對(duì)內(nèi)存設(shè)置與拷貝操作的優(yōu)化邏輯：

• ? 新增cudaMemsetAsyncReserve方法：在圖預(yù)留（reserving_graph）階段，避免執(zhí)行不必要的cudaMemsetAsync操作，從而減少 GPU 內(nèi)存分配壓力

• ? 對(duì)cudaMemcpyAsync、cudaMemcpy2DAsync、cudaMemsetAsync進(jìn)行了宏替換，使其在預(yù)留階段直接返回成功，而不執(zhí)行實(shí)際操作

• ? 這一改動(dòng)在ggml/src/ggml-cuda/common.cuh和ml/backend/ggml/ggml/src/ggml-cuda/common.cuh中均有實(shí)現(xiàn)，使 CUDA 后端在圖優(yōu)化階段更高效

效果：

• ? 避免無(wú)意義的 GPU 內(nèi)存清零操作

• ? 在模型裝載與推理時(shí)減少延遲

integration/api_test.go中移除了冗余的TestAPIEmbeddings測(cè)試方法，此前該測(cè)試會(huì)調(diào)用嵌入 API（Embeddings），包括模型拉取與輸出驗(yàn)證，此處刪除主要是簡(jiǎn)化測(cè)試集，避免重復(fù)測(cè)試相同功能。

6. 文件結(jié)構(gòu)調(diào)整與命名空間修改

discover/path.go文件更名為ml/path.go，并將包名從discover改為ml，歸類到機(jī)器學(xué)習(xí)核心邏輯下，使模塊結(jié)構(gòu)更加清晰。

二、總結(jié)

ollama v0.12.9 在保持功能穩(wěn)定的同時(shí)，解決了 CPU-only 系統(tǒng)的性能問題，并且顯著優(yōu)化了 GPU 設(shè)備檢測(cè)、ROCm 錯(cuò)誤日志及 CUDA 內(nèi)存分配機(jī)制。這些改進(jìn)對(duì)在多種硬件環(huán)境中部署 Ollama 的用戶尤為重要：

• ?CPU-only 用戶可獲得更好的推理性能

• ?GPU 用戶能夠享受更穩(wěn)定的設(shè)備檢測(cè)與庫(kù)加載機(jī)制

• ?CUDA/ROCm 用戶可減少初始化延遲、提升整體運(yùn)行效率

我們相信人工智能為普通人提供了一種“增強(qiáng)工具”，并致力于分享全方位的AI知識(shí)。在這里，您可以找到最新的AI科普文章、工具評(píng)測(cè)、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”，發(fā)消息可獲得面試資料，讓AI助力您的未來(lái)發(fā)展。