大家好，我是 Ai 學(xué)習(xí)的老章

最近在測(cè)試 llama.cpp 這個(gè)推理引擎的表現(xiàn)，主要是啟動(dòng) GGUF 格式的量化大模型比較方便

啟動(dòng)確實(shí)方便，但是性能測(cè)試結(jié)果卻很不理想

單并發(fā)極快，速度飛起，并發(fā)數(shù)上來(lái)之后平均 TPS 斷崖式下降

我的啟動(dòng)腳本中是設(shè)置了并發(fā)相關(guān)參數(shù)的

搜了一下了 Reddit 的 LocalLLaMA 社區(qū)，發(fā)現(xiàn)很多吐槽

llama.cpp 項(xiàng)目 issue 還有吐槽

看了一個(gè)博主的文章《# Stop Wasting Your Multi-GPU Setup With llama.cpp》[1]

作者地下室里的常駐 AI 服務(wù)器——一臺(tái)配備 14 張 RTX 3090 GPU 和 336GB VRAM 的專用 AI 服務(wù)器，在此設(shè)備上做過(guò)大量測(cè)試。

省流：lama.cpp 并未針對(duì)張量并行（Tensor Parallelism）與批推理（Batch Inference）進(jìn)行優(yōu)化。只有在進(jìn)行 LLM 的部分或全部 CPU 卸載時(shí)，你才應(yīng)該使用 llama.cpp。但在多 GPU 配置下，需要經(jīng)過(guò)優(yōu)化的批推理與 Tensor Parallelism，此時(shí) vLLM 或 ExLlamaV2 等才是正確選擇。也不要使用 Ollama，它只是 llama.cpp 的一個(gè)封裝，干的就是設(shè)置環(huán)境變量、蹩腳地計(jì)算顯存拆分和卸載。如果你只有一塊 GPU，只想跑點(diǎn)基礎(chǔ)模型做做聊天，那它還行；但凡超出這個(gè)范圍，就不值得用了。

llama.cpp[2] 是一個(gè)支持多種模型架構(gòu)和硬件平臺(tái)的推理引擎。然而，它不支持批處理推理，因此一次處理多個(gè)請(qǐng)求時(shí)并不理想。它主要與 GGUF 量化格式配合使用，在單次請(qǐng)求場(chǎng)景下性能尚可，但也就僅此而已。唯一真正推薦使用 llama.cpp 的情況是：當(dāng)你的 GPU 顯存（VRAM）不足，需要將部分模型權(quán)重卸載到 CPU 內(nèi)存（RAM）時(shí)。

它是目前最流行的推理引擎。圍繞它的開(kāi)源社區(qū)非?；钴S，通常能很快支持新模型和新架構(gòu)，尤其因?yàn)樗С?CPU 卸載，對(duì)更廣泛的用戶群體而言也極易上手。遺憾的是，llama.cpp 并不支持、也大概率永遠(yuǎn)不會(huì)支持張量并行（Tensor Parallelism）[3] 因?yàn)榇蠖鄶?shù)人不會(huì)像我一樣把幾千美元砸在快速貶值的資產(chǎn)上[4]

作者的 AI 服務(wù)器配備了 512 GB 高性能 DDR4 3200 3DS RDIMM 內(nèi)存，可提供 CPU 架構(gòu)所支持的最大內(nèi)存帶寬。配合 AMD Epyc Milan 7713 CPU，僅通過(guò) CPU 卸載就能夠在 DeepSeek v2.5 236B BF16 模型上實(shí)現(xiàn)每秒約 1 個(gè) token。

但是

利用 14x GPU AI 服務(wù)器中的 8 塊 GPU，僅通過(guò) GPU 卸載，服務(wù)器在處理 Llama 3.1 70B BF16 時(shí)，通過(guò) vLLM 使用張量并行的批量推理，可達(dá)到每秒約 800 個(gè) token，同時(shí)處理 50 個(gè)異步請(qǐng)求。

這是為什么呢？

從宏觀上看，張量并行將模型每一層的計(jì)算分布到多塊 GPU 上。與其在單塊 GPU 上完成整個(gè)矩陣乘法，不如把運(yùn)算切分，讓每塊 GPU 只處理一部分工作量，這樣每塊 GPU 就能同時(shí)運(yùn)行不同層中的不同部分，使結(jié)果以指數(shù)級(jí)速度計(jì)算出來(lái)。

張量并行對(duì)多 GPU 配置至關(guān)重要——經(jīng)驗(yàn)法則是 TP 喜歡 2^n，因此下面運(yùn)行模型時(shí)用了 8×GPU——而在對(duì)系統(tǒng)進(jìn)行壓力測(cè)試時(shí)，并行也比串行更合適。當(dāng)你試圖用 llama.cpp 讓 LLMs 彼此對(duì)話時(shí)，引擎會(huì)把這些 GPU 拖慢，讓它們一個(gè)接一個(gè)地排隊(duì)等待。

下圖作者運(yùn)行的一個(gè)腳本：50 個(gè)異步請(qǐng)求，每個(gè)請(qǐng)求約 2k tokens，總共耗時(shí) 2 分 29 秒，使用的是 vLLM 運(yùn)行 Llama 3.1 70B BF16。如果改用 INT8 量化或更低精度，速度會(huì)快得多；再加上投機(jī)解碼和/或嵌入模型，速度還會(huì)進(jìn)一步提升。這一切都離不開(kāi) vLLM 利用張量并行實(shí)現(xiàn)的批推理。

作者還測(cè)試了 vLLM、Aphrodite、Sglang、TensorRT-LLM、ExLlamaV2 和 LMDeploy 等支持張量并行的推理引擎。其中 ExLlamaV2[5] 它是一款僅 GPU 的推理引擎，ExLlamaV2 帶來(lái)了獨(dú)一無(wú)二的 EXL2 量化格式，如今已被多款推理引擎采納，因?yàn)樗陲@存利用率上的優(yōu)勢(shì)巨大。

參考資料

Stop Wasting Your Multi-GPU Setup With llama.cpp: https://www.ahmadosman.com/blog/do-not-use-llama-cpp-or-ollama-on-multi-gpus-setups-use-vllm-or-exllamav2/

llama.cpp: https://github.com/ggerganov/llama.cpp

并不支持、也大概率永遠(yuǎn)不會(huì)支持張量并行（Tensor Parallelism）: https://github.com/ggerganov/llama.cpp/issues/9086#issuecomment-2578645269

把幾千美元砸在快速貶值的資產(chǎn)上: https://x.com/TheAhmadOsman/status/1869841392924762168

[5]

ExLlamaV2: https://github.com/turboderp/exllamav2

最后推薦一個(gè)我正在學(xué)習(xí)的課程