大家好，我是 Ai 學(xué)習(xí)的老章

看到一個新的大模型推理工具——Shimmy，號稱全面超越 Ollama

省流：實際體驗，沒啥優(yōu)勢

Shimmy

本地 AI，零鎖定

Shimmy 是一個5.1MB 的單文件可執(zhí)行程序，為 GGUF 模型提供100% 兼容 OpenAI 的端點。

將現(xiàn)有 AI 工具指向 Shimmy，它們即可立即運行——本地、私密且完全免費。

? 零配置開箱即用

• 自動發(fā)現(xiàn)Hugging Face 緩存、Ollama 及本地目錄中的模型

• 自動分配端口，避免沖突

• 自動檢測 LoRA 適配器，支持專用模型

• 開箱即用——無需配置文件，無需設(shè)置向?qū)?/p>

本地開發(fā)完美之選

• 隱私：代碼始終保留在本地

• 成本：無需 API 密鑰，無需按 Token 計費

• 速度：本地推理，亞秒級響應(yīng)

• 穩(wěn)定：無速率限制，零宕機

Shimmy 的基準測試聚焦于真實場景性能而非理論峰值。用戶關(guān)心的是加載模型、在內(nèi)存受限情況下的文本生成以及跨配置的穩(wěn)定吞吐量。

Model

大小

加載時間

首個 token

token/秒

內(nèi)存

phi3-mini

2.4GB

1.2 秒

220 毫秒

24.3

3.1GB

llama-7b

4.1GB

2.8 秒

410 毫秒

15.7

5.9GB

mistral-7b

4.1GB

2.6 秒

380 毫秒

18.2

5.7GB

? 性能對比

工具

二進制大小

啟動時間

內(nèi)存用量

OpenAI API

Shimmy5.1MB<100 毫秒50MB100%

Ollama

680MB

5–10 秒

200MB+

部分

llama.cpp

89MB

1-2 秒

100MB

用法 API

• GET /health- 健康檢查

• POST /v1/chat/completions- 兼容 OpenAI 的聊天

• GET /v1/models- 列出可用模型

• POST /api/generate- Shimmy 原生 API

• GET /ws/generate- WebSocket 流式傳輸

shimmy serve                    # Start server (auto port allocation) shimmy serve --bind 127.0.0.1:8080  # Manual port binding shimmy list                     # Show available models   shimmy discover                 # Refresh model discovery shimmy generate --name X --prompt "Hi"  # Test generation shimmy probe model-name         # Verify model loads

Windows

# RECOMMENDED: Use pre-built binary (no build dependencies required) curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy.exe -o shimmy.exe # OR: Install from source (requires LLVM/Clang) # First install build dependencies: winget install LLVM.LLVM # Then install shimmy: cargo install shimmy --features huggingface

macOS

# Install dependencies brew install cmake rust # Install shimmy cargo install shimmy

安裝顯然不如 Ollama 省事兒，pip、node、docker 版本也都沒有

app更是沒有

實際拿它與 Ollama 對比，拉起 Qwen:0.5B，發(fā)起請求后

Ollama 內(nèi)存占用 473+，因為它有單獨的 app，所以會有額外內(nèi)存占用。

Shimmy 占用 461+

使用上更是毫無方便之處，必須搭配其他工具進行簡單測試

我唯一感興趣的是它會不會對并發(fā)更加友好

結(jié)果更是慘不忍睹

Ollama 之前我寫過文章介紹，并發(fā)是無解的

好歹它至少還能跑，但是 Shimmy 單請求還正常

發(fā)起并發(fā)請求之后，就大量 ERROR 了

最終測試失敗告終