国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Mac跑MiniMax-M2.7,2條路徑對(duì)比

0
分享至

今天聊一個(gè)很多 Mac 用戶關(guān)心的問題:MiniMax-M2.7 怎么在 Mac 上跑起來?

MiniMax-M2.7 是什么來頭?

先簡(jiǎn)單回顧一下

M2.7 是 MiniMax 最新的開源大模型,MoE 架構(gòu),總參數(shù) 228.7B,每 token 激活約 10B 參數(shù),192K 上下文

這貨最亮眼的幾個(gè)數(shù)據(jù):

  • **SWE-Pro 56.22%**,和 GPT-5.3-Codex 打平

  • MLE Bench Lite 66.6%獎(jiǎng)牌率,僅次于 Opus-4.6 和 GPT-5.4

  • 原生支持 Agent Teams,多智能體協(xié)作

  • Always-reasoning 模式,始終開啟思考鏈

問題是——228B 參數(shù),普通人怎么跑?答案是量化。但 MiniMax 的量化比一般模型坑多得多

為什么標(biāo)準(zhǔn)量化在 MiniMax 上翻車?

這是寫這篇文章最想說的一件事:標(biāo)準(zhǔn) MLX 均勻量化在 MiniMax-M2.7 上完全失效——MMLU 直接降到 ~25%,基本等于隨機(jī)猜

原因在于 MoE 架構(gòu)的路由器(Router Gate)

均勻量化連路由器一起壓了,導(dǎo)致 token 被分配到錯(cuò)誤的專家上,整個(gè)模型就廢了

所以 Mac 用戶想跑 M2.7,目前只有兩條靠譜的路

路徑一:JANGTQ + MLX Studio(推薦?。?/p>

JANGTQ(JANG TurboQuant)是目前最小體積、最高質(zhì)量的 M2.7 Apple Silicon 量化方案,來自 JANGQ-AI 團(tuán)隊(duì)

核心思路:混合精度量化。路由專家 MLP(占 98% 參數(shù))用 2-bit codebook + Hadamard 旋轉(zhuǎn)壓縮,而 Attention、共享專家、Router Gate 保持 8-bit 或 fp16。


硬核數(shù)據(jù):

指標(biāo)

數(shù)值

磁盤占用

56.5 GB

GPU 顯存

56.5 GB

MMLU(200題)

91.5%

速度(M3 Ultra)

~44 tok/s

你沒看錯(cuò)——2-bit 量化,只要 56.5GB,MMLU 居然能打到 91.5%。對(duì)比標(biāo)準(zhǔn) MLX 量化的 ~25%,這差距簡(jiǎn)直是天壤之別

怎么跑:

最簡(jiǎn)單的方式是用 MLX Studio(內(nèi)置了 JANGTQ 運(yùn)行時(shí)和 Metal 內(nèi)核):

命令行方式也行:

pip install jang-tools

from huggingface_hub import snapshot_download
from jang_tools.load_jangtq import load_jangtq_model
from mlx_lm import generate

model_path = snapshot_download("JANGQ-AI/MiniMax-M2.7-JANGTQ")
model, tokenizer = load_jangtq_model(model_path)

messages = [{"role": "user", "content": "用5句話解釋光合作用"}]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
out = generate(model, tokenizer, prompt, max_tokens=600, verbose=True)

# 剝離推理鏈獲取最終答案
if""in out:
out = out.split("")[-1].strip()
print(out)

硬件要求:

機(jī)器

最低內(nèi)存

預(yù)期速度

M3 Ultra / M2 Ultra

96 GB

~44 tok/s

M4 Max

96 GB

~35-40 tok/s

M4 Pro

64 GB

~25-30 tok/s(非常緊張)

64GB 的 M4 Pro 理論上能跑,但會(huì)很緊張

96GB 是比較舒服的起點(diǎn)

路徑二:LM Studio + GGUF(最省心)

如果你就想點(diǎn)幾下鼠標(biāo)就開跑,LM Studio 是最簡(jiǎn)單的選擇。

LM Studio 已經(jīng)上線了 MiniMax-M2.7 的 GGUF 版本,基于 llama.cpp b8778 量化。

使用步驟:

  1. 下載安裝 LM Studio:https://lmstudio.ai/download

  2. 搜索minimax/minimax-m2.7

  3. 選擇量化版本下載

  4. 設(shè)置參數(shù):Temperature=1.0(必須?。?、Top K=40、Top P=0.95

  5. 開始對(duì)話

GGUF 來源是lmstudio-community/MiniMax-M2.7-GGUF。如果追求更好的量化質(zhì)量,Unsloth 提供了 22 個(gè) Dynamic 2.0 量化版本,逐層差異化量化,質(zhì)量全面優(yōu)于標(biāo)準(zhǔn) imatrix。

但有個(gè)大問題:LM Studio 官方標(biāo)注最低系統(tǒng)內(nèi)存 138GB

兩條路徑,怎么選?
兩條路徑對(duì)比

維度

JANGTQ + MLX Studio

LM Studio / GGUF

最小磁盤

56.5 GB

~108 GB

最低內(nèi)存

64 GB

138 GB

MMLU 質(zhì)量

91.5%

~64-65%(4-bit)

速度(M3 Ultra)

~44 tok/s

待測(cè)

易用性

需安裝 jang-tools

開箱即用

生態(tài)兼容

MLX 生態(tài)

OpenAI 兼容 API

我的建議:

  • 96GB 以下的 Mac→ 只能走 JANGTQ,別無(wú)選擇

  • 128GB+ 且需要 OpenAI 兼容 API→ LM Studio / GGUF 更方便

  • 追求最佳質(zhì)量→ JANGTQ 碾壓,2-bit 打 4-bit,這個(gè)結(jié)果說實(shí)話我也很意外

?? 關(guān)鍵設(shè)置提醒

不管走哪條路,這幾個(gè)參數(shù)必須注意:

  1. Temperature 必須設(shè) 1.0—— temp=0 會(huì)導(dǎo)致思考鏈死循環(huán),模型會(huì)一直 下去停不了

  2. max_tokens ≥ 8192—— Always-reasoning 模型的思考過程需要足夠空間

  3. 內(nèi)存必須大于模型文件大小—— 否則回退到硬盤卸載,速度斷崖式下降

總結(jié)

MiniMax-M2.7 在 Mac 上的本地部署,JANGTQ 是目前當(dāng)之無(wú)愧的最優(yōu)解——體積最小、質(zhì)量最高。2-bit 量化能拿到 91.5% MMLU,這在我寫過的所有量化方案里都算炸裂級(jí)別的。

LM Studio 勝在省心和生態(tài)兼容,但內(nèi)存門檻太高。

如果你手上有一臺(tái) 96GB+ 的 Mac,強(qiáng)烈建議先試試 JANGTQ

56.5GB 下載完就能跑,44 tok/s 的速度日常使用完全夠了。

.7

制作不易,如果這篇文章覺得對(duì)你有用,可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊:點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè),謝謝你看我的文章,我們下篇再見!

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
杜蘭特遭遇右髕腱深度挫傷!參加一半訓(xùn)練內(nèi)容 對(duì)湖人G2出戰(zhàn)成疑

杜蘭特遭遇右髕腱深度挫傷!參加一半訓(xùn)練內(nèi)容 對(duì)湖人G2出戰(zhàn)成疑

羅說NBA
2026-04-21 07:53:32
王端端,1978年3月16日出生于遼寧沈陽(yáng),本科畢業(yè)于沈陽(yáng)理工大學(xué)

王端端,1978年3月16日出生于遼寧沈陽(yáng),本科畢業(yè)于沈陽(yáng)理工大學(xué)

歲月有情1314
2026-04-21 07:44:52
052D穿過日本橫當(dāng)水道!這步棋有多狠?

052D穿過日本橫當(dāng)水道!這步棋有多狠?

牲產(chǎn)隊(duì)
2026-04-20 22:21:15
騎士滅猛龍總分2-0:哈登28分創(chuàng)3項(xiàng)里程碑 米切爾30+7+5

騎士滅猛龍總分2-0:哈登28分創(chuàng)3項(xiàng)里程碑 米切爾30+7+5

醉臥浮生
2026-04-21 09:37:55
負(fù)債2萬(wàn)億!向太:許家印拖著麻袋來賭牌+故意送錢 我知道他想干啥

負(fù)債2萬(wàn)億!向太:許家印拖著麻袋來賭牌+故意送錢 我知道他想干啥

趣味萌寵的日常
2026-04-20 19:43:53
朝鮮5枚導(dǎo)彈齊射,金正恩親自督戰(zhàn),日本找上中國(guó),發(fā)出強(qiáng)烈抗議

朝鮮5枚導(dǎo)彈齊射,金正恩親自督戰(zhàn),日本找上中國(guó),發(fā)出強(qiáng)烈抗議

書紀(jì)文譚
2026-04-20 17:13:41
美國(guó)女大學(xué)生一句玩笑,面臨15年牢獄的指控

美國(guó)女大學(xué)生一句玩笑,面臨15年牢獄的指控

慕容律師
2026-04-21 00:51:17
油混同強(qiáng)還超省心,全球SUV王者榮放這次誠(chéng)意拉滿

油混同強(qiáng)還超省心,全球SUV王者榮放這次誠(chéng)意拉滿

鐘叔駕道
2026-04-15 17:05:11
雖然贏不了中國(guó)隊(duì),卻贏得了全世界球迷的心!

雖然贏不了中國(guó)隊(duì),卻贏得了全世界球迷的心!

楊晨大神
2026-04-20 12:06:28
4月20日俄烏最新:莫斯科火光沖天?

4月20日俄烏最新:莫斯科火光沖天?

西樓飲月
2026-04-20 19:58:50
拼多多暴力抗法震驚全網(wǎng),市值萬(wàn)億巨頭為何如此囂張

拼多多暴力抗法震驚全網(wǎng),市值萬(wàn)億巨頭為何如此囂張

燕梳樓頻道
2026-04-20 21:12:04
中國(guó)禁硫酸出口,全球農(nóng)業(yè)震蕩,第一次看到了日本的窮

中國(guó)禁硫酸出口,全球農(nóng)業(yè)震蕩,第一次看到了日本的窮

月滿大江流
2026-04-20 18:06:06
伊朗:最高領(lǐng)袖完全健康,出于安全考慮,目前錄制穆杰塔巴的任何影像或聲音均不妥當(dāng)

伊朗:最高領(lǐng)袖完全健康,出于安全考慮,目前錄制穆杰塔巴的任何影像或聲音均不妥當(dāng)

瀟湘晨報(bào)
2026-04-20 22:40:10
嚴(yán)打來了,5月起8種行為直接入刑,退休老人需格外注意!

嚴(yán)打來了,5月起8種行為直接入刑,退休老人需格外注意!

小談食刻美食
2026-04-21 07:52:09
中央層面整治形式主義為基層減負(fù)專項(xiàng)工作機(jī)制辦公室 中央紀(jì)委辦公廳公開通報(bào)4起整治形式主義為基層減負(fù)典型問題

中央層面整治形式主義為基層減負(fù)專項(xiàng)工作機(jī)制辦公室 中央紀(jì)委辦公廳公開通報(bào)4起整治形式主義為基層減負(fù)典型問題

新華社
2026-04-20 17:44:02
最新:曝俄軍敗退扎波羅熱!丟失幾年來占領(lǐng)的全部土地

最新:曝俄軍敗退扎波羅熱!丟失幾年來占領(lǐng)的全部土地

項(xiàng)鵬飛
2026-04-20 20:13:15
山西長(zhǎng)治萬(wàn)達(dá)廣場(chǎng)一女子墜樓身亡,警方通報(bào):張某(女,31歲)獨(dú)自進(jìn)入商場(chǎng)到4樓,翻越欄桿后墜落,排除刑事案件

山西長(zhǎng)治萬(wàn)達(dá)廣場(chǎng)一女子墜樓身亡,警方通報(bào):張某(女,31歲)獨(dú)自進(jìn)入商場(chǎng)到4樓,翻越欄桿后墜落,排除刑事案件

揚(yáng)子晚報(bào)
2026-04-21 09:21:30
臺(tái)灣回歸新方案浮出水面:國(guó)民黨若同意,解放軍或無(wú)需動(dòng)武

臺(tái)灣回歸新方案浮出水面:國(guó)民黨若同意,解放軍或無(wú)需動(dòng)武

老范談史
2026-04-20 22:13:51
伊朗籍中國(guó)貨輪!在公海被美軍扣押后,不到24小時(shí),中方表態(tài)

伊朗籍中國(guó)貨輪!在公海被美軍扣押后,不到24小時(shí),中方表態(tài)

離離言幾許
2026-04-20 22:15:30
湖人官方:東契奇和里夫斯缺陣與火箭的系列賽G2

湖人官方:東契奇和里夫斯缺陣與火箭的系列賽G2

懂球帝
2026-04-21 08:03:19
2026-04-21 10:51:00
Ai學(xué)習(xí)的老章 incentive-icons
Ai學(xué)習(xí)的老章
Ai學(xué)習(xí)的老章
3339文章數(shù) 11138關(guān)注度
往期回顧 全部

數(shù)碼要聞

重磅官宣:庫(kù)克卸任,約翰·特努斯正式接任蘋果CEO

頭條要聞

牛彈琴:特朗普成美伊談判最大障礙 伊朗果然勃然大怒

頭條要聞

牛彈琴:特朗普成美伊談判最大障礙 伊朗果然勃然大怒

體育要聞

“被優(yōu)化”8年后,國(guó)乒方博決定換一條路重新上場(chǎng)

娛樂要聞

周潤(rùn)發(fā)時(shí)隔16年再賣樓,變現(xiàn)數(shù)億資產(chǎn)

財(cái)經(jīng)要聞

減速機(jī)訂單已排到明年!

科技要聞

重磅官宣:庫(kù)克卸任,特努斯接任蘋果CEO

汽車要聞

把天門山搬進(jìn)廠?開仰望U8沖上45度坡的那刻 我腿軟了

態(tài)度原創(chuàng)

家居
旅游
游戲
本地
公開課

家居要聞

詩(shī)意光影 窺見自然之境

旅游要聞

2026八達(dá)嶺夜長(zhǎng)城4月30日起煥新開放

《識(shí)質(zhì)存在》一百萬(wàn)銷量 卡普空發(fā)布可愛賀圖

本地新聞

12噸巧克力有難,全網(wǎng)化身超級(jí)偵探添亂

公開課

李玫瑾:為什么性格比能力更重要?

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版