網(wǎng)易首頁 > 網(wǎng)易號 > 正文申請入駐

在 Mac 上微調(diào)一切大模型

2026-04-13 14:27:35　來源: Ai學(xué)習(xí)的老章

北京舉報

分享至

聊個讓我非常興奮的項(xiàng)目——mlx-tune

一句話概括：在你的 Mac 上，用 Unsloth 的 API 微調(diào)一切

LLM、視覺模型、TTS、STT、OCR、Embedding，全都能在 Apple Silicon 上本地微調(diào)

Mac 用戶的微調(diào)困境

做大模型微調(diào)的同學(xué)應(yīng)該都有過這種體驗(yàn)：想在本地跑個小實(shí)驗(yàn)驗(yàn)證下 idea，結(jié)果發(fā)現(xiàn) Unsloth 依賴 Triton，而 Triton 不支持 Mac

于是你只剩兩條路：

1. 花錢開云 GPU —— 就跑個 100 條數(shù)據(jù)的實(shí)驗(yàn)，有必要嗎？
2. 用 mlx-lm 原生 API —— 但代碼和完全不兼容，到了云上還得重寫一遍

mlx-tune（github.com/ARahim3/mlx-tune）的作者也遇到了一模一樣的問題

他的解決思路非常簡單粗暴：把 MLX 包裝成 Unsloth 的 API

你在 Mac 上寫的訓(xùn)練腳本，換個 import 就能直接在 CUDA 集群跑

# Unsloth (CUDA)                        # MLX-Tune (Apple Silicon)
from unsloth import FastLanguageModel   from mlx_tune import FastLanguageModel
from trl import SFTTrainer              from mlx_tune import SFTTrainer


 # 后面的代碼一模一樣！

這才是真正解決問題的設(shè)計(jì)

下面這張圖清楚展示了 mlx-tune 的工作流——本地原型驗(yàn)證，改個 import 就能上云訓(xùn)練：

功能有多全？看完嚇一跳

它支持的訓(xùn)練方法比很多正經(jīng)公司的內(nèi)部工具都全：

語言模型訓(xùn)練：

? SFT ：基礎(chǔ)指令微調(diào)，這是最常用的
? DPO / ORPO / KTO / SimPO ：各種偏好學(xué)習(xí)方法全覆蓋
? GRPO ：DeepSeek R1 風(fēng)格的多生成 + 獎勵訓(xùn)練
? CPT ：持續(xù)預(yù)訓(xùn)練，支持解耦學(xué)習(xí)率

多模態(tài)訓(xùn)練：

? Vision ：支持 Gemma 4、Qwen3.5、PaliGemma、LLaVA、Pixtral 等 VLM 微調(diào)
? TTS ：Orpheus、OuteTTS、Spark-TTS、Sesame/CSM、Qwen3-TTS 五個 TTS 模型
? STT ：Whisper、Moonshine、Qwen3-ASR、NVIDIA Canary、Voxtral 五個 STT 模型
? Embedding ：BERT、ModernBERT、Qwen3-Embedding、Harrier，支持對比學(xué)習(xí)
? OCR ：DeepSeek-OCR、GLM-OCR、olmOCR、Qwen-VL，內(nèi)置 CER/WER 指標(biāo)

進(jìn)階能力：

? MoE 微調(diào) ：支持 39+ 種 MoE 架構(gòu)，包括 Qwen3.5-35B、Mixtral、DeepSeek 系列
? Gemma 4 Audio ：12 層 Conformer 音頻塔，原生處理 16kHz 音頻
? LFM2 ：Liquid AI 的混合卷積+GQA 架構(gòu)

說真的，一個社區(qū)項(xiàng)目做到這個程度，相當(dāng)離譜

全景架構(gòu)一覽——從 API 到硬件的五層設(shè)計(jì)：

快速上手

安裝很簡單，推薦用 uv：

# 標(biāo)準(zhǔn)安裝
uv pip install mlx-tune


 # 帶音頻支持
uv pip install 'mlx-tune[audio]'
brew install ffmpeg

來個最基礎(chǔ)的 SFT 微調(diào)示例：

from mlx_tune import FastLanguageModel, SFTTrainer, SFTConfig
from datasets import load_dataset

 # 加載模型（4bit 量化，省顯存）
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="mlx-community/Llama-3.2-1B-Instruct-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

 # 加 LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
)

 # 加載數(shù)據(jù)集
dataset = load_dataset("yahma/alpaca-cleaned", split="train[:100]")

 # 訓(xùn)練
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    tokenizer=tokenizer,
    args=SFTConfig(
        output_dir="outputs",
        per_device_train_batch_size=2,
        learning_rate=2e-4,
        max_steps=50,
    ),
)
trainer.train()

 # 保存：三種格式隨你選
model.save_pretrained("lora_model")           # LoRA 適配器
model.save_pretrained_merged("merged", tokenizer)  # 合并后的完整模型
model.save_pretrained_gguf("model", tokenizer)     # GGUF 格式，直接給 Ollama 用

如果你用過 Unsloth，這代碼看著是不是特別眼熟？對，就是同一套 API

視覺模型微調(diào)

VLM 微調(diào)也是同樣簡潔的體驗(yàn)：

from mlx_tune import FastVisionModel, UnslothVisionDataCollator, VLMSFTTrainer
from mlx_tune.vlm import VLMSFTConfig

 model, processor = FastVisionModel.from_pretrained(
"mlx-community/Qwen3.5-0.8B-bf16",
)

 model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers=True,    # 視覺層也微調(diào)
    finetune_language_layers=True,
    r=16, lora_alpha=16,
)

 # 訓(xùn)練（數(shù)據(jù)集格式和 Unsloth 一致）
FastVisionModel.for_training(model)
trainer = VLMSFTTrainer(
    model=model,
    tokenizer=processor,
    data_collator=UnslothVisionDataCollator(model, processor),
    train_dataset=dataset,
    args=VLMSFTConfig(max_steps=30, learning_rate=2e-4),
)
trainer.train()

Gemma 4、Qwen3.5、PaliGemma、LLaVA、Pixtral 都支持

你甚至可以用 Vision GRPO 來訓(xùn)練視覺推理能力

TTS 微調(diào)：在 Mac 上克隆聲音

這個功能我覺得特別有意思——在 Mac 上本地微調(diào) TTS 模型：

from mlx_tune import FastTTSModel, TTSSFTTrainer, TTSSFTConfig, TTSDataCollator
from datasets import load_dataset, Audio

 # 自動檢測模型類型、編碼器和 token 格式
model, tokenizer = FastTTSModel.from_pretrained(
"mlx-community/orpheus-3b-0.1-ft-bf16"
)
model = FastTTSModel.get_peft_model(model, r=16, lora_alpha=16)

 dataset = load_dataset("MrDragonFox/Elise", split="train[:100]")
dataset = dataset.cast_column("audio", Audio(sampling_rate=24000))

 trainer = TTSSFTTrainer(
    model=model, tokenizer=tokenizer,
    data_collator=TTSDataCollator(model, tokenizer),
    train_dataset=dataset,
    args=TTSSFTConfig(output_dir="./tts_output", max_steps=60),
)
trainer.train()

Orpheus、OuteTTS、Spark-TTS、Sesame/CSM、Qwen3-TTS 都支持

想做聲音克隆或者風(fēng)格化 TTS，再也不用租 GPU 了

工作流全景

mlx-tune 的定位非常清晰：本地原型 → 云端量產(chǎn)。

本地 Mac (mlx-tune)              云端 GPU (Unsloth)
├── 快速實(shí)驗(yàn)                       ├── 大規(guī)模訓(xùn)練
├── 小數(shù)據(jù)集驗(yàn)證                    ├── 完整數(shù)據(jù)集
├── 秒級迭代                       ├── 生產(chǎn)級優(yōu)化
└── 同一套代碼 ─────────────────── └── 同一套代碼

訓(xùn)練完還能直接導(dǎo)出：

? HuggingFace 格式 ：標(biāo)準(zhǔn)保存
? GGUF ：直接丟給 Ollama / llama.cpp
? push_to_hub ：一鍵推到 HuggingFace Hub

它適合誰？

我覺得 mlx-tune 最適合這幾類人：

1. Mac 用戶 + 微調(diào)需求 ：你有 M1/M2/M3/M4/M5，想在本地跑微調(diào)實(shí)驗(yàn)，這是最佳選擇
2. 混合工作流用戶 ：本地調(diào)試、云端訓(xùn)練，代碼無縫遷移
3. 多模態(tài)探索者 ：想同時玩 LLM、Vision、TTS、STT、OCR 微調(diào)的人
4. 學(xué)習(xí)者 ：想理解微調(diào)原理，在本地快速迭代比去 Colab 排隊(duì)強(qiáng)太多

局限性也得說清楚：

? 訓(xùn)練速度肯定比不上 A100 + Unsloth，這是物理定律決定的
? GGUF 導(dǎo)出對量化模型有限制，建議用非量化基座模型
? 內(nèi)存受限于 Mac 的統(tǒng)一內(nèi)存（不過 Mac Studio 最高 512GB，夠用了）

如果你是 Mac 用戶，又對微調(diào)大模型感興趣，強(qiáng)烈建議試試

制作不易，如果這篇文章覺得對你有用，可否點(diǎn)個關(guān)注。給我個三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！

特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.