IT之家 3 月 20 日消息，開發(fā)者 Dan Woods 近期在一臺配備 M3 Max 芯片和 48GB 統(tǒng)一內(nèi)存的 MacBook Pro 上，成功運行了 209GB 超大 AI 模型（Qwen3.5-397B，通常只有數(shù)據(jù)中心才能承載），并實現(xiàn)超 5.5 Token / 秒的速度。

IT之家援引博文介紹，Qwen3.5-397B 模型占用磁盤空間約為 209GB（壓縮后為 120GB），通常需要將數(shù)百億個參數(shù)加載到大容量高速內(nèi)存中，因此遠(yuǎn)超普通筆記本電腦的內(nèi)存極限。

Woods 為了攻克 48GB 內(nèi)存無法裝載 209GB 模型的物理限制，借鑒了蘋果公司在 2023 年發(fā)布的論文《閃存中的大語言模型》。該研究提出了一種創(chuàng)新方案：將模型參數(shù)存儲在高速固態(tài)硬盤（NVMe SSD）中，并利用推理成本模型引導(dǎo)，按需將數(shù)據(jù)以更大、更高效的數(shù)據(jù)塊傳輸至內(nèi)存。

Woods 指出該方案之所以能成功落地，很大程度上歸功于蘋果芯片獨特的統(tǒng)一內(nèi)存架構(gòu)。該架構(gòu)打破了傳統(tǒng)壁壘，允許 CPU、GPU 和內(nèi)存進(jìn)行極為緊密的協(xié)同工作。

同時，Woods 還利用了 Qwen 模型采用的“混合專家（MoE）”架構(gòu)特性。由于 MoE 模型在生成每個 Token 時只需激活部分參數(shù)，他將每次激活的“專家”數(shù)量從 10 個精簡至 4 個。

開發(fā)者 Simon Willison 分析認(rèn)為，這種妥協(xié)在極大降低內(nèi)存需求的同時保留了模型核心性能，讓活躍權(quán)重可以直接從閃存中讀取。

值得一提的是，Woods 并未完全依靠人工編寫這些復(fù)雜的底層優(yōu)化代碼。他將蘋果的論文輸入給 AI 助手 Claude Code，并通過自動化研究模式運行了 90 次實驗。

最終，AI 自動生成了高度優(yōu)化的 MLX Objective-C 和 Metal 代碼（直接運行在蘋果芯片上的底層計算語言）。目前，該項目的測試結(jié)果與詳細(xì)的技術(shù)論文均已在 GitHub 上開源發(fā)布。