新智元報道

編輯：Aeneas

【新智元導(dǎo)讀】一位中國開發(fā)者，在橫跨大西洋的航程中，在飛機上用 MacBook 本地跑 Llama 70B，整整 11 小時沒有網(wǎng)絡(luò)，帖子瞬間在X上爆火！但是隨后，越來越多網(wǎng)友發(fā)現(xiàn)，這故事不太對啊？

一位中國開發(fā)者，在橫跨大西洋的 11 小時航程中，拒絕了 25 美元的機上網(wǎng)絡(luò)，卻在萬米高空完成了一整套復(fù)雜的客戶項目交付？

沒有 Cloud API，沒有 Anthropic，沒有 OpenAI，甚至沒有一格信號。

只有一臺 MacBook Pro M4、一段自己寫的編排腳本，以及Llama 70B這個本地AI模型，然后就把項目跑通了？

舷窗外是白云與藍(lán)天，沒有 WiFi；小桌板上是一臺 MacBook，終端開著兩個窗口，本地運行著一個推理服務(wù)器

因為太過炸裂，這個帖子一經(jīng)發(fā)出，就在技術(shù)社區(qū)傳開了。

本地推理的時代，真的來了？

在萬米高空，

用MacBook跑Llama 70B

據(jù)說，故事的主角是一位中國開發(fā)者。

在飛往大洋彼岸的靠窗座位上，他打開64GB內(nèi)存的MacBook Pro，面對的是堆積如山的客戶任務(wù)隊列。

接下來整整11個小時，都沒有網(wǎng)絡(luò)。

換做普通人，此刻已經(jīng)乖乖掏出信用卡，支付那昂貴且延遲極高的 25 美元機上 Wi-Fi。

但他選擇了另一條路：本地推理。

他啟動了通過llama.cpp運行的Llama 3.3 70B。

生成速度 71 tokens/秒，上下文約 60,000 tokens，內(nèi)存占用 48.6 GiB / 64 GiB，起飛時電池剩余 3 小時 21 分鐘。

為了讓這個龐然大物在64GB內(nèi)存的機器上跑起來，他甚至為自己編寫了一個「離線編排器」腳本。

最令人拍案叫絕的，是他給AI下達(dá)的系統(tǒng)提示詞。

你是一個運行在單臺 MacBook 上的離線編排器。沒有網(wǎng)絡(luò)。你唯一的資源是 /Users/dev/work 下的本地文件、localhost:8080 的 Llama 70B 推理服務(wù)，以及 3 小時 21 分鐘的電池預(yù)算。

處理 /Users/dev/work/queue.jsonl 中的任務(wù)隊列（每行一個客戶任務(wù)）。對每個任務(wù)：起草 → 運行本地評估 → 保存產(chǎn)物到 /Users/dev/work/done/。每 12 個任務(wù)保存一次上下文檢查點，以便更換電池后恢復(fù)。僅在隊列為空或電池低于 5% 時停止。

因此，這個系統(tǒng)完全清楚自己所處的困境。

它知道自己未來 11 小時與世隔絕，知道內(nèi)存和電池是有限的奢侈品，甚至知道在飛機降落前，它必須獨自處理所有的邏輯。

系統(tǒng)在一個循環(huán)中運行：從任務(wù)隊列中取出一個任務(wù)，進(jìn)行推理處理，保存生成結(jié)果，寫入檢查點。一個接一個，就這樣持續(xù)執(zhí)行。

只有當(dāng)電量低于 5% 時，調(diào)度器才會自動暫停，等待筆記本切換到備用移動電源，然后從上一次的檢查點繼續(xù)運行。

飛行過程中，系統(tǒng)日志里寫下了這樣的內(nèi)容：

「已保存上下文檢查點 8 / 12（pos_min = 488，pos_max = 50118，大小 = 62.813 MiB）」

「已恢復(fù)上下文檢查點（pos_min = 488，pos_max = 50118）」

「提示處理進(jìn)度：n_tokens = 50 / 60,818」

「任務(wù) 37016 完成 | 處理速度 = 71 tokens/s → 輸出至 /Users/dev/work/done/proposal_westside.md」

有人驚呼：這是我過去一年里見過的最干凈利落的離線 AI 工作流程！

11 小時航程，WiFi 花費為 0，當(dāng)飛機輪子觸碰跑道的那一刻，他合上電腦，所有的客戶提案已經(jīng)整整齊齊地躺在done/文件夾里。

系統(tǒng)不再是一個只會復(fù)讀的復(fù)讀機，而是一個具備資源意識的管理者。

這正是「Self-aware Computing」最迷人的地方。

網(wǎng)友打假：

技術(shù)神話，還是「賽博爽文」？

不過，文章在社區(qū)瘋傳后，很快引來了技術(shù)極客們的質(zhì)疑。

資深開發(fā)者們紛紛掏出計算器，開始瘋狂「對線」。

第一刀：內(nèi)存與權(quán)重的「不可能三角」

Llama 3.3 70B 如果以 BF16（半精度）運行，光模型權(quán)重就需要約140GB內(nèi)存。要在 64GB 的 MacBook 上跑起來，簡直就像把大象塞進(jìn)冰箱。

64GB 內(nèi)存大概率只能跑 4-bit 量化版本，算上 60k 的上下文 KV Cache，內(nèi)存占用至少也要 40GB+，BF16 絕無可能。

非要說的話，要在64GB上跑70B，只有一條路——量化。4-bit量化后模型約35GB，加上KV緩存和系統(tǒng)開銷，勉強能塞進(jìn)去。

但量化版本和BF16是兩回事，精度、推理質(zhì)量都會打折扣。

帖子里寫的是「bf16」?？雌饋?，這個細(xì)節(jié)要么是不懂，要么是故意的。

第二刀：71 tokens/s 的「神仙速度」

帖子聲稱生成速度71 tokens/s。

根據(jù) M4 芯片的實際表現(xiàn)，本地運行 70B 規(guī)模的模型，生成速度通常在 5-12 tokens/s 之間。

71 tokens/s 是什么概念？這幾乎是頂級 H100 集群的響應(yīng)速度。

「這個速度可能是 8B 模型或者是某種極致的投機采樣，70B 跑出這個速度，MacBook 怕是要起火?！?/p>

評論區(qū)一位用戶直接亮出自己的實測數(shù)據(jù)：M5 Max 128GB（注意，128GB，是帖子里設(shè)備內(nèi)存的兩倍），跑同款模型量化版llama.cpp，實測12.8 tokens/s。

更高端的硬件，跑更輕的量化版本，速度反而只有帖子聲稱的五分之一，因此，原帖中說的速度幾乎不可能實現(xiàn)。

第三刀：11小時續(xù)航

帖子中提到的「更換電池」引發(fā)了老用戶的集體懷舊：現(xiàn)代 MacBook Pro 都是一體化設(shè)計，所謂的「換電池」，大概率是切換到了大功率的備用充電寶（如百瓦快充移動電源）。

MacBook Pro M4 Max官方標(biāo)稱續(xù)航約18小時，那是輕度使用。持續(xù)滿載跑70B推理，GPU和內(nèi)存全程拉滿，實際續(xù)航會大幅縮水。

雖然帖子里提到「切換到備用充電寶后恢復(fù)」——但跨大西洋航班經(jīng)濟(jì)艙的USB口功率通常只有7.5W到18W，而M4 Max滿載功耗超過40W。

因此，續(xù)航11小時這個說法幾乎站不住腳。

故事是假的，但范式轉(zhuǎn)向是真的

面對質(zhì)疑，我們需要剝開數(shù)據(jù)的水份，看清這件事背后真正令科技圈高潮的原因。

長期以來，我們已經(jīng)習(xí)慣了「云端成癮」。

沒有 GPT-4 的 API，很多開發(fā)者甚至不知道該如何寫代碼；沒有網(wǎng)絡(luò)，AI 就變成了一個啞巴。

現(xiàn)在，本地推理，確實在發(fā)生一場靜悄悄的革命。

2024年，在筆記本上跑7B模型還需要各種技巧。

2026年，M4 Mac上跑70B量化版已經(jīng)是日常操作。雖然速度不快，大概10來個tokens/s，但已經(jīng)能用。

真實的使用場景不是「飛機上交付完整項目」這種聽起來很爽的敘事，而是一些更樸素的東西，比如離線環(huán)境下的文檔問答，隱私敏感場景下不想把數(shù)據(jù)傳上云等等。

這些場景不性感，但實用。

現(xiàn)在，llama.cpp的mlx后端已經(jīng)針對Apple Silicon做了深度優(yōu)化，Ollama也把部署門檻壓到了一條命令。

即便 71 tokens/s 的速度存疑，BF16 的精度可能有夸張，但這種「在孤島上建立文明」的技術(shù)浪漫主義，才是最牛的。

未來，最頂尖的開發(fā)者或許不再是那個最會調(diào)優(yōu)云端 Prompt 的人，而是那個能在資源枯竭、完全離線的極端環(huán)境下，手搓出一個「自感知、自循環(huán)」AI 系統(tǒng)的人。

下一次坐飛機，你準(zhǔn)備好帶上你的「數(shù)字大腦」了嗎？

參考資料：

https://x.com/servasyy_ai/status/2050098091789828376