凌晨設(shè)好任務(wù)，清點(diǎn)API配額，然后睡覺。這是程序員的經(jīng)典操作——把臟活累活扔給云端代理，醒來收結(jié)果。但那天我醒來時(shí)，終端凍住了。遠(yuǎn)程服務(wù)半夜宕機(jī)，任務(wù)停在第10分鐘。五十頁文檔的抓取、交叉驗(yàn)證、結(jié)構(gòu)化匯總，幾乎還沒開始。

模型沒崩，智能也沒問題。問題是我建在別人地基上：服務(wù)會斷，配額會光，而我無從預(yù)知哪個(gè)先來。

本地模型我一直在玩。訓(xùn)練、測試、喜歡，但從不信任。復(fù)雜任務(wù)需要太多 babysitting，只能歸到"有趣"的文件夾。那個(gè)凍住的終端，把它挪到了另一個(gè)位置。

閉源巨頭與開源世界的鴻溝曾是 canyon。GPT、Claude、Gemini 這些"神級模型"幾乎能推理一切，但你得按它們的規(guī)則玩。想要真智能？訂閱、接受條款、承擔(dān)宕機(jī)風(fēng)險(xiǎn)。

這道峽谷正在收窄。DeepSeek V4、Kimi K2.6、GLM-5.1 等開源權(quán)重模型證明高端推理正在商品化。但問題是重量——除非你有服務(wù)器農(nóng)場或昂貴機(jī)架，否則部署這種規(guī)模的模型是后勤噩夢。遠(yuǎn)觀可以，動手太難。

然后甜點(diǎn)出現(xiàn)了：Gemma 4 31B 和 Qwen 3.6 27B。

數(shù)學(xué)變了。它們不如萬億參數(shù)巨頭聰明，但能裝下——裝進(jìn)消費(fèi)級GPU，離線運(yùn)行，電費(fèi)之外零成本。

但我認(rèn)為本地模型的目標(biāo)不是跟云端比智商。復(fù)雜任務(wù)的高價(jià)值迭代，你仍需要最強(qiáng)火力，那是沖刺?？扇绻蝿?wù)不是沖刺呢？如果需要模型連續(xù)工作六小時(shí)？爬一百頁、試五十條推理路徑、失敗、轉(zhuǎn)向、繼續(xù)磨直到完成？

馬拉松里，耐力比聰明更重要。本地設(shè)置的核心優(yōu)勢不只是隱私或成本，而是可控的持續(xù)性。它不睡覺，不宕機(jī)，不因我的配額用完而中途離場。

Gemma 4 加上多令牌預(yù)測（MTP），正是這種場景的引擎。不是最聰明的，但是能跑完的。