凌晨前幾分鐘，我啟動(dòng)了一個(gè)自動(dòng)化任務(wù)，心里默算了下剩余的API額度，然后上床睡覺(jué)。計(jì)劃很簡(jiǎn)單：醒來(lái)時(shí)，工作應(yīng)該已經(jīng)完成了。

實(shí)際醒來(lái)時(shí)，我看到的是凍結(jié)的終端界面。代理程序在第10分鐘停止了。遠(yuǎn)程服務(wù)夜間宕機(jī)，整個(gè)任務(wù)隨之夭折。我交給它的任務(wù)并不復(fù)雜：抓取50個(gè)文檔頁(yè)面，交叉比對(duì)數(shù)據(jù)源，生成結(jié)構(gòu)化摘要。它剛開(kāi)始沒(méi)多久，我根本無(wú)法控制的基礎(chǔ)設(shè)施就熄火了。

模型沒(méi)出問(wèn)題，智能也不是瓶頸。真正的問(wèn)題在于，我搭建在了一個(gè)不屬于自己的地基上：一個(gè)可能宕機(jī)的服務(wù)，一個(gè)可能耗盡的額度，以及第二天早上不知道會(huì)碰到哪一個(gè)的焦慮。

我一直也在用本地模型，訓(xùn)練過(guò)、測(cè)試過(guò)，印象不錯(cuò)。但說(shuō)實(shí)話，過(guò)去我從沒(méi)真正信任它們處理復(fù)雜任務(wù)。更像是愛(ài)好，而非解決方案。真實(shí)工作負(fù)載需要太多人工看護(hù)。我把它們歸檔在"有意思"的文件夾里。那個(gè)凍結(jié)的終端，把它們移到了另一個(gè)位置。

很長(zhǎng)一段時(shí)間，專有巨頭與開(kāi)源世界之間的差距像一道峽谷。封閉陣營(yíng)里有"神級(jí)模型"：GPT、Claude、Gemini。它們幾乎能推理任何問(wèn)題，但你得按它們的規(guī)則玩。想要真正的智能，就得付訂閱費(fèi)，接受它們的條款。

但這道峽谷正在收窄。

開(kāi)源權(quán)重社區(qū)正在大力推進(jìn)。DeepSeek V4、Kimi K2.6、GLM-5.1等模型證明，高端推理正在變成大宗商品。問(wèn)題是權(quán)重規(guī)模。除非運(yùn)營(yíng)服務(wù)器農(nóng)場(chǎng)或昂貴機(jī)架，否則托管這種規(guī)模的模型是后勤噩夢(mèng)。遠(yuǎn)觀令人贊嘆，實(shí)際搭建卻太重了。

然后甜點(diǎn)區(qū)出現(xiàn)了：Gemma 4 31B和Qwen 3.6 27B。

數(shù)學(xué)突然變了。這些模型不如萬(wàn)億參數(shù)巨頭聰明，但它們能裝下。裝進(jìn)消費(fèi)級(jí)GPU。離線工作。而且免費(fèi)運(yùn)行，除了GPU的電費(fèi)成本。

但關(guān)鍵在這里：我認(rèn)為本地模型的目標(biāo)，不是在智商競(jìng)賽中打敗云模型。

復(fù)雜任務(wù)你仍然需要重武器。你想要最強(qiáng)大的模型來(lái)處理高價(jià)值迭代，精度至上。那是短跑。

但當(dāng)任務(wù)不是短跑呢？當(dāng)你需要模型連續(xù)工作六小時(shí)？抓取一百個(gè)頁(yè)面，嘗試五十條不同推理路徑，失敗，轉(zhuǎn)向，繼續(xù)磨到完成為止？

那是馬拉松。

馬拉松里，智能是次要的，耐力才是核心。

本地設(shè)置的真正優(yōu)勢(shì)不只是隱私或成本。而是你擁有一個(gè)不會(huì)消失的執(zhí)行層。它不會(huì)中途停機(jī)，不會(huì)額度耗盡，不會(huì)在你睡覺(jué)時(shí)把任務(wù)丟進(jìn)虛空。它就在那兒，以恒定速度運(yùn)轉(zhuǎn)，直到工作完成。

這不是取代云端智能。這是關(guān)于任務(wù)類型的分工。云端處理需要爆發(fā)力的精密推理，本地負(fù)責(zé)需要持久性的長(zhǎng)時(shí)運(yùn)算。Gemma 4 31B的體量正好卡在這個(gè)縫隙里：足夠聰明處理中等復(fù)雜度任務(wù)，又足夠輕便在單卡上跑通宵。

那個(gè)凍結(jié)的終端教會(huì)我的事：有些工作不能交給會(huì)消失的基礎(chǔ)設(shè)施。當(dāng)你需要確定性，需要知道早上醒來(lái)時(shí)任務(wù)要么完成、要么還在推進(jìn)——本地模型從"有意思"變成了"必須"。