9倍成本差距。這不是優(yōu)化，是生死線。

Anthropic的Claude Code團(tuán)隊(duì)最近公開了一個(gè)內(nèi)部秘密：他們把「提示緩存命中率」當(dāng)成產(chǎn)品生命線。這個(gè)數(shù)字每掉0.1%，工程師群里就會(huì)響起警報(bào)。不是夸張——他們真的用Wu-Tang Clan的歌詞當(dāng)團(tuán)隊(duì) motto：「Cache Rules Everything Around Me」。現(xiàn)金曾經(jīng)統(tǒng)治一切，現(xiàn)在換成KV張量（Key-Value tensors，模型預(yù)填充階段計(jì)算出的關(guān)鍵中間結(jié)果）說了算。

大多數(shù)開發(fā)者正在無意識(shí)地把錢扔進(jìn)火里。6000 token的系統(tǒng)提示、12個(gè)工具定義、15輪對(duì)話——如果你命中緩存，賬單是150美元/月；如果你沒命中，1350美元。同樣的功能，9倍價(jià)差。沒人告訴你，因?yàn)樘崾揪彺姹徊氐锰?，深到連用它的人都不一定知道存在。

緩存到底是什么：給金魚的記憶做手術(shù)

每次調(diào)用Claude API，系統(tǒng)要組裝一個(gè)四層結(jié)構(gòu)的提示：系統(tǒng)提示（角色設(shè)定、安全規(guī)則）、工具定義（函數(shù)簽名和描述）、對(duì)話歷史（之前的來回）、用戶新消息。沒有緩存時(shí)，Claude像一條金魚——每次都要把前面8000 token的系統(tǒng)提示當(dāng)成新書從頭讀起，把15個(gè)工具定義重新理解一遍，把40輪對(duì)話歷史全部重算。

提示緩存做的，就是把「預(yù)填充階段」算好的KV張量存下來。這些張量是模型理解提示的「中間筆記」——數(shù)學(xué)上很重，計(jì)算上很貴，但內(nèi)容完全可復(fù)用。下次請(qǐng)求時(shí)，如果開頭部分和緩存完全匹配，系統(tǒng)直接調(diào)取筆記，只處理新增的那一小段。

結(jié)果是：命中緩存，成本降到1/10，延遲砍掉85%。沒命中，全額付費(fèi)，全額等待。

Claude Code團(tuán)隊(duì)的原話是：「這不是nice-to-have的優(yōu)化，是load-bearing wall（承重墻）?！共鸬羲麠澐孔铀?。

為什么你一直在「破緩存」

緩存的匹配規(guī)則極其苛刻：必須前綴完全匹配，錯(cuò)一個(gè)字符就失效。這意味著大多數(shù)開發(fā)者自以為安全的操作，實(shí)際上在親手砸自己的緩存。

最常見的自殺行為：動(dòng)態(tài)時(shí)間戳。很多人在系統(tǒng)提示里塞了「當(dāng)前時(shí)間是{{timestamp}}」，每次請(qǐng)求都變，緩存永遠(yuǎn)命中不了?；蛘哂脩鬒D、會(huì)話ID、隨機(jī)數(shù)——任何動(dòng)態(tài)注入的前綴內(nèi)容都是緩存毒藥。

工具定義的順序變動(dòng)也會(huì)破緩存。你以為只是調(diào)了下函數(shù)排列，Claude看到的卻是完全不同的前綴字符串。對(duì)話歷史的截?cái)嗖呗酝恚喝绻忝看伟垂潭ㄝ啍?shù)滑動(dòng)窗口，新對(duì)話的開頭永遠(yuǎn)在變，緩存鍵跟著變。

一位開發(fā)者在Hacker News吐槽：「我花了兩周排查為什么生產(chǎn)環(huán)境比測試環(huán)境貴8倍，最后發(fā)現(xiàn)是測試環(huán)境沒開緩存監(jiān)控?！?/p>

Claude Code團(tuán)隊(duì)的監(jiān)控儀表盤把這個(gè)指標(biāo)放在最顯眼位置。命中率掉0.1%，PagerDuty（運(yùn)維告警系統(tǒng)）就會(huì)響。他們的邏輯很簡單：緩存失效不是成本問題，是產(chǎn)品可用性問題——延遲飆升85%的用戶體驗(yàn)，等同于服務(wù)降級(jí)。

怎么不踩坑：把動(dòng)態(tài)內(nèi)容往后挪

緩存只檢查前綴匹配。這意味著設(shè)計(jì)提示的核心策略是：靜態(tài)內(nèi)容放前面，動(dòng)態(tài)內(nèi)容塞后面。

系統(tǒng)提示的主體——角色設(shè)定、安全約束、核心知識(shí)——應(yīng)該完全固定。時(shí)間戳、用戶上下文、臨時(shí)變量，全部移到用戶消息層或單獨(dú)的上下文塊。工具定義按固定順序排列，永遠(yuǎn)不要?jiǎng)討B(tài)排序。對(duì)話歷史的滑動(dòng)窗口，考慮從后往前截?cái)喽菑那巴螅屧缙谳喆伪３址€(wěn)定。

Anthropic的文檔里藏了一個(gè)細(xì)節(jié)：緩存條目存活時(shí)間5分鐘，可主動(dòng)續(xù)期。對(duì)于長會(huì)話，每4分鐘發(fā)一個(gè)「ping」請(qǐng)求（空消息或輕量調(diào)用）就能維持緩存活性。這個(gè)設(shè)計(jì)明顯是為Claude Code這類持續(xù)交互場景優(yōu)化的——IDE里的AI助手不能讓用戶等5秒才響應(yīng)。

成本結(jié)構(gòu)上，緩存寫入本身有費(fèi)用——約為正常輸入token的1.25倍。但寫入一次、讀取多次，數(shù)學(xué)上很快回本。Claude Code團(tuán)隊(duì)的內(nèi)部閾值是：同一會(huì)話內(nèi)超過2輪交互，緩存就劃算。

一位獨(dú)立開發(fā)者分享了他的重構(gòu)結(jié)果：把動(dòng)態(tài)用戶ID從系統(tǒng)提示移到工具調(diào)用的參數(shù)里，月賬單從890美元降到97美元。改動(dòng)代碼12行。

行業(yè)暗戰(zhàn)：緩存成了新的基礎(chǔ)設(shè)施戰(zhàn)場

提示緩存不是Anthropic獨(dú)有。OpenAI去年推出類似功能，Google的Gemini也有上下文緩存，但實(shí)現(xiàn)細(xì)節(jié)和定價(jià)策略差異巨大。Anthropic的激進(jìn)之處在于：他們把緩存做成了Claude Code的默認(rèn)行為，而非可選開關(guān)。

這背后是AI基礎(chǔ)設(shè)施的殘酷算術(shù)。大模型API的成本結(jié)構(gòu)里，輸入token占大頭，而輸入token的成本里，預(yù)填充計(jì)算又占大頭。緩存把預(yù)填充變成攤銷成本——第一次貴，后面幾乎免費(fèi)。對(duì)于多輪對(duì)話產(chǎn)品，這是盈虧分界線。

Claude Code作為面向開發(fā)者的AI編程工具，平均會(huì)話輪次遠(yuǎn)超普通聊天場景。沒有緩存，這個(gè)產(chǎn)品在經(jīng)濟(jì)模型上不成立。Anthropic的工程師在推文中透露，他們內(nèi)部把緩存命中率納入SLO（服務(wù)等級(jí)目標(biāo)），和可用性、延遲并列。

更隱蔽的影響在生態(tài)層面。提示緩存的設(shè)計(jì)偏好，正在重塑開發(fā)者寫prompt的方式。靜態(tài)前置、動(dòng)態(tài)后置的結(jié)構(gòu)，和傳統(tǒng)的模板注入思維截然相反。新一代的「緩存原生」提示工程正在形成——不是讓模型理解得更好，而是讓系統(tǒng)匹配得更快。

一位前OpenAI工程師在評(píng)論區(qū)寫道：「我們2023年就在內(nèi)部討論這個(gè)，但產(chǎn)品化優(yōu)先級(jí)被推理優(yōu)化擠掉了。Anthropic賭對(duì)了場景——開發(fā)者工具才是緩存的第一戰(zhàn)場?！?/p>

你的提示結(jié)構(gòu)，現(xiàn)在是一個(gè)性能問題了嗎？