你的Claude賬單可能比鄰居貴9倍，而你們用的明明是同一套代碼。

這話不是我說(shuō)的。Anthropic的Claude Code團(tuán)隊(duì)上周在推特上丟了個(gè)炸彈：他們把「提示緩存命中率」當(dāng)成產(chǎn)品生命線來(lái)監(jiān)控，掉一點(diǎn)就全員緊急響應(yīng)。不是優(yōu)化項(xiàng)，不是省錢(qián)技巧——是承重墻。塌了，整個(gè)產(chǎn)品就埋在里面。

我花了兩周才搞懂這玩意。當(dāng)時(shí)盯著Stripe后臺(tái)，測(cè)試環(huán)境燒積分的速度像小孩拿著生日禮品卡在GameStop橫沖直撞。后來(lái)才發(fā)現(xiàn)，同一套對(duì)話邏輯，調(diào)對(duì)緩存能便宜90%。

緩存命中 vs 未命中：一場(chǎng)90%成本的差距

每次調(diào)用Claude API，系統(tǒng)會(huì)檢查你的提示前綴是否處理過(guò)。命中：便宜10倍，快85%。未命中：原價(jià)，原速。

這個(gè)「前綴」不是隨便什么開(kāi)頭都行。必須是完全一致的token序列，從第一個(gè)字符到最后一個(gè)空格，差一個(gè)標(biāo)點(diǎn)都算miss。Anthropic內(nèi)部管這叫「KV緩存」——模型預(yù)填充階段算好的鍵值張量，存下來(lái)復(fù)用，避免每次從零開(kāi)始。

他們的團(tuán)隊(duì)口號(hào)是「Cache Rules Everything Around Me」。玩的是Wu-Tang Clan的梗，把「Cash」換成「KV tensors」。能量一樣，貨幣不同。無(wú)視這條的代價(jià)也一樣：掏錢(qián)。

但問(wèn)題是，大多數(shù)開(kāi)發(fā)者根本不知道自己在用緩存，更不知道自己的寫(xiě)法正在親手打破它。

你的提示是怎么被「肢解」的

每次調(diào)用Claude，提示由四層堆疊而成：

第一層：系統(tǒng)提示（system prompt），通常幾千token，定義角色和能力邊界。第二層：工具定義（tool definitions），每個(gè)工具的描述、參數(shù)、返回值格式。第三層：多輪對(duì)話歷史，用戶(hù)和助手的往返記錄。第四層：當(dāng)前用戶(hù)輸入。

沒(méi)有緩存時(shí)，Claude像條金魚(yú)——每次都要把整本書(shū)從頭讀起。8000token的系統(tǒng)提示？重算。15個(gè)工具定義？重算。前面40輪對(duì)話？全部歸零。

緩存的機(jī)制是：把前N個(gè)token的KV張量存起來(lái)，下次只要前綴匹配，直接從斷點(diǎn)續(xù)傳。這個(gè)N在Anthropic的文檔里寫(xiě)得清楚，但很多人沒(méi)讀，或者讀了沒(méi)懂。

我的Convex項(xiàng)目是個(gè)典型案例。6000token系統(tǒng)提示，12個(gè)工具定義（Clerk認(rèn)證、Supabase查詢(xún)、幾個(gè)自定義動(dòng)作），典型對(duì)話15-20輪。調(diào)通緩存后，20輪對(duì)話的成本對(duì)比是：9倍差距。1000次對(duì)話/天的話，1350美元/月 vs 150美元/月。

開(kāi)發(fā)者正在犯的5種「緩存自殺」行為

第一種：動(dòng)態(tài)時(shí)間戳。有人在系統(tǒng)提示里塞了「當(dāng)前時(shí)間是{{timestamp}}」。每次調(diào)用都變，緩存永遠(yuǎn)miss。解決方式是把時(shí)間塞進(jìn)用戶(hù)消息的最后一層，別讓前綴沾上動(dòng)態(tài)內(nèi)容。

第二種：隨機(jī)ID。調(diào)試時(shí)生成的request_id、trace_id，順手寫(xiě)進(jìn)系統(tǒng)提示。結(jié)果每次請(qǐng)求都是全新前綴。日志和提示分離，這是基本功。

第三種：工具定義亂序。Python字典的遍歷順序不保證穩(wěn)定，工具列表每次shuffle一下，緩存就失效。顯式排序，或者干脆用數(shù)組。

第四種：對(duì)話歷史截?cái)嗖呗圆灰恢隆Ｓ袝r(shí)候截最后10輪，有時(shí)候按token數(shù)截，有時(shí)候保留系統(tǒng)消息但去掉用戶(hù)消息。截?cái)帱c(diǎn)一變，前綴就變。策略必須固定、可預(yù)測(cè)。

第五種：環(huán)境變量泄露。把NODE_ENV、DEBUG_MODE這種每次部署可能變的值寫(xiě)進(jìn)提示。開(kāi)發(fā)和生產(chǎn)環(huán)境的分支差異，會(huì)讓同一套代碼在不同地方產(chǎn)生不同的緩存鍵。

這些錯(cuò)誤我全犯過(guò)。最諷刺的是，你越是「嚴(yán)謹(jǐn)」地在提示里塞滿(mǎn)上下文，越容易把緩存打碎。

為什么Anthropic敢把這事公開(kāi)

緩存命中率是基礎(chǔ)設(shè)施的脈搏，但他們選擇推特 casually 講出來(lái)，而不是藏進(jìn)付費(fèi)文檔。這本身就是個(gè)信號(hào)。

競(jìng)爭(zhēng)對(duì)手也在做提示緩存。OpenAI有類(lèi)似機(jī)制，Google的Gemini也有。但Anthropic是第一個(gè)把「我們內(nèi)部怎么監(jiān)控這事」抖出來(lái)的。這意味著兩層意思：一是他們已經(jīng)把緩存層做到足夠穩(wěn)定，不怕你知道；二是他們希望生態(tài)里的開(kāi)發(fā)者別再用錯(cuò)，否則整個(gè)平臺(tái)的成本結(jié)構(gòu)都會(huì)被拖累。

一個(gè)冷知識(shí)：Claude Code的IDE集成里，每次你按Cmd+K或者讓AI改代碼，背后都是一連串API調(diào)用。如果緩存設(shè)計(jì)得當(dāng)，這些調(diào)用的邊際成本趨近于零。設(shè)計(jì)不當(dāng)，每次tab補(bǔ)全都在燒錢(qián)。

他們的團(tuán)隊(duì)說(shuō)，當(dāng)緩存命中率掉的時(shí)候，「suddenly everyone cares about infrastructure」。平時(shí)沒(méi)人想看的監(jiān)控面板，那一刻成了全公司最熱鬧的頁(yè)面。這種文化很有意思——不是SLA驅(qū)動(dòng)，是成本脈沖驅(qū)動(dòng)。

怎么驗(yàn)證你的緩存有沒(méi)有生效

API響應(yīng)里有個(gè)字段叫cache_creation_input_tokens和cache_read_input_tokens。前者是首次寫(xiě)入緩存的token數(shù)，后者是命中緩存復(fù)用的token數(shù)。理想情況下，后者應(yīng)該遠(yuǎn)大于前者，尤其是在對(duì)話進(jìn)行中。

如果你看到cache_read_input_tokens始終是0，說(shuō)明你的前綴設(shè)計(jì)有問(wèn)題。常見(jiàn)原因：系統(tǒng)提示里有動(dòng)態(tài)內(nèi)容，或者你的對(duì)話歷史拼接方式每次都在變。

另一個(gè)指標(biāo)是latency。命中緩存的響應(yīng)，首token時(shí)間（TTFT）會(huì)明顯快于未命中。Anthropic官方數(shù)據(jù)是85%加速，實(shí)際體驗(yàn)中，大提示的差距更明顯。

我的建議是：先做一個(gè)最小復(fù)現(xiàn)。固定系統(tǒng)提示，固定工具定義，發(fā)10輪完全相同的用戶(hù)消息。看cache_read_input_tokens是否在第二輪開(kāi)始增長(zhǎng)。如果不增長(zhǎng)，逐層排查哪一部分在抖動(dòng)。

這件事的門(mén)檻在于，緩存是「全有或全無(wú)」的。前綴匹配度99%和0%的結(jié)果一樣：都算miss。沒(méi)有近似匹配，沒(méi)有模糊容錯(cuò)。這種設(shè)計(jì)保證了速度，也放大了開(kāi)發(fā)者的失誤成本。

Claude Code團(tuán)隊(duì)把這事攤在臺(tái)面上，等于給整個(gè)行業(yè)遞了張紙條：提示工程的下一張考卷，考的是基礎(chǔ)設(shè)施思維。你準(zhǔn)備好重新檢查自己的前綴設(shè)計(jì)了嗎？