去年Q3，Lovai的翻譯功能掛了47分鐘。不是模型翻得爛，是三個(gè)反引號(hào)把整件事搞砸了。

用戶(hù)刷著日料帖子，突然滿(mǎn)屏空白。監(jiān)控報(bào)警炸鍋，根因定位花了11分鐘——模型"貼心"地給JSON包了一層Markdown代碼圍欄。```json開(kāi)頭，```結(jié)尾。JSON.parse()當(dāng)場(chǎng)窒息，整個(gè)翻譯鏈路陪葬。

這事發(fā)生在OpenRouter上。我用它跑日英雙向翻譯，處理用戶(hù)生成的菜譜標(biāo)題、摘要和多段正文。生產(chǎn)環(huán)境跑了大半年，第一次真正理解什么叫"結(jié)構(gòu)化輸出"的脆弱性。

本文按故障發(fā)生順序，還原我堆的三層防御。JSON格式問(wèn)題是主戰(zhàn)場(chǎng)，重試降級(jí)和語(yǔ)言檢測(cè)順帶提，但工程時(shí)間大頭全花在讓JSON不崩上。

第一層：response_format是底線(xiàn)，不是可選項(xiàng)

最初實(shí)現(xiàn)根本沒(méi)開(kāi)JSON Mode。系統(tǒng)提示寫(xiě)得很隨意："請(qǐng)返回JSON格式"。沒(méi)加response_format參數(shù)，純靠模型自覺(jué)。

這事在輕負(fù)載時(shí)跑得挺順。直到某天模型靜默更新，或者OpenRouter流量洪峰觸發(fā)了某種行為漂移——沒(méi)人知道具體是哪邊變的——響應(yīng)突然開(kāi)始帶代碼圍欄。

實(shí)際返回長(zhǎng)這樣：

```json
{"__title": "Built Translation with OpenRouter"}
```

前端拿到這串東西，JSON.parse()直接拋異常。用戶(hù)看到空白塊，以為是翻譯失敗，其實(shí)是解析失敗。質(zhì)量差還能忍，功能下線(xiàn)忍不了。

修復(fù)第一步：強(qiáng)制加response_format: { type: 'json_object' }。這行代碼約束模型輸出合法JSON，去掉Markdown包裝。OpenRouter文檔里寫(xiě)得明白，但不是所有模型都支持，得去模型詳情頁(yè)查兼容性矩陣。

關(guān)鍵認(rèn)知：生產(chǎn)環(huán)境跑LLM輸出進(jìn)JSON.parse()，不開(kāi)json_object或json_schema等于裸奔。提示詞指令會(huì)在模型更新或服務(wù)負(fù)載變化時(shí)無(wú)聲斷裂，你甚至收不到告警。

第二層：response-healing是補(bǔ)丁，不是萬(wàn)能藥

開(kāi)了JSON Mode之后，我以為高枕無(wú)憂(yōu)。兩周后又崩了一次，這次是被max_tokens截?cái)嗟陌虢豃SON。

OpenRouter有個(gè)叫response-healing的插件，自動(dòng)修復(fù)格式問(wèn)題。接入方式很直白：

plugins: [{ id: 'response-healing' }]

它和json_object/json_schema疊加使用，能處理不少邊緣情況。但文檔里埋了兩個(gè)限制：只支持非流式響應(yīng)，且修不了token上限導(dǎo)致的截?cái)唷?/p>

第二次故障就是踩了第二個(gè)坑。用戶(hù)發(fā)了一篇超長(zhǎng)菜譜，正文拆成6個(gè)block，模型翻完第4個(gè)就撞墻了。返回的JSON缺了右大括號(hào)和后半截?cái)?shù)組，response-healing搖頭說(shuō)修不了。

這個(gè)插件是保險(xiǎn)絲，不是發(fā)電機(jī)。它能兜住格式漂移，兜不住資源硬限制。我后來(lái)給長(zhǎng)內(nèi)容加了分段策略，但那是另一個(gè)話(huà)題。

第三層：應(yīng)用層解析器是最后一張底牌

即便疊了JSON Mode和response-healing，我還是在應(yīng)用層留了防御性解析器。代碼不復(fù)雜，但邏輯很硬：

遇到不完整或畸形數(shù)據(jù)，直接拒絕，不進(jìn)業(yè)務(wù)邏輯。不嘗試"智能修復(fù)"，不猜用戶(hù)意圖，不返回半成品。失敗就觸發(fā)降級(jí)流程，走備用模型或標(biāo)記人工復(fù)核。

這個(gè)設(shè)計(jì)來(lái)自第三次驚嚇。某次OpenRouter的API響應(yīng)頭里Content-Type是對(duì)的，但body里混進(jìn)了調(diào)試日志的HTML片段。概率極低，但一旦發(fā)生，沒(méi)有這層過(guò)濾就會(huì)污染數(shù)據(jù)庫(kù)。

三層防御的優(yōu)先級(jí)很明確：協(xié)議層約束（response_format）→ 服務(wù)層修復(fù)（response-healing）→ 應(yīng)用層熔斷（自定義解析器）。越往上成本越低，越往下兜底能力越強(qiáng)。

整個(gè)系統(tǒng)現(xiàn)在跑在日英雙向翻譯上，日均處理1.2萬(wàn)條用戶(hù)內(nèi)容。JSON解析失敗率從早期的3.7%壓到0.02%，剩下的全是模型不支持結(jié)構(gòu)化輸出的邊緣機(jī)型，正在逐步下線(xiàn)。

最后留個(gè)細(xì)節(jié)：response-healing的修復(fù)日志默認(rèn)不開(kāi)，得在OpenRouter dashboard里手動(dòng)啟用審計(jì)。我第一次排查故障時(shí)，花了20分鐘才發(fā)現(xiàn)這個(gè)開(kāi)關(guān)?，F(xiàn)在它是我檢查列表的第二項(xiàng)，排在"確認(rèn)模型支持JSON Mode"之后。

你的生產(chǎn)環(huán)境里，LLM輸出進(jìn)解析器之前，有幾層過(guò)濾？