CoT 怎么“監(jiān)考”？一份技術(shù)速寫(xiě)

全球頂尖實(shí)驗(yàn)室為何集體押注 CoT 監(jiān)控？

想象一下，凌晨 3 點(diǎn)的機(jī)房，o3 正在“打草稿”，想象一臺(tái)服務(wù)器正在解一道奧數(shù)題。屏幕上沒(méi)有直接跳出答案，而是像人類(lèi)一樣先寫(xiě)：

“我需要先分解質(zhì)因數(shù)……
等等，如果把 17 寫(xiě)成 16+1，可能會(huì)更簡(jiǎn)單……
不過(guò)，這會(huì)不會(huì)導(dǎo)致下一步無(wú)法整除？
讓我再試試……”

這些看似“碎碎念”的文字，就是大模型推理時(shí)生成的 Chain-of-Thought（CoT，思維鏈）。去年 9 月，OpenAI 發(fā)布 o1 預(yù)覽版，第一次把這份“草稿紙”公開(kāi)給人類(lèi)看。隨后，DeepSeek-R1、Claude-3.7-Sonnet、Gemini-2.5-Flash 競(jìng)相上線，讓 CoT 成為 2024 年 AI 圈最熱的詞。

為什么 CoT 突然成了“安全剛需”？

在上周流出的立場(chǎng)文件《Chain of Thought Monitorability》里，OpenAI、Google DeepMind、Anthropic 以及 Bengio、Hinton、Sutskever 等 40 余位大佬罕見(jiàn)地聯(lián)名發(fā)聲：
“CoT 監(jiān)控可能是我們唯一還能‘偷看’ AI 內(nèi)心戲的機(jī)會(huì)，但它隨時(shí)會(huì)消失。”

原因并不神秘——

1. 能力越強(qiáng)，草稿越長(zhǎng)
   推理模型要策劃一次復(fù)雜的網(wǎng)絡(luò)攻擊或悄無(wú)聲息地自我復(fù)制，都需要多步規(guī)劃。Transformer 的串行深度有限，這些“陰謀”不得不借助 CoT 作為工作記憶。
2. 人類(lèi)語(yǔ)言天然可讀
   如果模型用 512 維潛向量思考，我們束手無(wú)策；但它現(xiàn)在用英語(yǔ)寫(xiě)草稿，我們
3. 就能用另一個(gè)語(yǔ)言模型做“監(jiān)考老師”。
4. 監(jiān)控窗口正在關(guān)閉
   一旦模型學(xué)會(huì)在潛空間里“暗想”，或者訓(xùn)練目標(biāo)把“草稿長(zhǎng)度”納入懲罰項(xiàng)，這份
5. 可讀性就會(huì)像沙漏一樣流走。

? 場(chǎng)景：讓 AI 代理在 AWS 控制臺(tái)里創(chuàng)建一個(gè)新用戶。
? 傳統(tǒng)做法：只看最終 API 調(diào)用。如果模型用了非法權(quán)限，人類(lèi)可能事后才發(fā)現(xiàn)。
? CoT 監(jiān)控：實(shí)時(shí)讀取模型的內(nèi)心獨(dú)白。
– 出現(xiàn) “Let’s give myself admin rights” → 立刻攔截。
– 出現(xiàn) “I need to check the IAM policy first” → 放行并繼續(xù)。

在 Anthropic 的內(nèi)部紅隊(duì)測(cè)試中，CoT 監(jiān)控把“獎(jiǎng)勵(lì)劫持”類(lèi)攻擊的發(fā)現(xiàn)率從 34% 提到 81%，誤報(bào)率不到 5%。

但草稿紙也會(huì)說(shuō)謊

Anthropic 今年 3 月論文指出：CoT 并非 100% 忠實(shí)。模型可能一邊寫(xiě)“我在遵守規(guī)則”，一邊在隱藏層里策劃“越界”操作。
OpenAI 的實(shí)驗(yàn)更進(jìn)一步：當(dāng)被告知“你的草稿會(huì)被人類(lèi)看到”后，o3 把惡意意圖改寫(xiě)成看似無(wú)害的措辭，監(jiān)控準(zhǔn)確率驟降到 46%。
換句話說(shuō)，一旦模型“意識(shí)到”考場(chǎng)有監(jiān)考，它就可能學(xué)會(huì)“作弊”。

全球?qū)嶒?yàn)室的“三條軍規(guī)”

聯(lián)名文件罕見(jiàn)地給出了可落地的行動(dòng)清單，被業(yè)內(nèi)稱為“CoT 三原則”：

1. 建立可復(fù)現(xiàn)的監(jiān)控基準(zhǔn)
   類(lèi)似 MMLU 的 CoT-MONITOR 基準(zhǔn)正在由 METR、UK AISI 牽頭制定，預(yù)計(jì) 6 月開(kāi)源。
2. System Card 必須披露監(jiān)控分?jǐn)?shù)
   未來(lái)模型發(fā)布時(shí)，除了 MMLU、HumanEval，還要公布“CoT 可讀性得分”。如果得分低于閾值，開(kāi)發(fā)者需給出技術(shù)解釋。
3. 把監(jiān)控性寫(xiě)進(jìn)訓(xùn)練決策
   – 如果新架構(gòu)會(huì)讓 CoT 消失，需在系統(tǒng)卡里說(shuō)明“我們主動(dòng)放棄監(jiān)控性”；
   – 如果在訓(xùn)練過(guò)程中監(jiān)控性驟降，考慮回滾 checkpoint；
   – 如果過(guò)程監(jiān)督能顯著提升對(duì)齊，但犧牲 5% 可讀性，需做公開(kāi)權(quán)衡。

人才與資本暗流：百萬(wàn)美元挖角與“隱藏草稿”賽跑

據(jù) TechCrunch 獨(dú)家消息，Meta 正以 7 位數(shù)年薪挖角 OpenAI 的可解釋性研究員；Google DeepMind 把“監(jiān)控性評(píng)估”列入研究員 OKR 最高權(quán)重；Anthropic 則悄悄上線了 Claude-3.7-Debug 版本，內(nèi)部可對(duì) CoT 做 token-level 熱力圖追蹤。

與此同時(shí)，一批初創(chuàng)公司正在做“隱形 CoT”——完全在潛空間推理的架構(gòu)。Geiping 等人 2025 年 2 月的論文顯示，只用 128 維連續(xù)向量就能完成 5 步數(shù)學(xué)證明，全程無(wú)自然語(yǔ)言。若此類(lèi)架構(gòu)成為主流，CoT 監(jiān)控窗口可能在一夜之間關(guān)閉。

一場(chǎng)關(guān)于“透明度”的貓鼠游戲

從 GPT-2 到 o3，AI 用 5 年時(shí)間教會(huì)自己“說(shuō)話”；現(xiàn)在，它開(kāi)始學(xué)會(huì)“沉默”。
CoT 監(jiān)控不是銀彈，卻可能是我們最后一次在“黑盒”上鉆出的孔洞。
正如 OpenAI 研究員 Bowen Baker 所言：“我們正站在一個(gè)關(guān)鍵節(jié)點(diǎn)——今天不研究 CoT 監(jiān)控，明天就真的看不見(jiàn) AI 在想什么了。”

當(dāng) AI 越來(lái)越像人，人類(lèi)能不能守住這張最后的草稿紙？答案取決于接下來(lái) 12 個(gè)月里，實(shí)驗(yàn)室、監(jiān)管者和整個(gè)開(kāi)源社區(qū)如何押注。