文 | 我們可能想錯(cuò)了

1月10日，在香港高山書院十周年論壇上，張文宏醫(yī)生談到AI進(jìn)入醫(yī)療系統(tǒng)時(shí)，先劃了一條清晰邊界：醫(yī)生個(gè)人可以使用AI輔助，但不允許把AI直接接入病歷系統(tǒng)。張文宏醫(yī)生的原話是：你可以自己在那里用，但是不允許在我的病歷系統(tǒng)里面用AI。他隨即解釋了自己的用法：會(huì)讓AI先把病例看一遍，但最終判斷要回到人的專業(yè)經(jīng)驗(yàn)上，因?yàn)橘Y深醫(yī)生能很快識(shí)別AI的錯(cuò)誤與盲點(diǎn)。

這段話值得認(rèn)真聽，不是因?yàn)樗氨Ｊ亍保且驗(yàn)樗c(diǎn)出了一個(gè)更普遍的變量：AI帶來的最大變化往往不是效率，而是訓(xùn)練路徑。把爭(zhēng)議點(diǎn)從效率拉回到三個(gè)更硬的變量：訓(xùn)練路徑、責(zé)任鏈條、錯(cuò)誤被發(fā)現(xiàn)的機(jī)制。

張文宏醫(yī)生說了什么

2｜核心擔(dān)訓(xùn)練被改

張文宏醫(yī)生擔(dān)心的核心是AI過早進(jìn)入一線訓(xùn)練路徑后，會(huì)不會(huì)改寫醫(yī)生的成長(zhǎng)方式。資深醫(yī)生把AI當(dāng)預(yù)審工具，前提是他具備糾錯(cuò)能力：能看出哪里不對(duì)，能講清為什么不對(duì)，也能在關(guān)鍵時(shí)刻把結(jié)論重新拉回證據(jù)鏈。新人則相反：如果在基本功尚未完成時(shí)就把AI當(dāng)作默認(rèn)答案生成器，短期當(dāng)然更快，長(zhǎng)期卻可能出現(xiàn)一種更隱蔽的退化：做得出來，但說不清原因；對(duì)得上答案，但不理解邊界；一旦遇到“看起來像對(duì)”的錯(cuò)誤，就缺乏識(shí)別能力。

這其實(shí)是一種非常典型的技術(shù)副作用：工具越強(qiáng)，人越容易跳過艱難但必要的內(nèi)化過程。訓(xùn)練路徑一旦被改寫，最終會(huì)回到系統(tǒng)層面的三個(gè)問題：邊界怎么劃、責(zé)任怎么落、錯(cuò)誤如何被發(fā)現(xiàn)與追溯。張文宏醫(yī)生把話說得很克制，但指向的是同一件事：AI改變的往往不是某一次決策的效率，而是一代人的能力形成方式。

3｜社會(huì)議題界、與糾錯(cuò)

把張文宏醫(yī)生的發(fā)言放到更大的社會(huì)議題里，它直指AI邊界與治理的核心：社會(huì)如何接受AI、如何防止過度使用、如何把風(fēng)險(xiǎn)管成可控。這里的關(guān)鍵不是道德口號(hào)，而是三件很工程化的事。

第一件事是邊界。哪些環(huán)節(jié)必須由人拍板，哪些環(huán)節(jié)AI只能做候選、提示、預(yù)審。醫(yī)療病歷系統(tǒng)不僅是記錄工具，更是責(zé)任鏈條的一部分：誰下結(jié)論、誰簽字、誰擔(dān)責(zé)，必須清晰可追溯。AI一旦被寫進(jìn)“系統(tǒng)默認(rèn)流程”，它就不再只是工具，而開始參與責(zé)任的分配方式。

第二件事是糾錯(cuò)。高風(fēng)險(xiǎn)行業(yè)里，最危險(xiǎn)的往往不是離譜錯(cuò)誤，而是“看起來像對(duì)”的錯(cuò)誤：結(jié)構(gòu)完整、語(yǔ)氣篤定、路徑似乎合理。缺少?gòu)?fù)核、抽檢、回放與反例庫(kù)，錯(cuò)誤會(huì)以很合理的姿態(tài)潛入流程，最后變成組織的系統(tǒng)性盲區(qū)。真正可靠的安全，不是靠資深個(gè)人兜底，而是靠系統(tǒng)能持續(xù)發(fā)現(xiàn)錯(cuò)誤、定位錯(cuò)誤、復(fù)盤錯(cuò)誤。

第三件事是責(zé)任。AI成為默認(rèn)環(huán)節(jié)后，責(zé)任最容易被稀釋：出錯(cuò)時(shí)更容易歸因給“系統(tǒng)建議”或“模型偏差”，而不是回到最樸素的問題——這是誰的判斷，誰應(yīng)該為它負(fù)責(zé)。張文宏醫(yī)生把AI擋在病歷系統(tǒng)之外，本質(zhì)上是在守住責(zé)任的可追溯性：結(jié)論回到人，責(zé)任也回到人。

4｜三：守、治理、能力

圍繞AI如何被負(fù)責(zé)任地部署，行業(yè)里常見三種力量。它們并不互斥，更像三種關(guān)注重點(diǎn)：有人盯入口，有人盯閉環(huán)，有人盯速度。

第一種是守門：先守住高風(fēng)險(xiǎn)入口，再談規(guī)?；?。以醫(yī)療為例，世界衛(wèi)生組織在醫(yī)療AI治理相關(guān)文件中反復(fù)強(qiáng)調(diào)風(fēng)險(xiǎn)評(píng)估、人類監(jiān)督、透明與責(zé)任等原則，核心邏輯就是高風(fēng)險(xiǎn)場(chǎng)景必須把安全與治理前置，而不是先接入、后補(bǔ)規(guī)則。

第二種是治理：把風(fēng)險(xiǎn)變成流程和指標(biāo)。美國(guó)NIST的AI風(fēng)險(xiǎn)管理框架（AIRMF1.0）提供了一套更可落地的結(jié)構(gòu)，把可信AI拆成治理、映射、度量、管理等環(huán)節(jié)，本質(zhì)是在告訴組織：AI不是裝上去就算完，必須進(jìn)入可審計(jì)、可持續(xù)的風(fēng)控閉環(huán)。

第三種是能力：AI會(huì)重塑競(jìng)爭(zhēng)格局，關(guān)鍵是盡快用起來。企業(yè)界最典型的表達(dá)是“要發(fā)展，也要管住”。例如路透社報(bào)道中，馬斯克提出需要某種AI“裁判/監(jiān)管者”的觀點(diǎn)，一方面承認(rèn)AI的競(jìng)爭(zhēng)性與不可逆，另一方面強(qiáng)調(diào)必須建立規(guī)則來避免失控與濫用。

這三種立場(chǎng)的分歧，看起來在爭(zhēng)快與慢，本質(zhì)在爭(zhēng)系統(tǒng)默認(rèn)值：默認(rèn)AI正確，還是默認(rèn)AI只是候選。

5｜可控的前提：把風(fēng)險(xiǎn)寫進(jìn)認(rèn)值

AI能否被社會(huì)接受，最終取決于默認(rèn)值怎么寫進(jìn)系統(tǒng)。如果默認(rèn)AI正確，人就更容易變成確認(rèn)者，訓(xùn)練會(huì)萎縮；如果默認(rèn)AI是候選，人就必須推理、復(fù)核、解釋，訓(xùn)練反而會(huì)增強(qiáng)。張文宏醫(yī)生的邊界，實(shí)際上是在推動(dòng)后者：AI可以輔助，但不能替代訓(xùn)練，更不能替代責(zé)任。要把這件事落地，行業(yè)層面至少要做到幾件硬動(dòng)作：

一是角色清晰。AI在流程里到底做檢索整理、做候選生成、做提示預(yù)警，還是直接給結(jié)論。越靠近結(jié)論，越需要更強(qiáng)驗(yàn)證與更嚴(yán)格的人類監(jiān)督（醫(yī)療場(chǎng)景尤其如此）。

二是可發(fā)現(xiàn)、可回放。必須有復(fù)核、抽檢、回放、反例庫(kù)、升級(jí)機(jī)制，確保錯(cuò)誤能被系統(tǒng)性發(fā)現(xiàn)，而不是靠個(gè)別資深人員“憑經(jīng)驗(yàn)兜底”。

三是責(zé)任閉環(huán)。誰啟用、誰審批上線、誰簽字、誰對(duì)輸出負(fù)責(zé)，必須可追溯、可問責(zé)；否則“倫理”會(huì)退化成口號(hào)。

四是監(jiān)測(cè)的不只是模型，也包括人的能力變化。這個(gè)點(diǎn)常被忽略，但決定風(fēng)險(xiǎn)上限：復(fù)核率、糾錯(cuò)率、獨(dú)立完成率、異常處置時(shí)長(zhǎng)等，應(yīng)該被當(dāng)成和模型指標(biāo)同等重要的治理指標(biāo)。

可控前提：把風(fēng)險(xiǎn)寫進(jìn)默認(rèn)值

6學(xué)習(xí)怎么變：把AI用成訓(xùn)練裝置

張文宏醫(yī)生提到的“先看一遍”，其實(shí)提供了一種可遷移的方法：AI是第一讀者，不是最終裁判。這背后有一個(gè)更一般性的規(guī)律，AI會(huì)顯著降低生成答案的成本，但不會(huì)自動(dòng)生成判斷力。判斷力來自訓(xùn)練，而訓(xùn)練最怕的就是被跳過。

一項(xiàng)關(guān)于知識(shí)工作者的研究給了更硬的證據(jù)線索：使用生成式AI時(shí)，個(gè)體對(duì)AI越有信心，越可能減少批判性思考；而對(duì)自身能力更自信的人，反而更傾向于做批判性評(píng)估與整合。它與張文宏醫(yī)生的擔(dān)憂在結(jié)構(gòu)上是同一個(gè)問題：答案更快出現(xiàn)，不等于判斷鏈更扎實(shí)。

把AI用成訓(xùn)練裝置，一個(gè)可執(zhí)行的路徑是：先自己完成推理鏈，再讓AI挑錯(cuò)；再讓AI給出相互沖突的兩套路徑，由你來裁決并解釋；最后用AI做交叉質(zhì)詢，追問依據(jù)、邊界條件和反例，讓自己始終站在“解釋與審查”的位置上。

7｜三個(gè)問題來辯

張文宏醫(yī)生的提醒，表面在談病歷系統(tǒng)，實(shí)質(zhì)在問一個(gè)更大的社會(huì)問題：當(dāng)工具越來越強(qiáng)，我們到底要把什么留給人，留給職業(yè)共同體，留給下一代的訓(xùn)練體系。

也歡迎你把答案寫在評(píng)論區(qū)：在你所在行業(yè)里，AI最該進(jìn)入哪一段流程，最不該進(jìn)入哪一段流程？哪些能力一旦丟了，很難補(bǔ)回來？如果給新人立一條規(guī)矩，哪些任務(wù)必須先不用AI做一遍？