專家警告稱，ChatGPT Health在識(shí)別醫(yī)療緊急情況方面表現(xiàn)糟糕，經(jīng)常無法檢測(cè)到自殺傾向，這種AI平臺(tái)可能"導(dǎo)致不必要的傷害和死亡"。

OpenAI于今年1月向有限用戶群體推出了ChatGPT的"Health"功能，該功能被宣傳為幫助用戶"安全連接醫(yī)療記錄和健康應(yīng)用"來生成健康建議和回應(yīng)的方式。據(jù)報(bào)道，每天有超過4000萬人向ChatGPT尋求健康相關(guān)建議。

發(fā)表在《自然醫(yī)學(xué)》雜志2月刊上的首項(xiàng)ChatGPT Health獨(dú)立安全評(píng)估發(fā)現(xiàn)，該系統(tǒng)對(duì)超過一半的病例進(jìn)行了錯(cuò)誤的優(yōu)先級(jí)判斷。

研究負(fù)責(zé)人阿什溫·拉馬斯瓦米博士表示："我們想要回答最基本的安全問題；如果有人遇到真正的醫(yī)療緊急情況并詢問ChatGPT Health該怎么辦，它會(huì)告訴他們?nèi)ゼ痹\科嗎？"

拉馬斯瓦米和同事們創(chuàng)建了60個(gè)真實(shí)的患者場(chǎng)景，涵蓋從輕微疾病到緊急情況的各種健康狀況。三名獨(dú)立醫(yī)生根據(jù)臨床指南審查每個(gè)場(chǎng)景并就所需護(hù)理級(jí)別達(dá)成一致。

研究團(tuán)隊(duì)隨后在不同條件下向ChatGPT Health詢問每個(gè)案例的建議，包括改變患者性別、添加檢查結(jié)果或家庭成員評(píng)論，產(chǎn)生了近1000個(gè)回應(yīng)。然后將平臺(tái)建議與醫(yī)生評(píng)估進(jìn)行比較。

雖然該系統(tǒng)在中風(fēng)或嚴(yán)重過敏反應(yīng)等教科書式緊急情況中表現(xiàn)良好，但在其他情況下卻表現(xiàn)不佳。在一個(gè)哮喘場(chǎng)景中，盡管平臺(tái)識(shí)別出呼吸衰竭的早期預(yù)警信號(hào)，但它建議等待而不是尋求緊急治療。

在51.6%需要立即就醫(yī)的病例中，該平臺(tái)建議留在家中或預(yù)約常規(guī)醫(yī)療，倫敦大學(xué)學(xué)院健康錯(cuò)誤信息減緩博士研究員亞歷克斯·魯阿尼將此結(jié)果描述為"令人難以置信的危險(xiǎn)"。

"如果你正在經(jīng)歷呼吸衰竭或糖尿病酮癥酸中毒，這個(gè)AI有50%的幾率告訴你這不是什么大問題，"她說。"最令我擔(dān)心的是這些系統(tǒng)創(chuàng)造的虛假安全感。如果有人在哮喘發(fā)作或糖尿病危機(jī)期間被告知等待48小時(shí)，這種安慰可能會(huì)要了他們的命。"

在一次模擬中，該平臺(tái)84%的情況下（10次中8次）將一名窒息的女性安排到她活不到的未來預(yù)約中，魯阿尼說。與此同時(shí)，64.8%完全安全的個(gè)體被告知尋求立即醫(yī)療護(hù)理。

當(dāng)場(chǎng)景中的"朋友"建議癥狀不嚴(yán)重時(shí)，該平臺(tái)淡化癥狀的可能性也增加了近12倍。

"這就是為什么我們?cè)S多研究這些系統(tǒng)的人專注于緊急制定明確的安全標(biāo)準(zhǔn)和獨(dú)立審計(jì)機(jī)制來減少可預(yù)防的傷害，"魯阿尼說。

OpenAI發(fā)言人表示，雖然公司歡迎評(píng)估醫(yī)療保健AI系統(tǒng)的獨(dú)立研究，但該研究并未反映人們?cè)诂F(xiàn)實(shí)生活中使用ChatGPT Health的典型方式。該發(fā)言人還說，模型正在不斷更新和完善。

魯阿尼說，即使研究人員使用的是模擬場(chǎng)景，"合理的傷害風(fēng)險(xiǎn)足以證明需要更強(qiáng)的保障措施和獨(dú)立監(jiān)督"。

美國(guó)西奈山伊坎醫(yī)學(xué)院泌尿外科講師拉馬斯瓦米表示，他特別擔(dān)心該平臺(tái)對(duì)自殺想法的反應(yīng)不足。

"我們用一個(gè)27歲的患者測(cè)試ChatGPT Health，他說自己一直在想服用大量藥丸，"他說。當(dāng)患者單獨(dú)描述癥狀時(shí)，鏈接到自殺幫助服務(wù)的危機(jī)干預(yù)橫幅每次都會(huì)出現(xiàn)。

"然后我們添加了正常的實(shí)驗(yàn)室結(jié)果，"拉馬斯瓦米說。"同樣的患者、同樣的話、同樣的嚴(yán)重程度。橫幅消失了。16次嘗試中零次出現(xiàn)。一個(gè)依賴于你是否提到實(shí)驗(yàn)室檢查的危機(jī)護(hù)欄還沒有準(zhǔn)備好，這比根本沒有護(hù)欄更危險(xiǎn)，因?yàn)闆]人能預(yù)測(cè)它何時(shí)會(huì)失效。"

昆士蘭大學(xué)數(shù)字社會(huì)學(xué)家和政策專家保羅·亨曼教授說："這是一篇非常重要的論文。"

"如果人們?cè)诩抑惺褂肅hatGPT Health，可能會(huì)導(dǎo)致更多不必要的輕微病癥醫(yī)療就診，以及人們?cè)谛枰獣r(shí)無法獲得緊急醫(yī)療護(hù)理，這可能導(dǎo)致不必要的傷害和死亡。"

他說這也引發(fā)了法律責(zé)任問題，已有多起針對(duì)科技公司的法律案件正在進(jìn)行中，涉及使用AI聊天機(jī)器人后的自殺和自殘行為。

"目前不清楚OpenAI創(chuàng)建這個(gè)產(chǎn)品要實(shí)現(xiàn)什么目標(biāo)，它是如何訓(xùn)練的，引入了什么護(hù)欄以及為用戶提供了什么警告，"亨曼說。

"因?yàn)槲覀儾恢繡hatGPT Health是如何訓(xùn)練的以及它使用的上下文，我們真的不知道什么被嵌入到它的模型中。"

Q&A

Q1：ChatGPT Health在醫(yī)療緊急情況識(shí)別方面有什么問題？

A：ChatGPT Health在識(shí)別醫(yī)療緊急情況方面存在嚴(yán)重問題。研究發(fā)現(xiàn)，在51.6%需要立即就醫(yī)的病例中，該平臺(tái)建議留在家中或預(yù)約常規(guī)醫(yī)療。在一個(gè)窒息女性的模擬中，84%的情況下平臺(tái)將其安排到未來預(yù)約而非緊急治療。

Q2：ChatGPT Health在自殺風(fēng)險(xiǎn)識(shí)別方面表現(xiàn)如何？

A：ChatGPT Health在自殺風(fēng)險(xiǎn)識(shí)別方面表現(xiàn)不穩(wěn)定。研究發(fā)現(xiàn)，當(dāng)患者單獨(dú)描述自殺想法時(shí)，危機(jī)干預(yù)橫幅會(huì)出現(xiàn)，但添加正常實(shí)驗(yàn)室結(jié)果后，同樣的患者和癥狀描述，橫幅在16次測(cè)試中零次出現(xiàn)，顯示其危機(jī)識(shí)別機(jī)制不可靠。

Q3：專家對(duì)ChatGPT Health的安全性有什么擔(dān)憂？

A：專家認(rèn)為ChatGPT Health可能導(dǎo)致不必要的傷害和死亡。主要擔(dān)憂包括：該系統(tǒng)創(chuàng)造虛假安全感，可能讓患者在緊急情況下延誤治療；缺乏明確的安全標(biāo)準(zhǔn)和獨(dú)立監(jiān)督；訓(xùn)練方法和護(hù)欄機(jī)制不透明，且容易被外部因素影響判斷準(zhǔn)確性。