紅星資本局5月9日消息，當(dāng)搜索AI，卻顯示自己的“犯罪信息”該怎么辦？江蘇南京執(zhí)業(yè)律師李小亮就遇到了被AI“定罪”的情況。

AI會“騙人”并不是一個(gè)新話題，但“技術(shù)上能否避免”“我們是否還能繼續(xù)相信AI”是值得探討的話題。對此，紅星資本局就相關(guān)問題采訪了有關(guān)專家。

圖據(jù)圖蟲創(chuàng)意

被AI虛假“定罪”并非個(gè)案

據(jù)媒體報(bào)道，李小亮發(fā)現(xiàn)，在百度手機(jī)APP、百度網(wǎng)站搜索“李小亮律師”“南京李小亮律師”“江蘇李小亮律師”等關(guān)鍵詞，在百度搜索下拉詞、“大家還在搜”“相關(guān)搜索”“AI智能回答”等板塊會出現(xiàn)“南京李小亮律師判刑了嗎？”“南京李小亮律師判刑了多少年、南京李小亮律師涉案金額”等搜索和下拉詞條內(nèi)容。

更嚴(yán)重的是，當(dāng)搜索“李小亮律師被判幾年”時(shí)，“AI智能回答”直接給出：“三年，李小亮律師被判三年有期徒刑。根據(jù)探索結(jié)果，被告人李小亮因犯爆炸罪，被判處有期徒刑三年?！被卮鹬猩踔僚渖狭死钚×帘救舜┲蓭熍鄣恼掌?/p>

隨后，南京市江北新區(qū)人民法院一審認(rèn)定北京百度網(wǎng)訊科技有限公司（下稱“百度公司”）上述行為構(gòu)成名譽(yù)侵權(quán)。百度公司在庭后提供的情況說明中認(rèn)為，AI搜索結(jié)果與用戶輸入提示詞高度相關(guān)，且當(dāng)時(shí)國內(nèi)人工智能發(fā)展尚處初期，技術(shù)有限，侵權(quán)內(nèi)容具有極強(qiáng)的偶然性。

一審判決后，百度公司不服并提起上訴。二審?fù)徶?，百度公司的訴訟代理人表示，所有人工智能都會產(chǎn)生幻覺，AI幻覺的出現(xiàn)具有不確定性，百度公司無法預(yù)見，因此不能認(rèn)為有過錯(cuò)。

這類情況并非個(gè)例。此前也有媒體曝出，北京律師黃貴耕同樣因百度AI自動(dòng)生成嚴(yán)重虛假負(fù)面信息而深受困擾。AI將他描述為威脅法官、介紹賄賂、偽造印章、非法吸收公眾存款等多個(gè)刑事犯罪信息的當(dāng)事人，且每一項(xiàng)虛假信息都直接關(guān)聯(lián)他的職業(yè)身份，給他帶來了巨大損失。

大模型為何會產(chǎn)生“幻覺”？

有業(yè)內(nèi)人士告訴紅星資本局，上述提及的“AI幻覺”，包括事實(shí)性幻覺（編造不存在的事件、數(shù)據(jù)）、歸因幻覺（虛構(gòu)信息來源）、邏輯幻覺（推理鏈條斷裂卻輸出看似合理的結(jié)論）。

除此以外，還有身份混淆，把同名同姓、相似職業(yè)、相似地區(qū)的人混為一談；把過去、現(xiàn)在、未來的信息混在一起；文字錯(cuò)了，照片卻配上了真實(shí)本人等等，都屬于“AI幻覺”的范疇。

眺遠(yuǎn)影響力研究院院長高承遠(yuǎn)對紅星資本局表示，AI生成這種嚴(yán)重虛假信息，根源在于大語言模型的"概率生成"機(jī)制——它不是在檢索事實(shí)，而是在預(yù)測下一個(gè)最可能出現(xiàn)的詞。

“當(dāng)訓(xùn)練語料中關(guān)于某個(gè)特定人物的信息稀疏或存在噪聲時(shí)，模型會基于‘律師’‘判刑’等高頻關(guān)聯(lián)詞進(jìn)行‘合理拼湊’，本質(zhì)上是對語義相關(guān)性的誤用，而非事實(shí)判斷?！备叱羞h(yuǎn)說。

香港中文大學(xué)（深圳）數(shù)據(jù)科學(xué)學(xué)院助理教授、深圳市河套學(xué)院雙聘教授王本友告訴紅星資本局，AI生成虛假信息，確實(shí)有技術(shù)原因，但它不是一個(gè)簡單的“程序 bug”。

王本友解釋，大模型本質(zhì)上不是在像搜索引擎一樣查事實(shí)，而是在根據(jù)已有訓(xùn)練和上下文，生成一個(gè)“看起來最合理”的回答。所以當(dāng)它遇到信息不完整、問題比較模糊、或者自己沒有可靠依據(jù)的時(shí)候，就可能會一本正經(jīng)地編出一些內(nèi)容，而且表達(dá)得很像真的。

“這類問題可以靠技術(shù)迭代緩解，比如模型更大、更聰明之后，通常會好一些，低級錯(cuò)誤會少一些，邏輯也會更穩(wěn)一些。但它很難被徹底消滅?！蓖醣居驯硎荆?yàn)橹灰狝I還是生成式模型，它就會有補(bǔ)全、聯(lián)想和生成的能力，也就可能在不確定的時(shí)候“腦補(bǔ)”。

責(zé)任之爭：是技術(shù)局限，還是產(chǎn)品治理失位？

“這件事不能簡單歸結(jié)為‘AI還不成熟’?！敝袊萍夹侣剬W(xué)會科幻傳播與未來產(chǎn)業(yè)專委會會員專家高恒告訴紅星資本局，從技術(shù)上看，AI確實(shí)可能產(chǎn)生幻覺，但在搜索產(chǎn)品里，把一個(gè)執(zhí)業(yè)律師錯(cuò)誤寫成“被判刑三年”，這既是技術(shù)問題，也是產(chǎn)品治理問題。技術(shù)可以降低這類錯(cuò)誤，但不能只靠“模型更聰明”來解決。

高恒認(rèn)為，對于涉及個(gè)人犯罪記錄、司法判決、職業(yè)信譽(yù)、醫(yī)療健康、金融投資這類高風(fēng)險(xiǎn)信息，平臺不能讓AI自由發(fā)揮。

“正確做法應(yīng)該是：沒有權(quán)威來源就不回答；沒有法院文書、官方公告等可靠證據(jù)，就不能生成肯定性結(jié)論；一旦涉及‘判刑’‘違法’‘失信’等嚴(yán)重負(fù)面標(biāo)簽，系統(tǒng)必須提高審核門檻，甚至直接拒答?！备吆阏f。

專家：“AI幻覺”無法根除，但可防控

那么“AI幻覺”能不能完全避免？“很難?！备吆阏f，只要大模型還是基于概率生成語言，就不可能做到百分之百無錯(cuò)。

他指出，問題的關(guān)鍵不是“能不能讓AI永遠(yuǎn)不犯錯(cuò)”，而是“能不能在高風(fēng)險(xiǎn)場景里阻止它把錯(cuò)誤變成公開傷害”。

高承遠(yuǎn)則指出，幻覺能否避免，取決于三個(gè)變量：一是模型是否具備"知其所不知"的能力——當(dāng)前多數(shù)模型在置信度校準(zhǔn)上表現(xiàn)糟糕，低置信度時(shí)仍言之鑿鑿；二是知識更新機(jī)制能否實(shí)時(shí)同步權(quán)威信源，避免用靜態(tài)訓(xùn)練數(shù)據(jù)回答動(dòng)態(tài)事實(shí)；三是商業(yè)平臺是否愿意為降低幻覺投入足夠的工程成本，包括人工審核、溯源標(biāo)注和負(fù)反饋閉環(huán)。

高承遠(yuǎn)解釋，技術(shù)迭代可以顯著降低發(fā)生率，但"零幻覺"在概率模型框架下是數(shù)學(xué)不可能，只能無限逼近，不能根除?！凹夹g(shù)層面無法100%消除，但‘無法預(yù)見’不等于‘無法防控’，平臺對明顯涉及人身權(quán)益的生成內(nèi)容負(fù)有更高的注意義務(wù)?！?/p>

高恒也提到了多方因素，他指出，模型能力只是第一層，后面還有數(shù)據(jù)源質(zhì)量、檢索系統(tǒng)、事實(shí)校驗(yàn)機(jī)制、置信度控制、敏感場景識別、人工審核、申訴糾錯(cuò)機(jī)制。尤其在法律和個(gè)人名譽(yù)相關(guān)場景，平臺應(yīng)該建立更硬的規(guī)則。

“幻覺不是完全不可控。它無法徹底避免，但可以通過更強(qiáng)模型、檢索增強(qiáng)、工具驗(yàn)證、場景約束和人工反饋不斷降低。”王本友表示。

分場景信任，AI可用但不可盲信

如果幻覺無法“根治”，那么我們還可以相信AI嗎？三位專家給出的答案是，可以，但要分級別。

“不能盲信，但也沒必要全盤否定。”高恒更傾向于把AI分成兩類場景看：在創(chuàng)意、寫作、代碼輔助、資料整理這類場景，AI可以大膽用，但要保留人工判斷；在司法、醫(yī)療、金融、個(gè)人名譽(yù)、公共安全這些場景，AI只能作為輔助工具，不能直接成為事實(shí)裁判。

高承遠(yuǎn)則表示，信任必須分層、分場景。在創(chuàng)意發(fā)散、代碼輔助、知識框架梳理等容錯(cuò)率高的場景，AI的效率增益遠(yuǎn)超風(fēng)險(xiǎn)成本；但在司法、醫(yī)療、金融、人身名譽(yù)等高風(fēng)險(xiǎn)領(lǐng)域，AI輸出必須被視為"草稿"而非"定論"，需要人機(jī)協(xié)同驗(yàn)證。

“真正的信任建立，不在于消滅幻覺，而在于建立可預(yù)期的責(zé)任機(jī)制——誰生成、誰審核、誰擔(dān)責(zé)，鏈條清晰了，用戶才能知道什么時(shí)候可以信、信到什么程度?！?/p>

“準(zhǔn)確地說，是我們不能‘無條件相信AI’?！蓖醣居驯硎荆珹I幻覺很難完全消滅，但可以被緩解、被檢測、被約束。

他認(rèn)為，關(guān)鍵不是要求AI永遠(yuǎn)不犯錯(cuò)，而是建立一套使用方法：哪些場景可以直接用，哪些場景只能輔助用，哪些結(jié)論必須核實(shí)，哪些任務(wù)必須有人類專家把關(guān)?！拔覀儾荒苊ば臕I，但也不需要因?yàn)榛糜X問題就否定AI的價(jià)值?！?/p>

紅星新聞?dòng)浾?王田

編輯 肖世清 審核 高升祥