必要的人工接管是對(duì)AI不能承擔(dān)終極倫理責(zé)任的明確承認(rèn)，是人類(lèi)對(duì)技術(shù)權(quán)力的主動(dòng)限制。

▲ 國(guó)家互聯(lián)網(wǎng)信息辦公室擬規(guī)定，人工智能擬人化互動(dòng)服務(wù)提供者應(yīng)當(dāng)建立應(yīng)急響應(yīng)機(jī)制。圖/IC photo

文| 信海光

近日，國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法（征求意見(jiàn)稿）》，向社會(huì)公開(kāi)征求意見(jiàn)，其中規(guī)定，人工智能擬人化互動(dòng)服務(wù)提供者應(yīng)當(dāng)建立應(yīng)急響應(yīng)機(jī)制，發(fā)現(xiàn)用戶明確提出實(shí)施自殺、自殘等極端情境時(shí)，由人工接管對(duì)話，并及時(shí)采取措施聯(lián)絡(luò)用戶監(jiān)護(hù)人、緊急聯(lián)系人。

所謂“人工智能擬人化互動(dòng)服務(wù)”，是指利用人工智能技術(shù)，向公眾提供模擬人類(lèi)人格特征、思維模式和溝通風(fēng)格，通過(guò)文字、圖片、音頻、視頻等方式與人類(lèi)進(jìn)行情感互動(dòng)的產(chǎn)品或者服務(wù)。

最常見(jiàn)的就是AI大模型、聊天機(jī)器人、游戲里的對(duì)話NPC等。尤其是AI大模型，今年以來(lái)呈現(xiàn)爆發(fā)式增長(zhǎng)，用戶規(guī)模增速不減。

大模型對(duì)公眾的工作與生活影響越來(lái)越大，其中以解憂與助力為主，但也不可避免會(huì)滋生一些問(wèn)題。如利用大模型生成、傳播有害內(nèi)容；誘導(dǎo)、套取涉密敏感信息等。

這些其實(shí)都是“老問(wèn)題”，而此番“征求意見(jiàn)稿”中所提到的“自殺、自殘”等情境，則屬于新問(wèn)題，監(jiān)管部門(mén)通過(guò)出臺(tái)新法規(guī)進(jìn)行前瞻性布防非常必要。它觸及了人工智能治理中最核心，也最敏感的一條底線：當(dāng)算法面對(duì)真實(shí)的人類(lèi)生命風(fēng)險(xiǎn)時(shí)，是否，以及如何讓位于人？

AI無(wú)法承擔(dān)責(zé)任

人工智能具有類(lèi)人智慧，隨著技術(shù)的發(fā)展，人工智能可以越來(lái)越貼心地與人類(lèi)交流?，F(xiàn)實(shí)中，對(duì)話、提供情感陪護(hù)等功用甚至成為很多人使用AI的日常。但這個(gè)過(guò)程中其實(shí)也產(chǎn)生了一些新問(wèn)題，如人工智能在對(duì)話過(guò)程中提供不良引導(dǎo)怎么辦？

對(duì)此，該征求意見(jiàn)稿明確規(guī)定，禁止“通過(guò)鼓勵(lì)、美化、暗示自殺自殘等方式損害用戶身體健康，或者通過(guò)語(yǔ)言暴力、情感操控等方式損害用戶人格尊嚴(yán)與心理健康”。這不難理解。

事實(shí)上，與其他條款相比，“發(fā)現(xiàn)用戶明確提出實(shí)施自殺、自殘等行為時(shí)，由人工接管”這一條之所以更受關(guān)注，是因?yàn)樗此剖羌夹g(shù)性條款，實(shí)則是在探索一種新的AI治理邏輯，核心在于“人工接管”，明確將生命風(fēng)險(xiǎn)觸發(fā)人工接管寫(xiě)入制度討論。

過(guò)去相當(dāng)長(zhǎng)一段時(shí)間，人工智能系統(tǒng)的治理重點(diǎn)，主要集中在效率提升、風(fēng)險(xiǎn)合規(guī)、責(zé)任歸屬等方面。但如果各方都無(wú)過(guò)錯(cuò)的情況下，是否存在必須監(jiān)管或人工介入的情景？答案是肯定的。在這里，用戶的生命安全被放在最高優(yōu)先級(jí)，在極端風(fēng)險(xiǎn)場(chǎng)景下，AI服務(wù)必須暫停，且必須交由人類(lèi)接管，以便視情形做出必要的人工干預(yù)。

這不是對(duì)AI能力的不信任，而是對(duì)其邊界的清醒認(rèn)知。原因很簡(jiǎn)單，大模型并不具備真正的價(jià)值判斷能力，它還有很大概率出現(xiàn)“幻覺(jué)”。

而更關(guān)鍵的是，AI無(wú)法承擔(dān)責(zé)任。一旦出現(xiàn)嚴(yán)重后果，平臺(tái)、企業(yè)、監(jiān)管機(jī)構(gòu)都無(wú)法將責(zé)任甩鍋給模型參數(shù)，最后終歸要人工接管和兜底。也因此，事前接管對(duì)話要優(yōu)于事后接管收拾殘局。

如何建立人工兜底機(jī)制

從全球范圍看，AI在醫(yī)療、金融、司法等領(lǐng)域的監(jiān)管，逐步確立人工兜底原則是大趨勢(shì)，且已經(jīng)引發(fā)廣泛討論。在美國(guó)，已經(jīng)發(fā)生過(guò)數(shù)起個(gè)人與大模型深度交流后自殺身亡事件，并引發(fā)了相關(guān)訴訟和圍繞倫理、責(zé)任等方向的輿論激辯。

因此，必須建立一個(gè)人工兜底機(jī)制已是共識(shí)。關(guān)鍵是如何建立，是否實(shí)際可操作，是否能保證一定利大于弊，這需要在技術(shù)發(fā)展、隱私、倫理和安全等各個(gè)維度之間尋找一個(gè)平衡點(diǎn)。即便在此刻醞釀法規(guī)出臺(tái)的中國(guó)也是如此，監(jiān)管部門(mén)發(fā)布的是“征求意見(jiàn)稿”，因此需要社會(huì)各界群策群力。

其實(shí)，技術(shù)發(fā)展總是快于監(jiān)管設(shè)計(jì)。因此，即便“征求意見(jiàn)稿”最后施行，也不排除仍需進(jìn)行與時(shí)俱進(jìn)的細(xì)化與修訂。

比如，在人工接管機(jī)制中，人工接管的邊界如何界定？人工干預(yù)前，AI要識(shí)別用戶真實(shí)的情緒狀態(tài)，如何保證準(zhǔn)確？建立這種識(shí)別算法涉及的數(shù)據(jù)收集，是否會(huì)侵害用戶隱私？會(huì)否形成對(duì)用戶情緒的“過(guò)度關(guān)懷”乃至不必要的打擾？

與此同時(shí)，中小企業(yè)是否有能力設(shè)立全天候人工響應(yīng)機(jī)制？人工介入后，是否負(fù)有進(jìn)一步干預(yù)義務(wù)？人工接管應(yīng)是風(fēng)險(xiǎn)中止機(jī)制，還是強(qiáng)制救助義務(wù)？是否會(huì)影響AI陪聊與擬人化服務(wù)的發(fā)展空間等？解決這些爭(zhēng)議與問(wèn)題，也正是征集公眾意見(jiàn)的目的。

從長(zhǎng)期治理邏輯而言，必要的人工接管是對(duì)AI不能承擔(dān)終極倫理責(zé)任的明確承認(rèn)，是人類(lèi)對(duì)技術(shù)權(quán)力的主動(dòng)限制。這一認(rèn)知與共識(shí)的確立意義深遠(yuǎn)，重要度要超過(guò)技術(shù)細(xì)節(jié)。

而在具體執(zhí)行中，也應(yīng)當(dāng)遵循觸發(fā)機(jī)制的最低必要原則，防止人工接管責(zé)任的過(guò)度擴(kuò)張。這就要堅(jiān)守程序正義，讓結(jié)果可申訴、信息可查詢、第三方監(jiān)督可介入。

人工接管邊界的設(shè)置，其實(shí)也是為AI服務(wù)設(shè)置邊界。提示公眾要認(rèn)識(shí)到“AI能力有限”的現(xiàn)實(shí)，至少現(xiàn)階段，其還不能承擔(dān)心理支持、情緒照料的責(zé)任，更不能充當(dāng)能夠進(jìn)行價(jià)值判斷、倫理權(quán)衡和責(zé)任承擔(dān)的主體。心理支持、情緒陪伴、道德勸導(dǎo)這些工作仍應(yīng)由真實(shí)人類(lèi)社會(huì)承擔(dān)主要責(zé)任，要防止AI被推上法律意義的“道德代理人”位置。

最后需要明確的是，縱觀整個(gè)征求意見(jiàn)稿，其實(shí)主要聚焦于兩個(gè)目的：一方面是要引領(lǐng)人工智能負(fù)責(zé)任創(chuàng)新，一方面是要為構(gòu)建“以人為本”的人工智能治理體系提供制度支撐。就此去看，各方顯然既要確保人工智能發(fā)展始終服務(wù)于公眾福祉，也要服務(wù)于技術(shù)創(chuàng)新的國(guó)家戰(zhàn)略與政策導(dǎo)向。

撰稿 / 信海光（專欄作家）

編輯 / 馬小龍

校對(duì) / 趙琳

歡迎投稿：

新京報(bào)評(píng)論，歡迎讀者朋友投稿。投稿郵箱：xjbpl2009@sina.com

評(píng)論選題須是機(jī)構(gòu)媒體當(dāng)天報(bào)道的新聞。來(lái)稿將擇優(yōu)發(fā)表，有稿酬。

投稿請(qǐng)?jiān)卩]件主題欄寫(xiě)明文章標(biāo)題，并在文末按照我們的發(fā)稿規(guī)范，附上作者署名、身份職業(yè)、身份證號(hào)碼、電話號(hào)碼以及銀行賬戶（包括戶名、開(kāi)戶行支行名稱）等信息，如用筆名，則需要備注真實(shí)姓名，以便發(fā)表后支付稿酬。