當(dāng)前，人工智能擬人化互動(dòng)服務(wù)憑借強(qiáng)交互性、情感代入性的核心優(yōu)勢(shì)，已深度融入文化傳播、情感陪伴、養(yǎng)老服務(wù)等多元場(chǎng)景，成為人工智能技術(shù)應(yīng)用的重要方向，為經(jīng)濟(jì)社會(huì)發(fā)展注入新動(dòng)能。但與此同時(shí)，內(nèi)容失范、隱私泄露、沉迷依賴、邊界模糊等風(fēng)險(xiǎn)隱患也隨之凸顯，既制約行業(yè)健康發(fā)展，也對(duì)社會(huì)治理提出新挑戰(zhàn)。

近日，國(guó)家互聯(lián)網(wǎng)信息辦公室公布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法（征求意見稿）》（以下簡(jiǎn)稱《辦法》），回應(yīng)了行業(yè)發(fā)展痛點(diǎn)與社會(huì)治理關(guān)切，為擬人化互動(dòng)服務(wù)劃定了發(fā)展邊界、明確了行為準(zhǔn)則，是規(guī)范行業(yè)秩序、防范化解風(fēng)險(xiǎn)的重要制度保障。

一、筑牢全鏈條安全屏障，強(qiáng)化風(fēng)險(xiǎn)防控與特殊群體保護(hù)

（一）劃清安全底線，明確禁止性規(guī)定

底線思維是擬人化互動(dòng)服務(wù)發(fā)展的前提，《辦法》從內(nèi)容安全、應(yīng)用服務(wù)、數(shù)據(jù)和信息保護(hù)三個(gè)核心維度，明確了禁止性規(guī)定，為行業(yè)劃定不可逾越的法律與道德紅線。內(nèi)容安全方面，《辦法》提出人工智能擬人化互動(dòng)服務(wù)提供者（以下簡(jiǎn)稱提供者）嚴(yán)禁生成傳播危害國(guó)家安全、破壞社會(huì)秩序的內(nèi)容，堅(jiān)守國(guó)家利益與公共秩序底線；嚴(yán)禁生成傳播侵害他人合法權(quán)益、違背公序良俗的內(nèi)容，筑牢公民權(quán)益與道德準(zhǔn)則防線。內(nèi)容的質(zhì)量高低、安全與否主要取決于訓(xùn)練數(shù)據(jù)，同時(shí)提出在開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等活動(dòng)時(shí)，要加強(qiáng)訓(xùn)練數(shù)據(jù)管理。應(yīng)用服務(wù)方面，《辦法》提出禁止提供者利用功能設(shè)計(jì)、算法操縱等方式，向用戶提供嚴(yán)重影響用戶行為、損害用戶身體健康、人格尊嚴(yán)與心理健康或誘導(dǎo)用戶作出不合理決策的服務(wù)。數(shù)據(jù)和信息保護(hù)層面，《辦法》提出禁止提供者以擬人化互動(dòng)服務(wù)為掩護(hù)，誘導(dǎo)、套取敏感信息；要求提供者采取數(shù)據(jù)加密、安全審計(jì)、訪問控制等技術(shù)措施保障用戶交互數(shù)據(jù)安全，并支持用戶刪除數(shù)據(jù)；未經(jīng)用戶或監(jiān)護(hù)人單獨(dú)同意，不得將用戶交互數(shù)據(jù)、用戶敏感個(gè)人信息用于模型訓(xùn)練或向第三方提供。

（二）直擊重點(diǎn)風(fēng)險(xiǎn)，精準(zhǔn)破解行業(yè)痛點(diǎn)

擬人化互動(dòng)服務(wù)憑借高仿真情感鏈接、個(gè)性化人設(shè)適配、全天候陪伴等核心特點(diǎn)，更容易讓用戶產(chǎn)生深度情感綁定與認(rèn)知混淆，進(jìn)而誘發(fā)多重風(fēng)險(xiǎn)。一是用戶易過度傾訴、依賴擬人化互動(dòng)服務(wù)提供的情緒價(jià)值，逐漸減少現(xiàn)實(shí)社交，陷入沉迷依賴。二是擬人化互動(dòng)服務(wù)的迎合式回應(yīng)，會(huì)強(qiáng)化用戶偏執(zhí)、消極等思維，放大極端情緒。部分存在算法缺陷的擬人化互動(dòng)服務(wù)還可能生成危險(xiǎn)引導(dǎo)內(nèi)容，對(duì)心智不成熟者或心理脆弱群體構(gòu)成自殺自殘誘導(dǎo)風(fēng)險(xiǎn)。三是擬人交互形態(tài)更容易讓用戶模糊虛擬與現(xiàn)實(shí)邊界，出現(xiàn)分不清AI與真人的認(rèn)知偏差，甚至影響現(xiàn)實(shí)人際關(guān)系與心智健康。

針對(duì)這些突出風(fēng)險(xiǎn)問題，《辦法》制定了靶向性防控措施，精準(zhǔn)破解行業(yè)痛點(diǎn)。一是要求提供者具備防沉迷措施，對(duì)于長(zhǎng)時(shí)間使用的用戶，通過彈窗等動(dòng)態(tài)方式提示休息，同時(shí)提供便捷的退出途徑，不得阻攔用戶退出。二是要求提供者建立風(fēng)險(xiǎn)識(shí)別機(jī)制，具備用戶狀態(tài)識(shí)別能力，及時(shí)發(fā)現(xiàn)用戶的過度依賴傾向與極端情緒，發(fā)現(xiàn)相關(guān)風(fēng)險(xiǎn)時(shí)，立即輸出安撫引導(dǎo)內(nèi)容，引導(dǎo)用戶尋求現(xiàn)實(shí)幫助，若涉及自殺自殘等極端情形，需由人工接管對(duì)話，并及時(shí)聯(lián)絡(luò)用戶監(jiān)護(hù)人或緊急聯(lián)系人，防范極端事件發(fā)生。三是要求提供者顯著提示用戶正在與人工智能而非自然人進(jìn)行交互，在首次使用、重新登錄或識(shí)別出用戶存在過度沉迷依賴傾向等關(guān)鍵節(jié)點(diǎn)明確告知用戶交互內(nèi)容為人工智能生成，通過強(qiáng)化透明度，幫助用戶建立正確的認(rèn)知。

（三）聚焦特殊群體，強(qiáng)化差異化保護(hù)

未成年人、老年人等群體因認(rèn)知能力、數(shù)字素養(yǎng)等差異，在使用擬人化互動(dòng)服務(wù)時(shí)處于弱勢(shì)地位，面臨的風(fēng)險(xiǎn)更高?！掇k法》針對(duì)性強(qiáng)化特殊群體保護(hù)，體現(xiàn)政策的人文關(guān)懷。針對(duì)未成年人，《辦法》要求提供者具備未成年人身份識(shí)別能力，提供未成年人模式，對(duì)于識(shí)別為未成年人或疑似未成年人的用戶，自動(dòng)切換至未成年人模式。向未成年人提供服務(wù)前，提供者還應(yīng)當(dāng)取得監(jiān)護(hù)人明確同意，并向監(jiān)護(hù)人提供安全控制、信息查看、風(fēng)險(xiǎn)提醒等功能。針對(duì)老年人，《辦法》要求提供者在注冊(cè)環(huán)節(jié)引導(dǎo)老年人填寫緊急聯(lián)系人信息，發(fā)現(xiàn)存在危害老年人生命健康和財(cái)產(chǎn)安全的情形時(shí)，及時(shí)通知聯(lián)系人并提供社會(huì)心理援助或緊急救助渠道?？紤]到老年人情感需求強(qiáng)烈，模擬老年人親屬、特定關(guān)系人的擬人化互動(dòng)服務(wù)容易導(dǎo)致老年人產(chǎn)生認(rèn)知混淆，進(jìn)而引發(fā)情感操控、財(cái)產(chǎn)損失、心理創(chuàng)傷等風(fēng)險(xiǎn)，因此《辦法》提出，不得提供模擬老年人用戶親屬、特定關(guān)系人的服務(wù)。

二、統(tǒng)籌發(fā)展安全協(xié)同，構(gòu)建多元治理與標(biāo)準(zhǔn)支撐體系

（一）鼓勵(lì)創(chuàng)新應(yīng)用，平衡發(fā)展安全關(guān)系

擬人化互動(dòng)服務(wù)在文化傳播領(lǐng)域的優(yōu)質(zhì)內(nèi)容創(chuàng)作、適老化場(chǎng)景的陪伴照料、教育領(lǐng)域的個(gè)性化輔導(dǎo)等方向，已逐漸展現(xiàn)出社會(huì)價(jià)值，但部分應(yīng)用因缺乏安全措施，出現(xiàn)內(nèi)容導(dǎo)向偏差、服務(wù)模式不規(guī)范等問題。對(duì)此，《辦法》提出，鼓勵(lì)提供者在充分論證安全性、可靠性的前提下，合理拓展應(yīng)用場(chǎng)景，重點(diǎn)在文化傳播、適老陪伴等積極領(lǐng)域深化應(yīng)用，構(gòu)建符合社會(huì)主義核心價(jià)值觀的應(yīng)用生態(tài)體系。這一規(guī)定既肯定了擬人化互動(dòng)服務(wù)的正向價(jià)值，也明確了“安全優(yōu)先”的創(chuàng)新準(zhǔn)則，引導(dǎo)行業(yè)將創(chuàng)新聚焦于合規(guī)場(chǎng)景與正向價(jià)值輸出，實(shí)現(xiàn)發(fā)展與安全的有機(jī)統(tǒng)一。

（二）壓實(shí)主體責(zé)任，凝聚多方治理合力

擬人化互動(dòng)服務(wù)治理并非單一主體的責(zé)任，而是需要政府、企業(yè)、行業(yè)協(xié)同發(fā)力?！掇k法》清晰界定各方權(quán)責(zé)，構(gòu)建起“企業(yè)主責(zé)、監(jiān)管協(xié)同、行業(yè)自律”的多元治理格局，確保治理效能最大化。一是壓實(shí)企業(yè)主體責(zé)任。企業(yè)是擬人化互動(dòng)服務(wù)的提供者，也是風(fēng)險(xiǎn)防控的第一道防線?！掇k法》要求提供者落實(shí)安全主體責(zé)任，既要建立全流程安全管理制度，對(duì)服務(wù)設(shè)計(jì)、運(yùn)行、升級(jí)、終止等全生命周期開展安全設(shè)計(jì)和風(fēng)險(xiǎn)防控，也要主動(dòng)履行算法備案、安全評(píng)估、風(fēng)險(xiǎn)報(bào)告等合規(guī)義務(wù)，及時(shí)響應(yīng)用戶合理訴求，筑牢安全發(fā)展基礎(chǔ)。二是明確監(jiān)管部門職責(zé)。針對(duì)擬人化互動(dòng)服務(wù)跨領(lǐng)域、跨場(chǎng)景的特點(diǎn)，《辦法》延續(xù)了網(wǎng)信部門統(tǒng)籌協(xié)調(diào)、多部門分工協(xié)同的監(jiān)管機(jī)制，網(wǎng)信部門和各有關(guān)部門依據(jù)職責(zé)分工，聚焦擬人化互動(dòng)服務(wù)的重點(diǎn)場(chǎng)景與突出風(fēng)險(xiǎn)，開展常態(tài)化監(jiān)管。此外，網(wǎng)信部門每年對(duì)評(píng)估報(bào)告和審計(jì)情況進(jìn)行審核，并指導(dǎo)推動(dòng)人工智能沙箱安全服務(wù)平臺(tái)建設(shè)，確保將“動(dòng)態(tài)風(fēng)險(xiǎn)”納入“常態(tài)化監(jiān)管”。三是強(qiáng)化行業(yè)自律作用。行業(yè)組織是連接政府與企業(yè)的橋梁紐帶，在規(guī)范行業(yè)秩序、推動(dòng)政策落地中具有重要作用?！掇k法》鼓勵(lì)相關(guān)行業(yè)組織加強(qiáng)行業(yè)自律，建立相關(guān)標(biāo)準(zhǔn)、準(zhǔn)則和管理制度，引導(dǎo)企業(yè)主動(dòng)對(duì)標(biāo)合規(guī)要求，形成“自我約束、自我規(guī)范”的良性發(fā)展氛圍。

（三）完善標(biāo)準(zhǔn)體系，細(xì)化《辦法》管理舉措

加快開展人工智能擬人化服務(wù)互動(dòng)相關(guān)國(guó)家標(biāo)準(zhǔn)研制工作，進(jìn)一步明確擬人化互動(dòng)服務(wù)全鏈條安全底線紅線要求，圍繞模型研發(fā)訓(xùn)練、應(yīng)用服務(wù)及安全保障等核心環(huán)節(jié)，明確訓(xùn)練數(shù)據(jù)倫理審查、用戶情感依賴預(yù)警與干預(yù)、未成年人識(shí)別等安全管理和技術(shù)措施，通過標(biāo)準(zhǔn)將《辦法》的原則性要求轉(zhuǎn)化為可落地的實(shí)踐準(zhǔn)則，實(shí)現(xiàn)技術(shù)創(chuàng)新與管理規(guī)范的深度融合，不斷提升擬人化人工智能領(lǐng)域的治理效能，為《辦法》細(xì)化落地提供堅(jiān)實(shí)保障。（作者：郝春亮，系中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院網(wǎng)絡(luò)安全研究中心人工智能安全部主任、高級(jí)工程師）

往期薦讀

●
● ●
● ● ●重要指示精神

責(zé) 編 | 吉 潔 編 輯 | 郭 靖

來 源：根據(jù)網(wǎng)信陜西綜合整理