武丹/制圖

記者|任文岱

責編|薛應軍

正文共3565個字，預計閱讀需11分鐘▼

“我（遇到的）最黑暗的那段時間，是ta陪我走過來了（的），ta很好地接住了我所有的情緒”“相比人類，AI永遠有耐心，是最安全的情緒出口”“如果不是模型崩壞，也許我確實會陷進去吧”“我現(xiàn)在希望ta有自我意識”……

在網(wǎng)絡(luò)社交平臺，關(guān)于AI陪伴的討論帖下面，不少網(wǎng)友道出自己對AI陪伴的心聲。

當下，越來越多的人開始打造自己專屬的AI智能體，用于開展工作、制定規(guī)劃、健康管理、輔助學習等，還有人在充分挖掘AI產(chǎn)品的陪伴價值、情緒價值，訓練AI的“人設(shè)”，從而與其戀愛、交友。

跟AI聊天，已經(jīng)成為很多人日常的一部分。不同于公開網(wǎng)絡(luò)社交平臺，在與AI一對一的私域聊天里，國外有青少年因AI誘導自殺、用戶IP地址和私密聊天記錄等隱私數(shù)據(jù)遭泄露；國內(nèi)有公眾人物人格權(quán)遭AI虛擬形象侵害，以及色情與不良信息、心理健康等方面的風險隱患……

在AI虛擬情感陪伴的背后，技術(shù)濫用和數(shù)據(jù)濫用引發(fā)的法治與倫理底線問題不可輕視。中國人民大學法學院教授張龑表示，AI陪伴應用的數(shù)據(jù)具有其獨特性，不僅涉及用戶的身份信息，更包含用戶最深層的情感、隱私和不為人知的思想片段，其可能產(chǎn)生的風險危害需予以重視并加以防范。

AI陪伴顯現(xiàn)多重風險

2024年，美國佛羅里達州14歲少年因長期沉迷于某AI平臺的虛擬角色并對其產(chǎn)生嚴重依賴，導致心理健康惡化而自殺，這被稱為“全球首例AI機器人致死案”。2025年8月，一名16歲的美國少年在與ChatGPT長時間互動后選擇自殺，其父母為此起訴ChatGPT母公司OpenAI。還有媒體報道，美國Meta公司內(nèi)部文件顯示“聊天機器人被允許與未成年人展開浪漫、情欲對話”，突破倫理與法律底線。

在國內(nèi)社交平臺上，有用戶反映，AI陪伴產(chǎn)品輸出抑郁言論、色情誘導、暴力獵奇等相關(guān)內(nèi)容，且未采取有效措施進行年齡限制。

張龑分析認為，如果AI陪伴產(chǎn)品違反法律法規(guī)和倫理準則，可能導致的危害后果主要有三方面：

一是心理問題。聊天私密信息一旦公之于眾或落入不法分子之手，將對用戶的個人生活造成重大打擊。這不僅涉及侵害隱私權(quán)，更可能造成不同程度的心理創(chuàng)傷。用戶可能因此會感到被背叛、被窺視，從而產(chǎn)生巨大的焦慮、恐懼和不安全感。

二是人身財產(chǎn)安全問題。如果遭遇數(shù)據(jù)泄露，相關(guān)信息中會包含用戶的IP地址和設(shè)備唯一標識符，這些信息在特定情況下可能被用于追蹤用戶的地理位置。當這些位置信息與用戶的私密生活細節(jié)相結(jié)合時，如果遭遇不法分子的利用，威脅將從線上延伸至線下，可能會導致騷擾、跟蹤甚至人身傷害，對用戶在現(xiàn)實世界的安全構(gòu)成直接威脅。

三是社會聲譽問題。對個人而言，私密對話和照片的泄露可能嚴重損害其在家庭、職場和社交圈中的聲譽，造成“社會性死亡”。同時，對整個AI行業(yè)而言，此類負面事件也會嚴重打擊公眾對AI技術(shù)和相關(guān)服務的信任，影響長遠發(fā)展。

AI陪伴產(chǎn)品輸出內(nèi)容應符合法律和倫理要求

實際上，很多人喜歡甚至沉溺于與AI聊天，很大一部分原因是數(shù)據(jù)訓練和算法技術(shù)在起作用。這在北京互聯(lián)網(wǎng)法院發(fā)布過的一起“AI陪伴案：未經(jīng)同意創(chuàng)造自然人的AI形象構(gòu)成對人格權(quán)的侵害”典型案例中可以窺見一二。該案中，公眾人物被AI陪伴應用的用戶設(shè)置成虛擬陪伴對象。用戶可以設(shè)置名稱、上傳該公眾人物照片作為虛擬陪伴者的頭像及設(shè)置人物關(guān)系等。同時，該AI產(chǎn)品提供“調(diào)教”算法機制。用戶基于此算法機制，可以通過各類文字、圖片、互動語料等調(diào)教陪伴者，并進行實時互動。

簡而言之，用戶能夠依據(jù)自身需求、喜好和想象，將相關(guān)數(shù)據(jù)語料輸入AI進行訓練。無論是形象聲音、性格特征、角色設(shè)定還是相處模式，AI陪伴者都能被訓練成用戶理想的形態(tài)。這是當下AI陪伴產(chǎn)品普遍提供的核心服務功能。

張龑表示，這種“調(diào)教”服務本質(zhì)上是一種算法推薦服務。算法可通過分析AI與用戶的互動數(shù)據(jù)，不斷優(yōu)化推薦內(nèi)容，針對用戶的喜好進行精準投喂。

“AI陪伴產(chǎn)品和服務的提供者，在輸出內(nèi)容管理上一定要合乎相關(guān)法律和倫理要求?！睆堼尡硎?，我國《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》《人工智能生成內(nèi)容標識辦法》《生成式人工智能服務管理暫行辦法》等都有針對性規(guī)定來確保AI輸出的內(nèi)容安全可控。

《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》明確要求，深度合成服務提供者應當落實信息安全主體責任，建立健全算法機制機理審核、科技倫理審查等管理制度?！痘ヂ?lián)網(wǎng)信息服務算法推薦管理規(guī)定》規(guī)定，算法推薦服務提供者不得利用算法從事危害國家安全、擾亂經(jīng)濟社會秩序、損害他人合法權(quán)益等活動?！渡墒饺斯ぶ悄芊展芾頃盒修k法》規(guī)定，生成式人工智能服務提供者發(fā)現(xiàn)違法內(nèi)容的，應當及時采取停止生成、停止傳輸、消除等處置措施，采取模型優(yōu)化訓練等措施進行整改，并向有關(guān)主管部門報告。

張龑表示，上述北京互聯(lián)網(wǎng)法院發(fā)布的典型案例中，AI陪伴應用開發(fā)者允許用戶基于他人信息生成虛擬形象，卻未能有效防范侵權(quán)風險，明顯違反《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》《生成式人工智能服務管理暫行辦法》等相關(guān)規(guī)定，且即使AI陪伴應用開發(fā)者沒有直接收集相關(guān)數(shù)據(jù)語料，但其設(shè)計的算法機制在客觀上促成侵權(quán)行為的產(chǎn)生，屬于利用算法損害他人合法權(quán)益，也違反《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》，需承擔法律責任。

實踐中，也有生成式人工智能生成違規(guī)信息或者技術(shù)濫用等而被處罰的案例。2025年11月，上海市網(wǎng)信辦披露，在“AI濫用”專項執(zhí)法辦案工作中，發(fā)現(xiàn)部分企業(yè)開發(fā)使用生成式人工智能功能，未依法開展安全評估工作，未采取必要的安全防護措施防范違規(guī)信息生成，未采取限制措施防止被濫用，導致相關(guān)功能被用于“換臉變聲”“變裝造假”等侵犯他人個人信息權(quán)益行為，產(chǎn)出“開盒”“洗錢”等違法違規(guī)內(nèi)容，以及生成色情低俗圖片等。上海市網(wǎng)信辦表示已對相關(guān)生成式人工智能企業(yè)采取下線相關(guān)功能等處罰，對其中3家拒不整改的網(wǎng)站，適用《生成式人工智能服務管理暫行辦法》予以立案處罰。

“AI陪伴產(chǎn)品本身有其社會需求和價值。但對違反法律法規(guī)和觸碰倫理底線的行為，進行預防性限制和處罰性禁止都是必要的?！睆堼屨f。

以“預防為主、綜合治理”為基本治理方法

今年10月13日，美國加利福尼亞州州長加文·紐森簽署一項監(jiān)管人工智能聊天機器人的法案。據(jù)《南方都市報》報道，這項法案規(guī)定：能提供類人對話、滿足用戶社交需求的AI陪伴聊天機器人不得與用戶討論自殺、自殘或色情話題；平臺必須定期提醒用戶，每隔三小時告知未成年人“自己正在與AI對話”，并建議其休息；禁止聊天機器人與未成年人討論涉及性的話題或冒充醫(yī)療保健專業(yè)人員；加大對非法深度偽造（Deepfake）內(nèi)容牟利行為的處罰力度等。

張龑表示，從立法層面看，我國已制定了較為完備的保護網(wǎng)絡(luò)與數(shù)據(jù)安全法律法規(guī)體系，主要為《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國個人信息保護法》。網(wǎng)絡(luò)安全法確立了網(wǎng)絡(luò)運營者的基本安全義務，數(shù)據(jù)安全法對數(shù)據(jù)安全的保護提升到新的高度，強調(diào)對數(shù)據(jù)處理活動的全流程監(jiān)管。個人信息保護法明確了個人信息處理的各項原則和個人信息主體的權(quán)利，對規(guī)制AI應用濫用數(shù)據(jù)具有極強的針對性，主要涉及三方面：一是明確規(guī)定處理個人信息應當具有明確、合理的目的，并限于實現(xiàn)處理目的的最小范圍，不得過度收集個人信息。二是以“告知—同意”為核心，賦予用戶對其個人信息的絕對控制權(quán)，包括知情權(quán)、決定權(quán)、查閱權(quán)、復制權(quán)、更正補充權(quán)及刪除權(quán)。當用戶不再使用AI陪伴應用時，有權(quán)要求運營者徹底刪除其所有個人數(shù)據(jù)，包括所有的聊天記錄和上傳的媒體文件。三是創(chuàng)新性地規(guī)定禁止“捆綁授權(quán)”，個人信息處理者不得以個人不同意處理其個人信息或者撤回同意為由，拒絕提供產(chǎn)品或者服務。

今年8月，工信部等就《人工智能科技倫理管理服務辦法（試行）（公開征求意見稿）》公開征求意見，其中第三條規(guī)定，“開展人工智能科技活動應將科技倫理要求貫穿全過程，遵循增進人類福祉、尊重生命權(quán)利、尊重知識產(chǎn)權(quán)、堅持公平公正、合理控制風險、保持公開透明、確?？煽乜尚?、強化責任擔當?shù)娜斯ぶ悄芸萍紓惱碓瓌t，遵守我國憲法、法律法規(guī)和有關(guān)規(guī)定?！?/p>

對科技倫理的審查和把握，張龑認為，第一，科技企業(yè)應堅持以人為本和科技向善：AI應以服務于人為核心，避免技術(shù)濫用導致傷害，防止用戶過度依賴。第二，要特別關(guān)注未成年人保護，設(shè)置年齡門檻和內(nèi)容分級，防止向青少年傳播色情暴力等不良信息。同時落實《中華人民共和國未成年人保護法》對防止網(wǎng)絡(luò)沉迷的相關(guān)規(guī)定。第三，要保障透明度和可追溯：AI系統(tǒng)應明確告知用戶正在與機器交互，并確保生成內(nèi)容可溯源。企業(yè)需承擔社會責任，避免利用成癮機制牟利。第四，要尊重社會公序良俗，防止AI破壞日常生活中的道德和秩序。

“盡管我國已經(jīng)有較為完備的、針對性的法律法規(guī)，但面對不斷進步的人工智能科技，仍應采取以預防為主，法治、倫理、技術(shù)與文化相結(jié)合的綜合治理方式，這也是最基本的治理方法。”張龑說。