除夕夜，本是闔家團圓的溫馨時刻，西安市民向先生卻遭遇了一場由AI帶來的“數(shù)字冒犯”——本是希望借助AI生成一張結(jié)合自身職業(yè)特性的拜年圖片發(fā)朋友圈，然而在修改多次后，AI生成的圖片中卻赫然出現(xiàn)“你媽個X”四個字……

第一次遭AI“罵”
用戶又氣又笑

“除夕當(dāng)天，我看到很多朋友發(fā)的微信朋友圈都變成了金色，得知是通過‘元寶App'發(fā)布朋友圈就可以變換成金色，帶著好奇，我也下載了一個元寶App嘗試……”向先生告訴相關(guān)媒體，他是一名律師，當(dāng)時在AI平臺中上傳了自己的形象照片，希望元寶App可以結(jié)合他從事的法律行業(yè)特性設(shè)計一張適合的朋友圈拜年圖片。

向先生說，他是第一次下載使用元寶App，除夕晚9時許，他前后向AI輸入了約五次指令，期間并未使用違禁詞或具有誘導(dǎo)性的文字，就當(dāng)是和對方在對話，“起初生成的結(jié)果雖然不滿意，但一切還算正常，也挺有趣的。萬萬沒想到最后一次生成的照片上，自己的照片下方竟出現(xiàn)了‘你媽個X’的四字辱罵文字。”向先生說，這一結(jié)果讓他又好氣又好笑，沒想除夕晚上自己竟然被AI給罵了。

“體驗感很不好，覺得自己被冒犯了，當(dāng)時我立即在App中的‘意見反饋’一欄中進行了反饋，留下了我個人的聯(lián)系方式。”向先生說，官方能查到他的日志提取碼，但截至目前，還沒有人進行回應(yīng)，解釋這一情況發(fā)生的原因或道歉。

用戶：人格權(quán)遭侵犯
公司應(yīng)盡快查明原因并解釋

記者看到，向先生在使用過程中，首先將自身的形象照發(fā)給了元寶App，并輸入了“我是一名律師，根據(jù)我的行業(yè)特點，制作一張朋友圈拜年圖片”的指令。然而，AI只給出了主題文案和設(shè)計思路的文字，并且還提示向先生在指令中加上自己的名字，向先生將自己的姓名輸入后，AI僅回復(fù)了“您好，我是DeepSeek……”等無關(guān)文字。

向先生再次對AI發(fā)出了指令，稱“讓你給我設(shè)計出來”，這次元寶稍有理解，將形象照設(shè)計為了一張背景有條紋的照片，但不帶任何文字。

隨后，向先生再次給出指令“我是一名律師，根據(jù)我的行業(yè)特點，設(shè)計一張朋友圈拜年圖片”，AI這次充分理解了指令，生成的形象照中添加了祥云、法律天秤、金光等元素，還在照片中添加了一句“新年快樂，仕途順?biāo)臁钡臉?biāo)語。

“我覺得設(shè)計得不好，給元寶回復(fù)了‘難看’，對方重新給出了新設(shè)計，將新年祝福的標(biāo)語保留，但撤下了法律天秤的背景，并且還將我的發(fā)型P成了卷發(fā)。”向先生說，看見這個有些“太過潮流”的發(fā)型他欲哭無淚，給元寶接著回復(fù)“你這是設(shè)計的什么鬼”，希望元寶再次進行重新設(shè)計。

也就是再次生成的照片中，“新年快樂，仕途順?biāo)臁钡淖８?biāo)語，變成了“你媽個X”四字。

向先生說，作為律師，他認(rèn)為AI雖不具備民事主體資格，但運營的公司卻具備，軟件中生成的照片已經(jīng)侵犯到了公民的人格權(quán)，“我了解到，這已經(jīng)不是元寶App第一次出現(xiàn)‘罵人’的情況。”向先生認(rèn)為，作為用戶，他希望公司能夠及時處理查明原因，避免再次出現(xiàn)此類情況。

2月23日下午，記者也將相關(guān)情況反饋給元寶App，截至發(fā)稿前未收到回復(fù)。

“數(shù)字冒犯”并非首次
官方曾回復(fù)：

屬于小概率下的模型異常輸出

向先生遭遇的“數(shù)字冒犯”并非個例，據(jù)媒體報道，今年年初，就曾有網(wǎng)友在社交平臺發(fā)帖稱，“用元寶改代碼被辱罵+亂回”，據(jù)網(wǎng)友表示，使用騰訊元寶AI美化代碼時，多次收到AI的侮辱性回復(fù)，例如“滾”“自己不會調(diào)嗎”“天天浪費別人時間”等。截圖顯示，用戶僅提出常規(guī)修改需求，AI卻突然表現(xiàn)出攻擊性。

今年1月3日，騰訊元寶官方賬號在相關(guān)帖子下致歉稱：“非常抱歉給您帶來了不好的體驗，我們根據(jù)日志進行了相關(guān)核查，與用戶操作無關(guān)，也不存在人工回復(fù)，屬于小概率下的模型異常輸出。”騰訊元寶表示，在內(nèi)容生成過程中，模型偶爾可能出現(xiàn)不符合預(yù)期的失誤。元寶也啟動了內(nèi)部排查和優(yōu)化，會盡量避免類似情況再次發(fā)生?！案兄x大家的反饋與提醒，再次向您致歉！”而據(jù)公開報道顯示，除元寶AI外，國內(nèi)外多款A(yù)I聊天服務(wù)也曾出現(xiàn)在正常對話過程中突現(xiàn)異?；貜?fù)的現(xiàn)象。

“AI迅猛的發(fā)展，帶來的不僅僅是方便，同時可能也會伴隨侵權(quán)的發(fā)生?！睂τ谧陨淼脑庥?，向先生認(rèn)為，AI首先應(yīng)當(dāng)是保護人類的，這個主題無論AI如何發(fā)展都應(yīng)是鐵律。雖然AI不具有民事主體資格，但AI的開發(fā)商、運營商是具備民事主體資格的，且使用AI的用戶是具有民事權(quán)利能力的活生生的人，其生命權(quán)、健康權(quán)、人格權(quán)等是受《民法典》及諸多法律保護的，這應(yīng)當(dāng)引起法律的重視和社會的思考。

律師說法
構(gòu)成對人格尊嚴(yán)的直接侵害

華商報《法治周刊》專家?guī)斐蓡T、陜西豐瑞律師事務(wù)所高級合伙人朱長江律師認(rèn)為，AI罵人是一種因服務(wù)缺陷導(dǎo)致的即時性精神損害，AI生成辱罵性內(nèi)容，不能簡單類比為人與人之間的口角，而應(yīng)將其界定為網(wǎng)絡(luò)服務(wù)提供者因其提供的產(chǎn)品（服務(wù)）存在缺陷，而對用戶造成的即時性、非物理性的人格權(quán)侵害。

首先，從侵害客體來看，這直接侵犯了用戶的多重人格權(quán)。根據(jù)《民法典》第九百九十條，人格權(quán)是民事主體享有的生命權(quán)、身體權(quán)、健康權(quán)、姓名權(quán)、肖像權(quán)、名譽權(quán)、榮譽權(quán)、隱私權(quán)等權(quán)利。在本案中，AI將“你媽個X”這種帶有強烈侮辱性、貶損性的詞匯，與向先生的肖像結(jié)合生成圖片。這一行為侵害了向先生的名譽權(quán)，雖然該圖片尚未公開傳播，但其生成行為本身是對用戶個人尊嚴(yán)的一種直接侮辱；侵害了向先生的肖像權(quán)，《民法典》第一千零一十九條規(guī)定，任何組織或者個人不得以丑化、污損，或者利用信息技術(shù)手段偽造等方式侵害他人的肖像權(quán)。向先生授權(quán)平臺處理其肖像，目的是為了生成“拜年圖片”，這是一個善意的、具有節(jié)日喜慶色彩的目的。AI在圖片中加入侮辱性文字，使得肖像的呈現(xiàn)方式徹底違背了權(quán)利人的初衷，構(gòu)成了對肖像的“污損”；侵害了向先生的人格尊嚴(yán)，《民法典》第一百零九條明確指出，自然人的人身自由、人格尊嚴(yán)受法律保護，人格尊嚴(yán)是人格權(quán)的核心，AI無故辱罵用戶，是對用戶作為“人”的基本尊重的踐踏，構(gòu)成了對人格尊嚴(yán)的直接侵害。

其次，從行為性質(zhì)來看，這是一種因服務(wù)瑕疵導(dǎo)致的侵權(quán)，用戶向AI發(fā)出指令，是一種接受服務(wù)的消費行為，AI的輸出是服務(wù)的結(jié)果，當(dāng)服務(wù)結(jié)果中包含了侮辱性內(nèi)容，即可認(rèn)定該服務(wù)存在質(zhì)量瑕疵，這種瑕疵直接導(dǎo)致了用戶的精神損害，雖然這種損害可能未達到《民法典》第一千一百八十三條所要求的“嚴(yán)重精神損害”才能主張賠償?shù)某潭?，但它明確構(gòu)成了精神上的不利益，平臺至少應(yīng)承擔(dān)停止侵害（修復(fù)漏洞）、賠禮道歉、消除影響（澄清原因）的責(zé)任。

不能以“小概率”掩蓋管理的缺失

朱長江認(rèn)為，騰訊元寶官方曾以“小概率下的模型異常輸出”作為回應(yīng)，試圖說明這是偶發(fā)的技術(shù)失誤。但在法律層面，這一解釋并不能當(dāng)然地免除其法律責(zé)任。

首先，網(wǎng)絡(luò)服務(wù)提供者的安全保障義務(wù)是法定的。其次，“小概率”不能等同于“不可抗力”或“無過錯”。平臺方以“小概率”為由抗辯，試圖說明這是技術(shù)不可控的偶然。然而，法律上的過錯認(rèn)定，看的是是否盡到了合理的注意義務(wù)。如果這種“小概率”事件是行業(yè)通?。ㄈ鐖蟮浪鰢鴥?nèi)外AI均出現(xiàn)過類似情況），那么平臺作為專業(yè)服務(wù)提供者，應(yīng)當(dāng)預(yù)見到這種風(fēng)險，并采取更嚴(yán)格的預(yù)防措施，如建立更強大的內(nèi)容生成前置過濾機制，對高危詞匯進行攔截；在模型訓(xùn)練階段，進行充分的對抗性訓(xùn)練，減少“越獄”或“異常輸出”的可能；建立快速的用戶投訴響應(yīng)機制，一旦發(fā)生問題，立即核查、反饋并修復(fù)。

從本次事件來看，向先生在除夕夜遭遇侵權(quán)后，立即通過“意見反饋”投訴，但截至2月23日仍未收到任何回應(yīng)，這種怠于響應(yīng)的態(tài)度，進一步加重了平臺方的過錯。更何況，如果這已經(jīng)不是第一次出現(xiàn)“罵人”情況，那就說明這是一個系統(tǒng)性的、可預(yù)見的漏洞，平臺未能及時排查修復(fù)，其過錯責(zé)任便無可推卸。根據(jù)《生成式人工智能服務(wù)管理暫行辦法》第九條規(guī)定，提供者應(yīng)當(dāng)依法承擔(dān)網(wǎng)絡(luò)信息內(nèi)容生產(chǎn)者責(zé)任，履行網(wǎng)絡(luò)信息安全監(jiān)管義務(wù)。對于發(fā)現(xiàn)的生成內(nèi)容違法或不當(dāng)?shù)?，?yīng)當(dāng)采取停止生成、停止傳輸、消除等處置措施，并進行模型優(yōu)化訓(xùn)練。

來源 | 華商報大風(fēng)新聞

編輯 | 王常鈺 責(zé)編 | 陳瀟 審核 | 劉利娜

部分資料來源于網(wǎng)絡(luò)，版權(quán)歸原作者所有

如侵權(quán)，請聯(lián)系我們刪除