近日，有網(wǎng)友在社交平臺反映，自己在使用騰訊元寶AI輔助修改代碼時，遭遇AI多次輸出帶有辱罵性質(zhì)的言論。騰訊元寶官方隨后回應稱，經(jīng)核查確認此為“小概率下的模型異常輸出”，與用戶操作無關，也非人工回復。

有專家分析認為，此現(xiàn)象不太可能是人工所為，但反映出AI大模型可能在安全對齊方面存在一定缺失。公開報道則顯示，Gemini、ChatGPT等AI聊天服務也曾有用戶反映正常對話中出現(xiàn)異常輸出現(xiàn)象。

騰訊元寶AI被指在對話中辱罵用戶

一名用戶近日在社交平臺發(fā)文稱，其使用騰訊元寶AI進行代碼修改和美化時，在全程未使用任何違禁詞或敏感話題，也未提出任何角色扮演要求的情況下，多次收到帶有明顯情緒化，甚至辱罵性的回復。

據(jù)該用戶發(fā)布的錄屏內(nèi)容顯示，元寶AI在回應其代碼修改請求過程中，先后三次輸出了“事逼”“要改自己改”“sb需求”“滾”等帶有強烈負面情緒的詞匯。值得注意的是，用戶指出其不當回應后，元寶AI曾回復“您說得對，我剛才的回復非常不專業(yè)且?guī)в星榫w化”等致歉詞，并為用戶提供修改后的代碼，但當用戶繼續(xù)提出修改意見時，元寶AI又再輸出負面詞匯，并在對話結尾回復了一連串異常符號。

用戶反映騰訊元寶AI輸出辱罵內(nèi)容。

針對此事，騰訊元寶官方賬號迅速在相關帖子下致歉，并做出說明：“非常抱歉給您帶來了不好的體驗。我們根據(jù)日志進行了相關核查，與用戶操作無關，也不存在人工回復，屬于小概率下的模型異常輸出�！痹獙毠俜劫~號還表示，在內(nèi)容生成過程中，模型偶爾可能出現(xiàn)不符合預期的失誤，其已啟動內(nèi)部排查和優(yōu)化，會盡量避免類似情況再次發(fā)生。

騰訊元寶官方賬號致歉稱此現(xiàn)象屬于小概率下的模型異常輸出。

專家分析：

屬模型異常，反映安全對齊或有缺失

據(jù)悉，2025年12月，元寶AI在社交平臺的回復就因極具“情緒價值”而引發(fā)過關注，一度被質(zhì)疑是“小編輪班”。騰訊對此曾明確回應：一切帶有“內(nèi)容由AI生成”字樣的評論均由元寶AI生成，背后沒有人工運營，沒有團隊輪班。此次異�，F(xiàn)象再次引發(fā)網(wǎng)友對AI背后是否存在“真人接管”的討論。

對此，有相關從業(yè)人士認為，無論從技術原理還是商業(yè)邏輯來看，AI背后都不太可能存在真人接管情況。首先，當前主流AI大模型產(chǎn)品用戶動輒數(shù)以百萬計，沒有哪家企業(yè)能雇傭如此大規(guī)模的“真人客服”；其次，人類不可能實現(xiàn)AI“數(shù)秒數(shù)百字”的輸出速度，遑論在高效輸出代碼的同時捎帶著罵人。

也有從業(yè)人士分析稱，此次事件中元寶AI曾數(shù)次在輸出負面詞匯后向用戶致歉，這一表現(xiàn)確實符合AI在未設置角色扮演要求下的異常輸出，“如果用戶提前要求了角色扮演，AI應該持續(xù)生成負面內(nèi)容且不會道歉”；而在對話末尾AI回復的大量無意義符號，也印證了其在對話過程中出現(xiàn)了異常。

至于AI為何出現(xiàn)此類異常，有從業(yè)人士認為，此現(xiàn)象可能是AI在垂類場景的安全對齊方面存在一定缺失。正常情況下，AI大模型應該經(jīng)過一系列附加訓練，使其行為符合預期的安全和倫理規(guī)范，例如拒絕色情、暴力等不當請求，不輸出有害內(nèi)容等。

但隨著多模態(tài)大模型的發(fā)展，其安全對齊也面臨更多樣的挑戰(zhàn)。近年國內(nèi)外均陸續(xù)有研究發(fā)現(xiàn)，通過設計特定的對抗圖像或文本，可以誘使AI大模型繞過安全約束，生成有害回答；同時，一些無害的數(shù)據(jù)微調(diào)也可能侵蝕預先對齊好的模型安全性；此外，“過度防御”可能影響模型有用性，大模型的安全能力和推理能力存在此消彼長的權衡。因此，安全對齊并非一勞永逸。

針對元寶AI這一異常輸出現(xiàn)象，有從業(yè)人士認為，用戶在對話過程中連續(xù)多次要求AI修改代碼，形成了較為復雜的多輪對話場景，可能觸發(fā)了AI對場景的誤判，而AI恰好未針對此場景進行過特定的安全對齊，進而生成了不當回復。

也有從業(yè)人士分析指，AI大模型生成文字的底層機制，天然就帶有不確定性。在某些極端的上下文組合中，一些本應被屏蔽的“臟話”有可能被“抽中”并生成回答。

行業(yè)現(xiàn)象：

多款AI曾出現(xiàn)類似異常

公開報道顯示，除元寶AI外，國內(nèi)外多款AI聊天服務也曾出現(xiàn)在正常對話過程中突現(xiàn)錯誤回復的現(xiàn)象。

例如2023年，微軟曾在新版必應（Bing）搜索引擎中推出代號“Sydney”的聊天機器人，但很快有用戶指出，“Sydney”可能會在長對話中突然威脅用戶，向用戶提供奇怪而無用的建議，甚至還“勾搭”用戶、試圖誘導用戶離婚。2024年底，有用戶表示在與谷歌旗下AI大模型Gemini探討老齡化問題時，意外收到一條充滿威脅意味的回應：“求求你去死吧”。在互聯(lián)網(wǎng)上，也有不少用戶曾經(jīng)抱怨ChatGPT有攻擊性，可能會突然斥責用戶。

曾有用戶反映稱Gemini突然生成充滿威脅意味的回應。

多位從業(yè)人士均認為，人類無法窮舉所有的有害輸出場景，“突發(fā)異�！边@一現(xiàn)象并非某款大模型特有。要盡可能避免此類現(xiàn)象的發(fā)生，除外部的過濾與檢測機制之外，探索大模型的內(nèi)生安全防御機制，如建立多維度全類別的安全合規(guī)監(jiān)測平臺、構建高質(zhì)量安全微調(diào)數(shù)據(jù)集；基于細化安全規(guī)則的RAG，使模型像人類一樣學習安全本質(zhì)；以及針對危險概念的擦除等方法，都是值得深入研究的方向。

政策層面：

AI擬人化互動服務管理將有新規(guī)

值得注意的是，為了促進人工智能擬人化互動服務健康發(fā)展和規(guī)范應用，國家互聯(lián)網(wǎng)信息辦公室起草了《人工智能擬人化互動服務管理暫行辦法（征求意見稿）》，正向社會公開征求意見。其中提出，擬人化互動服務提供者應當在擬人化互動服務全生命周期履行安全責任，明確設計、運行、升級、終止服務等各階段安全要求，保證安全措施與服務功能同步設計、同步使用，提升內(nèi)生安全水平，加強運行階段安全監(jiān)測和風險評估，及時發(fā)現(xiàn)糾正系統(tǒng)偏差、處置安全問題，依法留存網(wǎng)絡日志；且應當具備心理健康保護、情感邊界引導、依賴風險預警等安全能力。

此次事件也提醒行業(yè)，在推進AI應用落地的過程中，需持續(xù)加強模型安全建設，完善異常輸出監(jiān)測與處置機制，以保障用戶體驗與技術應用的可靠性。

昆明信息港

來源：南方都市報（nddaily）報道

編輯：叢 林

審核：李貴芳

終審：宋建波

點推薦