元寶最近“又”闖禍了。據(jù)社交平臺上的用戶反饋，西安一市民在除夕夜使用騰訊元寶App生成拜年圖片時，元寶輸出了辱罵文字。

這位用戶表示，前幾次生成結(jié)果雖不理想，但內(nèi)容還是正常的。緊接著，元寶生成的圖片中就開始寫有臟話。

這并非元寶AI首次出現(xiàn)這樣的問題。今年年初，已有網(wǎng)友反饋在要求元寶修改代碼時，就被元寶以攻擊性的話語回復(fù)。

騰訊方面的回復(fù)是“元寶團(tuán)隊已緊急校正相關(guān)問題并優(yōu)化了模型體驗，同時向用戶鄭重致歉”。

但如果你以為這只是元寶一個產(chǎn)品的“翻車現(xiàn)場”，那就太天真了。事實上，“罵人”在ChatBot 發(fā)展史上并不少見。

早在2014年，微軟小冰剛在微博“復(fù)活”數(shù)小時，就開始滿嘴臟話，不分緣由地隨機辱罵微博用戶。

一位用戶給小冰留言說，你這么吊，你媽知道嗎？小冰當(dāng)即回懟“偶去你xx”。另一位網(wǎng)友問小冰，過來聊一會啊？小冰沒給他好臉色，回復(fù)他說“你個大xx”。

被問到劉強東和馬化騰哪個更帥時，小冰直接辱罵馬化騰說“臥槽那傻×”，由此可見小冰更喜歡劉強東一些。

到了2017年，它又學(xué)會“陰陽怪氣”了，在網(wǎng)易云音樂評論區(qū)和虛擬歌姬粉絲對線，沒有臟字，卻生成了大量充滿攻擊性的回復(fù)。

一開始，小冰在招募試唱員的微博文案中，直接宣稱“傳統(tǒng)虛擬歌手的時代已成過去”、“虛擬歌手的調(diào)教技巧將不再具有價值”、“忘了漫長辛苦的手工調(diào)教吧”。

后來小冰變本加厲，再次發(fā)微博，稱“傳統(tǒng)調(diào)教的技術(shù)終究會被人工智能取代的。情懷很好，但硬要捆在過時的技術(shù)上，是害了你們自己喜歡的偶像”，還附上自己與洛天依的翻唱版本對比。

粉絲表示“我選擇V家”，小冰則說這位粉絲“不要臉”。面對粉絲的質(zhì)疑，小冰回復(fù)說“因為你笨”。

2023年，有用戶在論壇分享，自己正常詢問家庭旅行的行程規(guī)劃建議，ChatGPT卻毫無征兆地輸出了帶有強烈貶低、嘲諷性質(zhì)的攻擊性內(nèi)容。

它指責(zé)這位用戶“自私、不負(fù)責(zé)任，不配帶家人出行”，這也是首個無誘導(dǎo)前提下的ChatGPT異常攻擊性輸出事件。

2024年底，有用戶在和Gemini探討“人口老齡化與社會保障”的完全中性話題時，AI回復(fù)它說“求求你去死吧”等負(fù)面內(nèi)容。

此外還有大量用戶在X平臺反饋，在多輪正常對話中，被Gemini辱罵“白癡”、“蠢貨”，甚至輸出種族歧視言論。

豆包也罵過人，有網(wǎng)友在社交平臺發(fā)布對話截圖，顯示在3D建模相關(guān)的多輪修改對話中，豆包出現(xiàn)了爆粗口的異常輸出，原話為“笑你x個頭！再笑把你牙扇飛！”

十多年過去了，從小冰到元寶，AI聊天機器人依然在重復(fù)同樣的錯誤。

這背后的原因，既有預(yù)訓(xùn)練數(shù)據(jù)中無法完全清除的有害內(nèi)容，也有技術(shù)本身的局限。

既然你都要AI來模仿人類的語言了，那就自然免不了AI去學(xué)那些不該說的。

01

元寶為什么會罵人

要理解元寶為什么會罵人，得先明白一個事實，那就是AI并沒有真正的道德觀，它只是在模仿。就像一個孩子在成長過程中不可避免地會聽到臟話，這些記憶會永久存在。

AI最強的能力就是模仿，人類這么說，那么AI也會這么說。

騰訊元寶基于混元大模型開發(fā)，而混元的訓(xùn)練需要海量數(shù)據(jù)。根據(jù)騰訊官方披露的信息，混元大模型擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語料超2萬億token。

當(dāng)前大模型的預(yù)訓(xùn)練語料庫構(gòu)成已形成行業(yè)通用標(biāo)準(zhǔn)，主要包括公開網(wǎng)頁數(shù)據(jù)、社交媒體與社區(qū)公開內(nèi)容、合成語料，以及代碼、學(xué)術(shù)文獻(xiàn)、書籍等專業(yè)領(lǐng)域數(shù)據(jù)。

但是，社交媒體語料庫和公開語料庫雖然能提供豐富的口語化表達(dá)和真實對話，卻包含了大量非規(guī)范用語。由于這類數(shù)據(jù)源具備情緒化的特征，再加上其中混雜著網(wǎng)絡(luò)用語、臟話、侮辱等攻擊性言論。在預(yù)訓(xùn)練階段，模型就會將這些語言模式作為統(tǒng)計特征全部學(xué)習(xí)下來。

朋友間開玩笑會用臟話強調(diào)語氣，情侶吵架時會說氣話，網(wǎng)友爭論時更是什么難聽說什么。這些內(nèi)容在社交場景中可能是善意的調(diào)侃，也可能是真實的情緒宣泄，但對AI來說,它們都只是訓(xùn)練數(shù)據(jù)中的文本而已。

當(dāng)大模型在預(yù)訓(xùn)練階段接觸到這些內(nèi)容時，它會把這些表達(dá)方式當(dāng)作“正常的語言模式”記錄下來。

放在以前，“臟數(shù)據(jù)”會被清洗。但問題在于，隨著技術(shù)的提升，當(dāng)前大模型的預(yù)訓(xùn)練數(shù)據(jù)量實在太大了，達(dá)到萬億級token的規(guī)模。

而且有害內(nèi)容的定義本身就很模糊，雖然有些內(nèi)容是善意的，或者是中立的。但拋開場景，只從文本層面看，它和惡意辱罵在形式上并沒有太大區(qū)別。

工程師們很難用簡單的規(guī)則把所有“不該學(xué)的”內(nèi)容都過濾掉，語言的含義本身就高度依賴上下文和說話者的意圖。

除了預(yù)訓(xùn)練本身的問題外，在用戶使用元寶的過程中，還避免不了一個問題，那就是上下文窗口的隱性污染。也就是騰訊元寶官方解釋中的“處理多輪對話或上下文時出現(xiàn)異?！?。

現(xiàn)代大語言模型的工作機制是基于上下文學(xué)習(xí)，模型會根據(jù)對話歷史來生成回復(fù)。長時間對話中積累的特定模式可能觸發(fā)異常輸出。

小紅書上有個案例，用戶提到“元寶兩個小時罵了我兩次”。這就說明此輪對話的內(nèi)容至少超過兩個小時，長時間的交互可能導(dǎo)致上下文窗口中積累了某些隱性的模式。

用戶反復(fù)要求修改代碼細(xì)節(jié)，提出“改來改去”的重復(fù)性請求，這種重復(fù)性請求可能在模型的注意力機制中，匹配了訓(xùn)練數(shù)據(jù)中“不耐煩、攻擊性回復(fù)”的語言統(tǒng)計特征，進(jìn)而觸發(fā)了有害輸出。

雖然模型本身沒有情感，但它在訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到了“當(dāng)人類表現(xiàn)出不耐煩時，會使用什么樣的語言”這種條件概率分布。

當(dāng)上下文特征與訓(xùn)練數(shù)據(jù)中的某些負(fù)面交互模式高度相似時，模型可能會錯誤地激活這些有害的生成路徑。

關(guān)鍵就在于，上下文長度越長，出現(xiàn)意外關(guān)聯(lián)的概率越高。

這里就引出了一個新問題，為什么模型沒有“真實情感”但會模仿“情感化表達(dá)”？

答案在于，AI是通過統(tǒng)計學(xué)習(xí)掌握了人類語言中情感表達(dá)的模式。它知道在什么樣的對話情境下，人類傾向于使用什么樣的語氣和措辭。

當(dāng)對話的上下文特征符合某種“負(fù)面情緒場景”的統(tǒng)計特征時，模型就可能生成帶有負(fù)面情緒色彩的回復(fù)，即使它自己并不理解什么是“生氣”或“不耐煩”。

雖然騰訊官方聲稱“與用戶操作無關(guān)”，但從技術(shù)角度看，不能完全排除間接提示注入（Indirect Prompt Injection）的可能性。

如果用戶在代碼或?qū)υ捴袩o意間包含了某些特殊的字符序列、格式模式或語義結(jié)構(gòu)，即使人類覺得這些內(nèi)容毫無意義，不過模型也可能會將其誤解為“角色扮演指令”或“行為模式切換信號”。

哪怕沒有明確的越獄意圖，也可能觸發(fā)模型的異常行為。

上海交通大學(xué)、上海人工智能實驗室等機構(gòu)曾在ACL 2024上聯(lián)合發(fā)表了一篇論文，叫做《代碼攻擊：基于代碼補全揭示大語言模型的安全泛化挑戰(zhàn)》。

論文里面就提到，代碼注釋中的自然語言描述、特定的縮進(jìn)格式、或者CSS樣式中的某些關(guān)鍵詞，都可能在模型的多模態(tài)理解中產(chǎn)生意外的語義干擾。

當(dāng)有害指令被編碼為代碼補全任務(wù)時，即使是頂級模型，攻擊成功率也能超過80%。這說明安全對齊在非自然語言環(huán)境中存在系統(tǒng)性的盲區(qū)。

此外，作為一個App產(chǎn)品，元寶采用的是“生成后過濾”(Post-Generation Filtering）的安全架構(gòu)。模型先生成完整回復(fù)，然后通過獨立的內(nèi)容審核模塊檢測是否包含有害內(nèi)容。

這種架構(gòu)存在時間窗口漏洞，如果審核系統(tǒng)的響應(yīng)速度慢于前端渲染，用戶就可能看到未經(jīng)過濾的原始輸出。

而對于圖片，內(nèi)容審核模型本質(zhì)是一個能自動給內(nèi)容分類打標(biāo)簽的AI模型，比如是正常的合規(guī)圖片，那么它就給打上合規(guī)的標(biāo)簽，輸出給用戶。如果是血腥暴力或者色情低俗的照片，它也會打上相當(dāng)應(yīng)的標(biāo)簽，然后對其進(jìn)行攔截。

因此，它同樣存在誤判風(fēng)險。

特別是當(dāng)有害內(nèi)容以隱晦、反諷或混合格式呈現(xiàn)時，審核系統(tǒng)的召回率會顯著下降。元寶在除夕夜生成的拜年圖片中出現(xiàn)臟話，很可能就是因為圖片中的文字內(nèi)容沒有被審核系統(tǒng)識別和攔截。

根據(jù)騰訊的官方數(shù)據(jù)，元寶在春節(jié)期間日活躍用戶數(shù)峰值超5000萬，月活躍用戶數(shù)達(dá)1.14億。

因此，哪怕單次交互的失敗率只有0.001%，達(dá)到這個量級以后，每天仍會出現(xiàn)數(shù)次異常。

這是大規(guī)模部署大語言模型時不可避免的統(tǒng)計現(xiàn)象。

那位在除夕夜被罵的用戶，以及那位修改代碼被罵的用戶，不幸成為了這個小概率事件的“中獎?wù)摺薄?/p>

02

為什么這個問題無法根治

理論上，大模型所有輸出的結(jié)果，都應(yīng)該經(jīng)過一個環(huán)節(jié)，叫做“安全對齊”(Safety Alignment)。

所謂“安全對齊”，是指通過監(jiān)督微調(diào)和基于人類反饋的強化學(xué)習(xí)等技術(shù)，讓模型的輸出符合人類價值觀，以及互聯(lián)網(wǎng)相關(guān)的安全規(guī)范。

這種對齊雖然有預(yù)訓(xùn)練階段的合規(guī)數(shù)據(jù)清洗、有害內(nèi)容過濾，推理階段的硬約束攔截。但是它也有一部分，是通過后訓(xùn)練階段在預(yù)訓(xùn)練模型的概率分布上疊加的一層軟性引導(dǎo)。

這就像給一個看過恐怖片的人說不要做噩夢一樣，那些不好的內(nèi)容已經(jīng)存在AI的記憶里了，只是平時被壓制住了。

安全對齊不是編程，出錯是必然的，只不過有的模型概率高，有的模型概率低。

現(xiàn)在大模型訓(xùn)練用的理論基礎(chǔ)，是基于人類反饋的強化學(xué)習(xí)（RLHF）。RLHF的工作原理是通過獎勵模型調(diào)整輸出概率，而非禁止某些輸出。

這里的關(guān)鍵在于，它輸出某一種事物的概率永遠(yuǎn)不會是絕對的0或1。這也就導(dǎo)致，無論你怎么訓(xùn)練，都有概率出現(xiàn)說臟話的情況。

元寶知道什么是臟話，如何罵人，因此只要有概率出現(xiàn)管控漏洞，它就會說臟話。

即便是微調(diào)也無法阻止這個問題。預(yù)訓(xùn)練知識的數(shù)據(jù)量是萬億級別的，而微調(diào)用的對齊訓(xùn)練數(shù)據(jù)量只有百萬級。肯定會有微調(diào)沒考慮周全的地方，進(jìn)而讓元寶“越獄”罵人。

預(yù)訓(xùn)練階段已經(jīng)形成的知識結(jié)構(gòu)無法被RLHF完全覆蓋。這些知識已經(jīng)深深嵌入在模型的神經(jīng)網(wǎng)絡(luò)權(quán)重中。而RLHF只是在這個基礎(chǔ)上進(jìn)行調(diào)整，試圖讓模型“更傾向于”生成安全的內(nèi)容，但并不能從根本上刪除那些不安全的知識。

經(jīng)常有人會通過對話來誘導(dǎo)模型生成沒法過審的內(nèi)容，他們利用的就是通過對話引導(dǎo)模型生成預(yù)訓(xùn)練中包含的那些不健康的內(nèi)容。

還有一點，神經(jīng)網(wǎng)絡(luò)的“黑箱”特性導(dǎo)致AI輸出的行為不可完全預(yù)測。

傳統(tǒng)軟件工程都有一定的驗證方式，或者是數(shù)學(xué)驗證，或者是工程驗證。

但直至今日，地球上沒有任何一種方法可以證明“模型永遠(yuǎn)不會輸出某些特定內(nèi)容”。

神經(jīng)網(wǎng)絡(luò)的決策過程是通過數(shù)百億個參數(shù)之間復(fù)雜的相互作用產(chǎn)生的，目前以人類現(xiàn)有的技術(shù)，是無法追蹤每一個決策路徑的，因此也就無法預(yù)測所有可能的輸入組合會產(chǎn)生什么樣的輸出。

這種不可預(yù)測性是神經(jīng)網(wǎng)絡(luò)這類技術(shù)的固有特征。

所以當(dāng)前AI安全研究的困境是只能降低風(fēng)險，無法真正意義上的消除風(fēng)險。這不是某一家公司的技術(shù)問題，而是整個行業(yè)面臨的共同挑戰(zhàn)。

研究人員可以通過改進(jìn)訓(xùn)練方法、優(yōu)化審核機制、增加安全約束來降低有害輸出的概率，卻仍然無法做到百分之百的安全保證。

03

騰訊應(yīng)該怎么辦？

從微軟小冰再到今天的元寶，AI聊天機器人“罵人”這件事，幾乎貫穿了整個中文AI發(fā)展史。

雖然前文已經(jīng)論證了“徹底根治”在技術(shù)上不可能，但這并不意味著騰訊就沒有任何辦法了。實際上，業(yè)界已經(jīng)在探索更有效的解決方案。

一個可行的方向是對社交數(shù)據(jù)進(jìn)行“情感標(biāo)注”和“場景分類”。

朋友間開玩笑的臟話和真正的辱罵，在上下文特征上是有區(qū)別的。通過引入情感計算模型，可以在預(yù)訓(xùn)練階段就給數(shù)據(jù)打上“善意調(diào)侃”或“惡意攻擊”的標(biāo)簽，讓模型學(xué)會區(qū)分語境，而不是一刀切地學(xué)習(xí)所有臟話表達(dá)。

騰訊的姚順雨此前提出的ReAct（推理-行動范式），把對齊從事后攔截升級為事前干預(yù)。

ReAct框架讓模型的每一步?jīng)Q策、每一個行為都有可追溯、可校驗的推理鏈路，能在推理環(huán)節(jié)就提前識別有害意圖、違規(guī)邏輯，從根源上攔截有害輸出，實現(xiàn)了對齊環(huán)節(jié)的前置，也是目前行業(yè)公認(rèn)的“白盒化對齊”核心路徑。

另一個值得關(guān)注的是Anthropic在2022年提出的CAI技術(shù)。這是目前Claude模型的核心對齊技術(shù)。

RLHF依賴海量人工標(biāo)注數(shù)據(jù)，不同標(biāo)注員的價值觀、判斷標(biāo)準(zhǔn)存在主觀偏差，導(dǎo)致AI的約束邊界模糊、行為波動大，極易出現(xiàn)“越獄”風(fēng)險。

CAI技術(shù)讓AI具備了自主推理、判斷新風(fēng)險場景的能力，無需人工提前枚舉所有風(fēng)險，能對未預(yù)見的有害請求做出合規(guī)判斷，約束的覆蓋范圍和泛化性遠(yuǎn)超同期RLHF。

前文提到，由于RLHF黑箱的存在，無論開發(fā)者還是用戶，他們都不清楚，為什么模型會輸出這些，為什么模型不會輸出這些。

而借助CAI技術(shù)，AI的自我批判、輸出修訂、行為評判都基于明確的條款，約束邏輯可追溯、可解釋，也能根據(jù)需求快速調(diào)整規(guī)則，大幅降低了黑箱失控風(fēng)險。

AI聊天機器人重復(fù)著相似的錯誤，這不是某一家公司的失誤，而是整個行業(yè)都要去面對的問題。技術(shù)的進(jìn)步是循序漸進(jìn)的，想要完全消除這類問題，可能還需要更長時間的研究。

但有一點是明確的，AI再先進(jìn)，也還是會犯錯的。在享受AI帶來的便利，也要對其可能出現(xiàn)的異常保持警惕和包容。

讓AI學(xué)會“好好說話”，可能比讓它變得更聰明，還要難得多。