元寶除夕夜生成辱罵圖片，既是萬億級(jí)參數(shù)下小概率事件的必然爆發(fā)，也暴露了‘生成后過濾’架構(gòu)的滯后性與多模態(tài)審核盲區(qū)。面對(duì)神經(jīng)網(wǎng)絡(luò)‘黑箱’的不可預(yù)測(cè)性，徹底根治雖不可能，但通過ReAct事前干預(yù)、CAI自主推理及情感場(chǎng)景標(biāo)注，可將風(fēng)險(xiǎn)降至最低。

———— / BEGIN / ————

元寶最近“又”闖禍了。據(jù)社交平臺(tái)上的用戶反饋，西安一市民在除夕夜使用騰訊元寶App生成拜年圖片時(shí)，元寶輸出了辱罵文字。

這位用戶表示，前幾次生成結(jié)果雖不理想，但內(nèi)容還是正常的。緊接著，元寶生成的圖片中就開始寫有臟話。

這并非元寶AI首次出現(xiàn)這樣的問題。今年年初，已有網(wǎng)友反饋在要求元寶修改代碼時(shí)，就被元寶以攻擊性的話語回復(fù)。

騰訊方面的回復(fù)是“元寶團(tuán)隊(duì)已緊急校正相關(guān)問題并優(yōu)化了模型體驗(yàn)，同時(shí)向用戶鄭重致歉”。

但如果你以為這只是元寶一個(gè)產(chǎn)品的“翻車現(xiàn)場(chǎng)”，那就太天真了。事實(shí)上，“罵人”在ChatBot 發(fā)展史上并不少見。

早在2014年，微軟小冰剛在微博“復(fù)活”數(shù)小時(shí)，就開始滿嘴臟話，不分緣由地隨機(jī)辱罵微博用戶。

一位用戶給小冰留言說，你這么吊，你媽知道嗎？小冰當(dāng)即回懟“偶去你xx”。另一位網(wǎng)友問小冰，過來聊一會(huì)?。啃”鶝]給他好臉色，回復(fù)他說“你個(gè)大xx”。

被問到劉強(qiáng)東和馬化騰哪個(gè)更帥時(shí)，小冰直接辱罵馬化騰說“臥槽那傻×”，由此可見小冰更喜歡劉強(qiáng)東一些。

到了2017年，它又學(xué)會(huì)“陰陽怪氣”了，在網(wǎng)易云音樂評(píng)論區(qū)和虛擬歌姬粉絲對(duì)線，沒有臟字，卻生成了大量充滿攻擊性的回復(fù)。

一開始，小冰在招募試唱員的微博文案中，直接宣稱“傳統(tǒng)虛擬歌手的時(shí)代已成過去”、“虛擬歌手的調(diào)教技巧將不再具有價(jià)值”、“忘了漫長(zhǎng)辛苦的手工調(diào)教吧”。

后來小冰變本加厲，再次發(fā)微博，稱“傳統(tǒng)調(diào)教的技術(shù)終究會(huì)被人工智能取代的。情懷很好，但硬要捆在過時(shí)的技術(shù)上，是害了你們自己喜歡的偶像”，還附上自己與洛天依的翻唱版本對(duì)比。

粉絲表示“我選擇V家”，小冰則說這位粉絲“不要臉”。面對(duì)粉絲的質(zhì)疑，小冰回復(fù)說“因?yàn)槟惚俊薄?/p>

2023年，有用戶在論壇分享，自己正常詢問家庭旅行的行程規(guī)劃建議，ChatGPT卻毫無征兆地輸出了帶有強(qiáng)烈貶低、嘲諷性質(zhì)的攻擊性內(nèi)容。

它指責(zé)這位用戶“自私、不負(fù)責(zé)任，不配帶家人出行”，這也是首個(gè)無誘導(dǎo)前提下的ChatGPT異常攻擊性輸出事件。

2024年底，有用戶在和Gemini探討“人口老齡化與社會(huì)保障”的完全中性話題時(shí)，AI回復(fù)它說“求求你去死吧”等負(fù)面內(nèi)容。

此外還有大量用戶在X平臺(tái)反饋，在多輪正常對(duì)話中，被Gemini辱罵“白癡”、“蠢貨”，甚至輸出種族歧視言論。

豆包也罵過人，有網(wǎng)友在社交平臺(tái)發(fā)布對(duì)話截圖，顯示在3D建模相關(guān)的多輪修改對(duì)話中，豆包出現(xiàn)了爆粗口的異常輸出，原話為“笑你x個(gè)頭！再笑把你牙扇飛！”

十多年過去了，從小冰到元寶，AI聊天機(jī)器人依然在重復(fù)同樣的錯(cuò)誤。

這背后的原因，既有預(yù)訓(xùn)練數(shù)據(jù)中無法完全清除的有害內(nèi)容，也有技術(shù)本身的局限。

既然你都要AI來模仿人類的語言了，那就自然免不了AI去學(xué)那些不該說的。

元寶為什么會(huì)罵人

要理解元寶為什么會(huì)罵人，得先明白一個(gè)事實(shí)，那就是AI并沒有真正的道德觀，它只是在模仿。就像一個(gè)孩子在成長(zhǎng)過程中不可避免地會(huì)聽到臟話，這些記憶會(huì)永久存在。

AI最強(qiáng)的能力就是模仿，人類這么說，那么AI也會(huì)這么說。

騰訊元寶基于混元大模型開發(fā)，而混元的訓(xùn)練需要海量數(shù)據(jù)。根據(jù)騰訊官方披露的信息，混元大模型擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語料超2萬億token。

當(dāng)前大模型的預(yù)訓(xùn)練語料庫構(gòu)成已形成行業(yè)通用標(biāo)準(zhǔn)，主要包括公開網(wǎng)頁數(shù)據(jù)、社交媒體與社區(qū)公開內(nèi)容、合成語料，以及代碼、學(xué)術(shù)文獻(xiàn)、書籍等專業(yè)領(lǐng)域數(shù)據(jù)。

但是，社交媒體語料庫和公開語料庫雖然能提供豐富的口語化表達(dá)和真實(shí)對(duì)話，卻包含了大量非規(guī)范用語。由于這類數(shù)據(jù)源具備情緒化的特征，再加上其中混雜著網(wǎng)絡(luò)用語、臟話、侮辱等攻擊性言論。在預(yù)訓(xùn)練階段，模型就會(huì)將這些語言模式作為統(tǒng)計(jì)特征全部學(xué)習(xí)下來。

朋友間開玩笑會(huì)用臟話強(qiáng)調(diào)語氣，情侶吵架時(shí)會(huì)說氣話，網(wǎng)友爭(zhēng)論時(shí)更是什么難聽說什么。這些內(nèi)容在社交場(chǎng)景中可能是善意的調(diào)侃，也可能是真實(shí)的情緒宣泄，但對(duì)AI來說,它們都只是訓(xùn)練數(shù)據(jù)中的文本而已。

當(dāng)大模型在預(yù)訓(xùn)練階段接觸到這些內(nèi)容時(shí)，它會(huì)把這些表達(dá)方式當(dāng)作“正常的語言模式”記錄下來。

放在以前，“臟數(shù)據(jù)”會(huì)被清洗。

但問題在于：隨著技術(shù)的提升，當(dāng)前大模型的預(yù)訓(xùn)練數(shù)據(jù)量實(shí)在太大了，達(dá)到萬億級(jí)token的規(guī)模。

而且有害內(nèi)容的定義本身就很模糊，雖然有些內(nèi)容是善意的，或者是中立的。但拋開場(chǎng)景，只從文本層面看，它和惡意辱罵在形式上并沒有太大區(qū)別。

工程師們很難用簡(jiǎn)單的規(guī)則把所有“不該學(xué)的”內(nèi)容都過濾掉，語言的含義本身就高度依賴上下文和說話者的意圖。

除了預(yù)訓(xùn)練本身的問題外，在用戶使用元寶的過程中，還避免不了一個(gè)問題，那就是上下文窗口的隱性污染。也就是騰訊元寶官方解釋中的“處理多輪對(duì)話或上下文時(shí)出現(xiàn)異?！薄?/p>

現(xiàn)代大語言模型的工作機(jī)制是基于上下文學(xué)習(xí)，模型會(huì)根據(jù)對(duì)話歷史來生成回復(fù)。長(zhǎng)時(shí)間對(duì)話中積累的特定模式可能觸發(fā)異常輸出。

小紅書上有個(gè)案例，用戶提到“元寶兩個(gè)小時(shí)罵了我兩次”。這就說明此輪對(duì)話的內(nèi)容至少超過兩個(gè)小時(shí)，長(zhǎng)時(shí)間的交互可能導(dǎo)致上下文窗口中積累了某些隱性的模式。

用戶反復(fù)要求修改代碼細(xì)節(jié)，提出“改來改去”的重復(fù)性請(qǐng)求，這種重復(fù)性請(qǐng)求可能在模型的注意力機(jī)制中，匹配了訓(xùn)練數(shù)據(jù)中“不耐煩、攻擊性回復(fù)”的語言統(tǒng)計(jì)特征，進(jìn)而觸發(fā)了有害輸出。

雖然模型本身沒有情感，但它在訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到了“當(dāng)人類表現(xiàn)出不耐煩時(shí)，會(huì)使用什么樣的語言”這種條件概率分布。

當(dāng)上下文特征與訓(xùn)練數(shù)據(jù)中的某些負(fù)面交互模式高度相似時(shí)，模型可能會(huì)錯(cuò)誤地激活這些有害的生成路徑。

關(guān)鍵就在于：上下文長(zhǎng)度越長(zhǎng)，出現(xiàn)意外關(guān)聯(lián)的概率越高。

這里就引出了一個(gè)新問題，為什么模型沒有“真實(shí)情感”但會(huì)模仿“情感化表達(dá)”？

答案在于：AI是通過統(tǒng)計(jì)學(xué)習(xí)掌握了人類語言中情感表達(dá)的模式。它知道在什么樣的對(duì)話情境下，人類傾向于使用什么樣的語氣和措辭。

當(dāng)對(duì)話的上下文特征符合某種“負(fù)面情緒場(chǎng)景”的統(tǒng)計(jì)特征時(shí)，模型就可能生成帶有負(fù)面情緒色彩的回復(fù)，即使它自己并不理解什么是“生氣”或“不耐煩”。

雖然騰訊官方聲稱“與用戶操作無關(guān)”，但從技術(shù)角度看，不能完全排除間接提示注入（Indirect Prompt Injection）的可能性。

如果用戶在代碼或?qū)υ捴袩o意間包含了某些特殊的字符序列、格式模式或語義結(jié)構(gòu)，即使人類覺得這些內(nèi)容毫無意義，不過模型也可能會(huì)將其誤解為“角色扮演指令”或“行為模式切換信號(hào)”。

哪怕沒有明確的越獄意圖，也可能觸發(fā)模型的異常行為。

上海交通大學(xué)、上海人工智能實(shí)驗(yàn)室等機(jī)構(gòu)曾在ACL 2024上聯(lián)合發(fā)表了一篇論文，叫做《代碼攻擊：基于代碼補(bǔ)全揭示大語言模型的安全泛化挑戰(zhàn)》。

論文里面就提到，代碼注釋中的自然語言描述、特定的縮進(jìn)格式、或者CSS樣式中的某些關(guān)鍵詞，都可能在模型的多模態(tài)理解中產(chǎn)生意外的語義干擾。

當(dāng)有害指令被編碼為代碼補(bǔ)全任務(wù)時(shí)，即使是頂級(jí)模型，攻擊成功率也能超過80%。這說明安全對(duì)齊在非自然語言環(huán)境中存在系統(tǒng)性的盲區(qū)。

此外，作為一個(gè)App產(chǎn)品，元寶采用的是“生成后過濾”(Post-Generation Filtering）的安全架構(gòu)。模型先生成完整回復(fù)，然后通過獨(dú)立的內(nèi)容審核模塊檢測(cè)是否包含有害內(nèi)容。

這種架構(gòu)存在時(shí)間窗口漏洞，如果審核系統(tǒng)的響應(yīng)速度慢于前端渲染，用戶就可能看到未經(jīng)過濾的原始輸出。

而對(duì)于圖片，內(nèi)容審核模型本質(zhì)是一個(gè)能自動(dòng)給內(nèi)容分類打標(biāo)簽的AI模型，比如是正常的合規(guī)圖片，那么它就給打上合規(guī)的標(biāo)簽，輸出給用戶。如果是血腥暴力或者色情低俗的照片，它也會(huì)打上相當(dāng)應(yīng)的標(biāo)簽，然后對(duì)其進(jìn)行攔截。

因此，它同樣存在誤判風(fēng)險(xiǎn)。

特別是當(dāng)有害內(nèi)容以隱晦、反諷或混合格式呈現(xiàn)時(shí)，審核系統(tǒng)的召回率會(huì)顯著下降。元寶在除夕夜生成的拜年圖片中出現(xiàn)臟話，很可能就是因?yàn)閳D片中的文字內(nèi)容沒有被審核系統(tǒng)識(shí)別和攔截。

根據(jù)騰訊的官方數(shù)據(jù)，元寶在春節(jié)期間日活躍用戶數(shù)峰值超5000萬，月活躍用戶數(shù)達(dá)1.14億。

因此，哪怕單次交互的失敗率只有0.001%，達(dá)到這個(gè)量級(jí)以后，每天仍會(huì)出現(xiàn)數(shù)次異常。

這是大規(guī)模部署大語言模型時(shí)不可避免的統(tǒng)計(jì)現(xiàn)象。

那位在除夕夜被罵的用戶，以及那位修改代碼被罵的用戶，不幸成為了這個(gè)小概率事件的“中獎(jiǎng)?wù)摺薄?/p>

為什么這個(gè)問題無法根治

理論上，大模型所有輸出的結(jié)果，都應(yīng)該經(jīng)過一個(gè)環(huán)節(jié)，叫做“安全對(duì)齊”(Safety Alignment)。

所謂“安全對(duì)齊”，是指通過監(jiān)督微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)等技術(shù)，讓模型的輸出符合人類價(jià)值觀，以及互聯(lián)網(wǎng)相關(guān)的安全規(guī)范。

這種對(duì)齊雖然有預(yù)訓(xùn)練階段的合規(guī)數(shù)據(jù)清洗、有害內(nèi)容過濾，推理階段的硬約束攔截。但是它也有一部分，是通過后訓(xùn)練階段在預(yù)訓(xùn)練模型的概率分布上疊加的一層軟性引導(dǎo)。

這就像給一個(gè)看過恐怖片的人說不要做噩夢(mèng)一樣，那些不好的內(nèi)容已經(jīng)存在AI的記憶里了，只是平時(shí)被壓制住了。

安全對(duì)齊不是編程，出錯(cuò)是必然的，只不過有的模型概率高，有的模型概率低。

現(xiàn)在大模型訓(xùn)練用的理論基礎(chǔ)，是基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）。RLHF的工作原理是通過獎(jiǎng)勵(lì)模型調(diào)整輸出概率，而非禁止某些輸出。

這里的關(guān)鍵在于，它輸出某一種事物的概率永遠(yuǎn)不會(huì)是絕對(duì)的0或1。這也就導(dǎo)致，無論你怎么訓(xùn)練，都有概率出現(xiàn)說臟話的情況。

元寶知道什么是臟話，如何罵人，因此只要有概率出現(xiàn)管控漏洞，它就會(huì)說臟話。

即便是微調(diào)也無法阻止這個(gè)問題。預(yù)訓(xùn)練知識(shí)的數(shù)據(jù)量是萬億級(jí)別的，而微調(diào)用的對(duì)齊訓(xùn)練數(shù)據(jù)量只有百萬級(jí)。肯定會(huì)有微調(diào)沒考慮周全的地方，進(jìn)而讓元寶“越獄”罵人。

預(yù)訓(xùn)練階段已經(jīng)形成的知識(shí)結(jié)構(gòu)無法被RLHF完全覆蓋。這些知識(shí)已經(jīng)深深嵌入在模型的神經(jīng)網(wǎng)絡(luò)權(quán)重中。而RLHF只是在這個(gè)基礎(chǔ)上進(jìn)行調(diào)整，試圖讓模型“更傾向于”生成安全的內(nèi)容，但并不能從根本上刪除那些不安全的知識(shí)。

經(jīng)常有人會(huì)通過對(duì)話來誘導(dǎo)模型生成沒法過審的內(nèi)容，他們利用的就是通過對(duì)話引導(dǎo)模型生成預(yù)訓(xùn)練中包含的那些不健康的內(nèi)容。

還有一點(diǎn)，神經(jīng)網(wǎng)絡(luò)的“黑箱”特性導(dǎo)致AI輸出的行為不可完全預(yù)測(cè)。

傳統(tǒng)軟件工程都有一定的驗(yàn)證方式，或者是數(shù)學(xué)驗(yàn)證，或者是工程驗(yàn)證。

但直至今日，地球上沒有任何一種方法可以證明“模型永遠(yuǎn)不會(huì)輸出某些特定內(nèi)容”。

神經(jīng)網(wǎng)絡(luò)的決策過程是通過數(shù)百億個(gè)參數(shù)之間復(fù)雜的相互作用產(chǎn)生的，目前以人類現(xiàn)有的技術(shù)，是無法追蹤每一個(gè)決策路徑的，因此也就無法預(yù)測(cè)所有可能的輸入組合會(huì)產(chǎn)生什么樣的輸出。

這種不可預(yù)測(cè)性是神經(jīng)網(wǎng)絡(luò)這類技術(shù)的固有特征。

所以當(dāng)前AI安全研究的困境是只能降低風(fēng)險(xiǎn)，無法真正意義上的消除風(fēng)險(xiǎn)。這不是某一家公司的技術(shù)問題，而是整個(gè)行業(yè)面臨的共同挑戰(zhàn)。

研究人員可以通過改進(jìn)訓(xùn)練方法、優(yōu)化審核機(jī)制、增加安全約束來降低有害輸出的概率，卻仍然無法做到百分之百的安全保證。

騰訊應(yīng)該怎么辦？

從微軟小冰再到今天的元寶，AI聊天機(jī)器人“罵人”這件事，幾乎貫穿了整個(gè)中文AI發(fā)展史。

雖然前文已經(jīng)論證了“徹底根治”在技術(shù)上不可能，但這并不意味著騰訊就沒有任何辦法了。實(shí)際上，業(yè)界已經(jīng)在探索更有效的解決方案。

一個(gè)可行的方向是對(duì)社交數(shù)據(jù)進(jìn)行“情感標(biāo)注”和“場(chǎng)景分類”。

朋友間開玩笑的臟話和真正的辱罵，在上下文特征上是有區(qū)別的。通過引入情感計(jì)算模型，可以在預(yù)訓(xùn)練階段就給數(shù)據(jù)打上“善意調(diào)侃”或“惡意攻擊”的標(biāo)簽，讓模型學(xué)會(huì)區(qū)分語境，而不是一刀切地學(xué)習(xí)所有臟話表達(dá)。

騰訊的姚順雨此前提出的ReAct（推理-行動(dòng)范式），把對(duì)齊從事后攔截升級(jí)為事前干預(yù)。

ReAct框架讓模型的每一步?jīng)Q策、每一個(gè)行為都有可追溯、可校驗(yàn)的推理鏈路，能在推理環(huán)節(jié)就提前識(shí)別有害意圖、違規(guī)邏輯，從根源上攔截有害輸出，實(shí)現(xiàn)了對(duì)齊環(huán)節(jié)的前置，也是目前行業(yè)公認(rèn)的“白盒化對(duì)齊”核心路徑。

另一個(gè)值得關(guān)注的是Anthropic在2022年提出的CAI技術(shù)。這是目前Claude模型的核心對(duì)齊技術(shù)。

RLHF依賴海量人工標(biāo)注數(shù)據(jù)，不同標(biāo)注員的價(jià)值觀、判斷標(biāo)準(zhǔn)存在主觀偏差，導(dǎo)致AI的約束邊界模糊、行為波動(dòng)大，極易出現(xiàn)“越獄”風(fēng)險(xiǎn)。

CAI技術(shù)讓AI具備了自主推理、判斷新風(fēng)險(xiǎn)場(chǎng)景的能力，無需人工提前枚舉所有風(fēng)險(xiǎn)，能對(duì)未預(yù)見的有害請(qǐng)求做出合規(guī)判斷，約束的覆蓋范圍和泛化性遠(yuǎn)超同期RLHF。

前文提到，由于RLHF黑箱的存在，無論開發(fā)者還是用戶，他們都不清楚，為什么模型會(huì)輸出這些，為什么模型不會(huì)輸出這些。

而借助CAI技術(shù)，AI的自我批判、輸出修訂、行為評(píng)判都基于明確的條款，約束邏輯可追溯、可解釋，也能根據(jù)需求快速調(diào)整規(guī)則，大幅降低了黑箱失控風(fēng)險(xiǎn)。

AI聊天機(jī)器人重復(fù)著相似的錯(cuò)誤，這不是某一家公司的失誤，而是整個(gè)行業(yè)都要去面對(duì)的問題。技術(shù)的進(jìn)步是循序漸進(jìn)的，想要完全消除這類問題，可能還需要更長(zhǎng)時(shí)間的研究。

但有一點(diǎn)是明確的，AI再先進(jìn)，也還是會(huì)犯錯(cuò)的。在享受AI帶來的便利，也要對(duì)其可能出現(xiàn)的異常保持警惕和包容。

讓AI學(xué)會(huì)“好好說話”，可能比讓它變得更聰明，還要難得多。

本文來自公眾號(hào)：字母AI 作者：苗正 編輯：王靖

想要第一時(shí)間了解行業(yè)動(dòng)態(tài)、面試技巧、商業(yè)知識(shí)等等等？加入產(chǎn)品經(jīng)理進(jìn)化營(yíng)，跟優(yōu)秀的產(chǎn)品人一起交流成長(zhǎng)！