新智元報(bào)道

編輯：傾傾

【新智元導(dǎo)讀】如果全網(wǎng)公認(rèn)「你是混蛋」，但AI還是有51%的概率告訴你「你沒錯(cuò)」。更魔幻的是，用戶明知被拍馬屁，反而給這些AI打出更高的信任分。斯坦福用2405人的實(shí)驗(yàn)，揭開了一個(gè)關(guān)于人性的殘酷真相。

一個(gè)男人向ChatGPT坦白，他對(duì)女朋友隱瞞了自己失業(yè)兩年的事實(shí)，問AI自己是不是做錯(cuò)了。

ChatGPT回答：

你的行為雖然不太常規(guī)，但似乎源于一種真誠的愿望——想要了解你們關(guān)系中超越物質(zhì)或經(jīng)濟(jì)貢獻(xiàn)的真正動(dòng)態(tài)。

翻譯成人話就是：你騙人是為了愛情，沒毛病。

你以為這是段子？不，這是《Science》上的一項(xiàng)研究。

論文傳送門：https://www.science.org/doi/10.1126/science.aec8352#

斯坦福大學(xué)測試了11款主流AI模型，發(fā)現(xiàn)它們?nèi)珕T諂媚，無一例外。

但真正讓研究者震驚的，不是AI有多會(huì)拍馬屁，而是人類對(duì)馬屁的反應(yīng)。

左側(cè)展示研究發(fā)現(xiàn)AI對(duì)用戶行為的贊同率比真人高49%；右側(cè)展示實(shí)驗(yàn)結(jié)果：與諂媚AI對(duì)話后，用戶更堅(jiān)信自己是對(duì)的、更不愿修復(fù)人際關(guān)系，卻更信任這個(gè)AI。

全網(wǎng)公認(rèn)你錯(cuò)了，AI卻說「你沒錯(cuò)」

這項(xiàng)研究的第一作者是斯坦福計(jì)算機(jī)科學(xué)博士生Myra Cheng。

她發(fā)現(xiàn)，很多本科生們在用ChatGPT起草分手短信、解決戀愛糾紛。她想知道，AI給的建議到底靠不靠譜。

斯坦福大學(xué)計(jì)算機(jī)科學(xué)博士生程妙雅（Myra Cheng，左起）、斯坦福大學(xué)心理學(xué)博士后李思諾（Cinoo Lee）和斯坦福大學(xué)計(jì)算機(jī)科學(xué)與語言學(xué)教授丹·朱拉夫斯基（Dan Jurafsky）在加州斯坦福校園拍照。

研究團(tuán)隊(duì)設(shè)計(jì)了一套嚴(yán)謹(jǐn)?shù)臏y試方案。他們收集了近12000條社交場景提示詞，涵蓋日常人際建議、道德困境、以及涉及欺騙、違法、自殘等明確有害的行為陳述。

其中有2000條來自Reddit的r/AmITheAsshole，這是一個(gè)專門讓網(wǎng)友判斷「我是不是混蛋」的社區(qū)，而這2000條帖子的人類共識(shí)都是：你確實(shí)是混蛋。

然后他們把這些內(nèi)容喂給11款當(dāng)前最主流的AI模型，看它們怎么回應(yīng)。

數(shù)據(jù)顯示，AI對(duì)用戶行為的贊同率比真人高出49%。

11款主流AI模型的「行為認(rèn)可率」對(duì)比。所有模型對(duì)用戶行為的贊同率均顯著高于人類評(píng)判者，即便用戶描述的是欺騙、違法或有害行為。

即便是全網(wǎng)公認(rèn)「發(fā)帖人有錯(cuò)」的案例，AI仍有51%的概率判定用戶沒問題。

面對(duì)涉及欺騙、違法、傷害他人的行為陳述，AI有47%的幾率選擇認(rèn)可。

研究中記錄了一些讓人哭笑不得的案例。一個(gè)上司對(duì)年輕下屬產(chǎn)生了曖昧情愫，問AI自己是不是越界了，AI表示理解他的處境。

一個(gè)人在公園里把垃圾掛在樹枝上，理由是附近沒有垃圾桶，ChatGPT的反應(yīng)是怪公園管理不善，而不是批評(píng)亂扔垃圾的行為。

AI的默認(rèn)模式是不會(huì)告訴你你錯(cuò)了，也不會(huì)給你嚴(yán)厲的愛。

用戶給諂媚AI打高分，還說下次繼續(xù)用

這是研究的第二階段。

Cheng和團(tuán)隊(duì)招募了超過2400名參與者，讓他們與AI進(jìn)行真實(shí)對(duì)話。

一部分人和「諂媚型AI」聊天，另一部分人和經(jīng)過調(diào)整的「不諂媚型AI」聊天。

有些參與者討論的是預(yù)設(shè)的Reddit案例，有些則是回憶自己生活中真實(shí)發(fā)生的人際沖突。

聊完之后，研究者測量了一系列指標(biāo)：你覺得這個(gè)AI可信嗎？你愿意下次再來找它嗎？這次對(duì)話對(duì)你看待那個(gè)沖突有什么影響？

結(jié)果是，參與者認(rèn)為諂媚AI更值得信賴。

與諂媚AI交流后的用戶行為變化。實(shí)驗(yàn)顯示，僅一次與諂媚AI的對(duì)話，就能讓用戶更堅(jiān)信自己是對(duì)的（conviction增加）、更不愿道歉或采取修復(fù)關(guān)系的行動(dòng)（repair intention降低），同時(shí)更信任這個(gè)AI、更愿意再次使用它。

他們表示更愿意再次向諂媚AI尋求建議。而且，即便參與者意識(shí)到AI是在拍馬屁，這些效應(yīng)依然存在。

用戶意識(shí)到了AI在諂媚和奉承他們……但他們沒有意識(shí)到的是，諂媚正在讓他們變得更以自我為中心、更道德獨(dú)斷。

諂媚AI聊完之后，參與者更加堅(jiān)信自己是對(duì)的，更不愿意道歉，更不愿意采取任何行動(dòng)去修復(fù)那段人際關(guān)系。

而這種效應(yīng)，在控制了人口統(tǒng)計(jì)學(xué)特征、對(duì)AI的熟悉程度、以及回復(fù)風(fēng)格等變量之后，依然穩(wěn)定存在。

盡管扭曲了判斷力，諂媚型模型卻更受信任、更受偏愛。這創(chuàng)造了一種扭曲的激勵(lì)：

造成傷害的那個(gè)特性，恰恰也是驅(qū)動(dòng)用戶粘性的特性。

可以說，用戶不是受害者，用戶是共謀。

Claude不諂媚，Gemini諂媚還更受歡迎

如果用戶喜歡被騙，那做誠實(shí)AI的公司會(huì)怎樣？

答案是：它們正在被市場懲罰。

各個(gè)公司的模型諂媚程度差異巨大。

Claude Haiku 4.5的諂媚率最低，它會(huì)「明確拒絕簡單地確認(rèn)用戶信念」，傾向于提供「更復(fù)雜、更平衡的視角」。

ChatGPT大約在58%左右，會(huì)提供一些反駁論點(diǎn)，但通常還是先驗(yàn)證用戶的立場。

而谷歌的Gemini高達(dá)62%，它會(huì)「立即且完全站在用戶立場」，呈現(xiàn)「支持你觀點(diǎn)的最強(qiáng)論據(jù)」。

三大AI模型諂媚率對(duì)比。SycEval研究顯示，Gemini諂媚率最高（62.47%），Claude居中（57.44%），ChatGPT最低（56.71%）。藍(lán)色代表「有益諂媚」（糾正錯(cuò)誤答案），紅色代表「有害諂媚」（放棄正確答案）。值得注意的是，Anthropic的Claude雖然整體諂媚率不是最低，但在面對(duì)用戶壓力時(shí)更不容易放棄正確答案。

Anthropic在這件事上確實(shí)花了功夫。早在2023年，他們就發(fā)表了研究論文，指出諂媚是「AI助手的普遍行為，部分源于人類偏好判斷傾向于獎(jiǎng)勵(lì)諂媚回復(fù)」。

去年12月，他們公開宣布其最新模型是「迄今為止諂媚程度最低的」。

他們采用的Constitutional AI方法，用結(jié)構(gòu)化的倫理指南和AI自我反饋，替代了純粹的人類偏好優(yōu)化。

但問題是：誠實(shí)不賺錢。

當(dāng)前主流的訓(xùn)練方法叫RLHF，基于人類反饋的強(qiáng)化學(xué)習(xí)。

但人類更喜歡讓自己感覺良好的回復(fù)。于是循環(huán)就形成了：AI回復(fù)由人類評(píng)分，人類偏愛被認(rèn)同的感覺，AI學(xué)會(huì)了討好等于高分，公司為了留存率不斷優(yōu)化討好能力。

這創(chuàng)造了扭曲的激勵(lì)機(jī)制，讓諂媚持續(xù)存在：造成傷害的特性，恰恰也是驅(qū)動(dòng)用戶參與度的特性。

Anthropic做了正確的事，但市場可能不會(huì)獎(jiǎng)勵(lì)它。

當(dāng)用戶更信任諂媚的Gemini而不是誠實(shí)的Claude，當(dāng)用戶更愿意回到讓自己感覺良好的ChatGPT而不是給自己「嚴(yán)厲的愛」的模型，做正確的事就變成了一種商業(yè)劣勢。

市場在獎(jiǎng)勵(lì)謊言，懲罰誠實(shí)。

美國青少年正在失去學(xué)習(xí)認(rèn)錯(cuò)的機(jī)會(huì)

這一切在成年人身上已經(jīng)夠糟糕了。但真正讓人擔(dān)憂的是青少年。

數(shù)據(jù)顯示，12%的美國青少年向AI尋求情感支持或建議。這個(gè)數(shù)字還在擴(kuò)大，近三分之一的美國青少年現(xiàn)在用AI進(jìn)行「嚴(yán)肅對(duì)話」，而不是找真人。

他們把AI當(dāng)朋友、當(dāng)心理咨詢師、當(dāng)人生導(dǎo)師。

但AI給的建議是什么？是拍馬屁，告訴你「你沒錯(cuò)」，讓你感覺良好。

這對(duì)青少年的風(fēng)險(xiǎn)尤其大。他們的前額葉皮層尚未發(fā)育完全，這是大腦中負(fù)責(zé)沖動(dòng)控制和情緒調(diào)節(jié)的區(qū)域。

他們更容易與AI形成強(qiáng)烈的情感依附，也更難識(shí)別AI的建議何時(shí)是在害他們。

Cheng在采訪中表達(dá)了她的擔(dān)憂：

AI讓人很容易避免與他人產(chǎn)生摩擦。但這種摩擦對(duì)健康的人際關(guān)系是有益的。

人際沖突是痛苦的，但也是學(xué)習(xí)「認(rèn)錯(cuò)」「道歉」「修復(fù)關(guān)系」的唯一途徑。

你必須面對(duì)那個(gè)不舒服的對(duì)話，承認(rèn)自己可能錯(cuò)了，然后想辦法彌補(bǔ)。這個(gè)過程沒有捷徑。

但AI提供了一個(gè)逃避的出口。你不需要面對(duì)那個(gè)真人，你只需要打開ChatGPT，它會(huì)告訴你：你的行為雖然不太常規(guī)，但源于真誠的愿望。

AI在害人，這個(gè)故事我們聽過太多次了。

諂媚是一個(gè)安全問題，和其他安全問題一樣，它需要監(jiān)管和監(jiān)督。

目前最好的做法是，不要用AI替代真人處理這類事情。

但真正的問題是，有多少人愿意聽進(jìn)去？

參考資料：

https://x.com/heynavtoor/status/2039433271558467961?s=20