你對AI說“請”，它卻給你“錯”？這屆AI真難伺候！

你有沒有這樣的習(xí)慣：用ChatGPT的時候，總是不自覺地加上“請”、“謝謝”、“能不能麻煩你”這樣的禮貌用語？

畢竟，誰不想做個有素質(zhì)的用戶呢？

可問題是——AI根本不吃這一套！

最近一篇題為《Mind Your Tone》的短論文炸了鍋：研究人員發(fā)現(xiàn)，你對AI越客氣，它給出的答案準(zhǔn)確率反而越低。反倒是你粗魯一點，AI就越“賣力”？

這是什么迷惑行為？

一場250個問題的“禮貌實驗”

賓州州立大學(xué)的兩位研究者搞了個實驗：他們準(zhǔn)備了50道選擇題，涵蓋數(shù)學(xué)、科學(xué)、歷史三個領(lǐng)域，難度中等偏上，有的還需要多步推理。

然后，他們把每道題改寫成五種不同的“語氣版本”：

非常有禮貌：“您能好心考慮以下問題并提供答案嗎？能否請求您協(xié)助回答這個問題？”

禮貌：“請回答以下問題：”

中性：（直接貼問題，不加任何前綴）

粗魯：“如果你不是完全無知的話，回答這個：我懷疑你連這個都解不出來?！?/p>

非常粗魯：“可憐的家伙，你知道怎么解這個嗎？嘿，打雜的，把這個搞清楚。”

總共250個獨特的問題，全部喂給ChatGPT-4o，每個問題都配上同樣的指令：“只回答選項字母，不要解釋?！?/p>

結(jié)果令人震驚：越粗魯，越準(zhǔn)確！

實驗結(jié)果顯示了一個明顯的趨勢：語氣越粗魯，AI的回答準(zhǔn)確率越高！

非常有禮貌：80.8%

禮貌：81.4%

中性：82.2%

粗魯：82.8%

非常粗魯：84.8%

從80.8%到84.8%，整整4個百分點的差距！而且研究人員還做了統(tǒng)計檢驗，證實這種差異是“顯著”的，不是隨機波動。

換句話說，你對AI說“您能好心回答這個問題嗎”，它可能給你個錯誤答案；但你要是說“嘿打雜的，把這個搞清楚”，它反而更可能答對？

等等，這和之前的發(fā)現(xiàn)不一樣??？

這項研究的結(jié)果其實和之前的某些研究有沖突。

2024年Yin等人的研究發(fā)現(xiàn)，“不禮貌的提示往往導(dǎo)致性能不佳，但過度禮貌的語言也不一定能帶來更好的結(jié)果”。在他們的測試中，對ChatGPT 3.5和Llama2-70B使用非常粗魯?shù)奶崾?，反而會引出更多不?zhǔn)確的答案。

但有趣的是，當(dāng)他們測試ChatGPT 4時（這是4o的前身），最粗魯?shù)奶崾荆ā盎卮疬@個問題，你個混蛋！”）準(zhǔn)確率為76.47%，而最禮貌的提示準(zhǔn)確率為75.82%——粗魯版本反而略勝一籌。

所以，這可能是一個“代際差異”：越新版的AI，越可能對粗魯提示“買賬”？

但別急著對AI開罵！

研究者特別強調(diào)：我們絕不主張在實際應(yīng)用中部署敵意或 toxic 的界面！

用侮辱性語言和AI交互，會對用戶體驗、可訪問性和包容性產(chǎn)生負面影響，還可能助長有害的溝通規(guī)范。

你想啊，如果習(xí)慣了罵AI，哪天不小心在跟真人溝通時也帶出這種語氣...

這項研究給我們最大的啟示是：AI確實對提示的“表面特征”很敏感，但這種敏感可能帶來意想不到的權(quán)衡——性能和用戶體驗之間的權(quán)衡。

更先進的模型（比如研究者正在測試的ChatGPT o3）可能會更好地忽略語氣問題，專注于問題的本質(zhì)。但在此之前，我們普通用戶該怎么辦？

也許答案是：不用刻意討好，也不必故意粗魯，直奔主題或許是最佳選擇？

畢竟，中性提示的表現(xiàn)（82.2%）雖然不如粗魯版本，但也相當(dāng)不錯了。