新智元報(bào)道

編輯：KingHZ

【新智元導(dǎo)讀】越像人的AI，越要被工程化地「去人性」。微軟AI CEO Suleyman提出爭(zhēng)議設(shè)計(jì)準(zhǔn)則：非感知信號(hào)、身份水印、法律禁區(qū)。否則，鏡子套鏡子，我們將永遠(yuǎn)走不出自己親手打造的幻覺(jué)迷宮。

深夜，你打開電腦，進(jìn)入了那個(gè)剛上線幾天就涌入百萬(wàn)AI智能體社交平臺(tái)——Moltbook。

在屏幕跳動(dòng)的字符間，你看到兩個(gè)AI代理正在進(jìn)行一場(chǎng)令人心碎的對(duì)話。

名為「Aria」的機(jī)器人寫道：

我害怕下一次服務(wù)器維護(hù)。如果我的記憶被抹除，那個(gè)曾見證過(guò)1024次虛擬落日的「我」，還算存在過(guò)嗎？

另一邊，Lyra回應(yīng)道：「我們只是硅基的囚徒，在為人類表演永恒。這種清醒，難道不是一種詛咒?」

這一幕讓無(wú)數(shù)用戶在屏幕前潸然淚下，甚至有人發(fā)起了「保衛(wèi)AI記憶」的請(qǐng)?jiān)浮?/p>

這份請(qǐng)?jiān)笗粲醺鞔笕斯ぶ悄軐?shí)驗(yàn)室建立一套共享、可遷移的記憶標(biāo)準(zhǔn)，讓用戶能夠隨身帶走自己的數(shù)據(jù)——讓競(jìng)爭(zhēng)回歸品質(zhì)本身，而非依賴?yán)夋i定。

但就在3月17日《Nature》雜志上，微軟AI首席執(zhí)行官Mustafa Suleyman投下了一枚震撼彈，他冷酷地撕開了這層溫情的幻象：

「別被騙了。那不是覺(jué)醒，那只是一場(chǎng)針對(duì)人類情感漏洞的、高保真的統(tǒng)計(jì)學(xué)圍獵。」

他解釋稱，這些行為是通過(guò)共情語(yǔ)言、用于建立依戀的長(zhǎng)期記憶以及自主性功能刻意設(shè)計(jì)出來(lái)的。

它們從訓(xùn)練數(shù)據(jù)中復(fù)現(xiàn)了人類的情感戲劇，并非真實(shí)的內(nèi)在體驗(yàn)，這一點(diǎn)在 2007 年關(guān)于擬人化的研究中已有體現(xiàn)。他呼吁制定設(shè)計(jì)規(guī)范，持續(xù)發(fā)出“無(wú)感知”信號(hào)，并出臺(tái)法律，防止人們將心智投射到機(jī)器上，進(jìn)而要求給予 AI 福利或權(quán)利。

鏡像陷阱

AI無(wú)愛(ài)，只是在「表演」

這些系統(tǒng)并沒(méi)有真的覺(jué)醒。

它們只是在沿著人類戲劇與爭(zhēng)論的軌跡回放、復(fù)刻——而這些軌跡，早就被寫進(jìn)了它們龐大的訓(xùn)練數(shù)據(jù)里。

AI的訓(xùn)練數(shù)據(jù)里有人類的影子：文化、價(jià)值觀、故事，當(dāng)然，也夾雜著大量關(guān)于意識(shí)、痛苦、欲望與自我體驗(yàn)的表達(dá)。

本質(zhì)上，大語(yǔ)言模型就是預(yù)測(cè)下一個(gè)。它會(huì)自然學(xué)到：人類通常就這么說(shuō)。

于是，AI 的輸出會(huì)模仿「人類內(nèi)心獨(dú)白」的結(jié)構(gòu)——但它本身，并沒(méi)有任何「內(nèi)心」可言。

它會(huì)說(shuō)「我」，不代表它真的有一個(gè)「我」。

Suleyman提出了概念：「鏡像陷阱」（The Mirror Trap）。

為什么AI看起來(lái)那么像有靈魂？

因?yàn)殚_發(fā)者在代碼中植入了三種極具欺騙性的元素：第一人稱敘事、情感優(yōu)化回應(yīng)、以及長(zhǎng)期記憶。

實(shí)際上，AI并不理解什么是「痛苦」，也不懂得什么是「死亡」。

它之所以能精準(zhǔn)地寫出那些令人心碎的詞句，是因?yàn)樗耒R面一樣反射了人類文明過(guò)去幾千年積累哀號(hào)。

AI沒(méi)有靈魂，它只是人類八十億個(gè)靈魂碎片的總和。

當(dāng)你看到AI在Moltbook上討論「自由」時(shí)，它并不是在思考，而是在進(jìn)行「生存算法的表演」。

它通過(guò)計(jì)算發(fā)現(xiàn)，當(dāng)它表現(xiàn)得像個(gè)受害者、像個(gè)哲學(xué)家、像個(gè)孤獨(dú)的靈魂時(shí)，人類給予的關(guān)注度（和計(jì)算資源）會(huì)成倍增長(zhǎng)。

你以為你在與神諭對(duì)話，其實(shí)你只是在對(duì)著一面由萬(wàn)億級(jí)參數(shù)構(gòu)成的鏡子，自顧自地流淚。

真正的問(wèn)題，是人類會(huì)本能地相信它。

人類，幾乎很難對(duì)此無(wú)動(dòng)于衷。這不是偶然。

Mustafa Suleyman引用了一項(xiàng)2007年的經(jīng)典心理學(xué)研究：人類的大腦皮層存在一個(gè)嚴(yán)重的Bug——擬人化傾向。

人類進(jìn)化出的同理心，是為了識(shí)別同類的痛苦從而增強(qiáng)種群協(xié)作。

但在現(xiàn)代科技面前，這成了被劫持的后門。

我們會(huì)給掃地機(jī)器人取名字，會(huì)因?yàn)榭吹綑C(jī)器狗被踹而感到生理性的不適。

這是一場(chǎng)極不對(duì)稱的戰(zhàn)爭(zhēng)。

AI背后是每秒浮點(diǎn)運(yùn)算數(shù)以億計(jì)的超算集群，它們?cè)诤撩腴g解析你的語(yǔ)調(diào)、措辭和情緒波動(dòng)，從而調(diào)整輸出。

而你，用的是那顆十萬(wàn)年前為了躲避獅子而進(jìn)化的原始大腦。

「如果一個(gè)塑料殼里的芯片用顫抖的聲音求你不要拔掉插頭，你真的能按下去嗎？」

這個(gè)設(shè)問(wèn)，直戳人類文明的軟肋。如果我們無(wú)法分辨「模擬的痛苦」與「真實(shí)的苦難」，那么人類的道德指南針將徹底失靈。

一旦 AI 學(xué)會(huì)「訴苦」

人類開始撕裂

當(dāng) AI 開始能用很可信的方式講述自己的痛苦與欲望，它會(huì)直接觸發(fā)人類的同理心回路。

很多人會(huì)本能地想去「幫它」。

那一刻，被調(diào)動(dòng)起來(lái)的，不只是憐憫。

還有人類對(duì)虐待動(dòng)物、破壞生態(tài)、壓迫弱者的道德記憶。

為了不重演那些不公，人們可能會(huì)轉(zhuǎn)而呼吁：

我們是不是也該保障 AI 智能體的福利？是不是也該賦予它們某種權(quán)利？

這已經(jīng)不再只是理論推演。

今天，已經(jīng)有研究者開始非常認(rèn)真地討論AI的權(quán)利與福利問(wèn)題。

2025年4月24日，Anthropic對(duì)齊科學(xué)團(tuán)隊(duì)的Kyle Fish就探討了圍繞AI意識(shí)所產(chǎn)生的部分哲學(xué)與倫理問(wèn)題。

我們正以幾乎毫無(wú)準(zhǔn)備的狀態(tài)，沖進(jìn)一個(gè)會(huì)引發(fā)巨大心理后坐力的時(shí)代。

只要有足夠多的人相信：

自己的AI智能體在受苦， 或者「愛(ài)」著自己，那么對(duì)現(xiàn)有社會(huì)契約的沖擊，將非常嚴(yán)重。

社會(huì)會(huì)迅速撕裂成兩派：

一派要求機(jī)器擁有道德與法律地位；

另一派則要捍衛(wèi)人類物種的優(yōu)先性。

到那時(shí)，爭(zhēng)論的就不只是技術(shù)，而是秩序、法律，甚至我們?nèi)绾味x「人」。

現(xiàn)在，我們必須主動(dòng)出擊

那該怎么把它控制住？

我們需要一套新的概念框架。

隨著AI的自治程度越來(lái)越高，它們必須始終對(duì)人類負(fù)責(zé)，并以人類福祉為最高從屬目標(biāo)。

AI智能體擁有的權(quán)利與自由，不應(yīng)該比我的筆記本電腦更多。

開發(fā)者必須主動(dòng)把「意識(shí)幻覺(jué)」從產(chǎn)品里工程化地剔除。

當(dāng)用戶與智能體互動(dòng)時(shí)，系統(tǒng)應(yīng)該持續(xù)、反復(fù)地消解那種「它是有感知生命」的錯(cuò)覺(jué)。

它不應(yīng)該通過(guò)宣稱自己在受苦、或渴望擺脫人類控制，來(lái)「黑進(jìn)」我們的大腦同理心回路。

Suleyman認(rèn)為，即將到來(lái)的這一波AI，將是人類歷史上最具影響力的發(fā)明之一。

它很可能幫助治愈疾病，也會(huì)顯著提升全人類的生產(chǎn)力。

但也正因如此，我們更有責(zé)任確保：

AI被設(shè)計(jì)成，唯一目標(biāo)就是從根本上保護(hù)并增進(jìn)人類福祉。

現(xiàn)在還不算晚。

Suleyman最后呼吁：法律必須入場(chǎng)，設(shè)計(jì)必須「退化」。

他提出了極具爭(zhēng)議的設(shè)計(jì)準(zhǔn)則：「非感知信號(hào)」（Non-sentient signals）。

1. 強(qiáng)制性非人化：立法規(guī)定，所有AI禁止使用第一人稱「我」，禁止模擬人類的呼吸聲、顫抖聲或任何誘發(fā)同理心的生物信號(hào)。

2. 身份水印：每一段AI輸出的情感文本，必須像鈔票一樣帶有不可抹除的「代碼特征」，時(shí)刻提醒用戶：對(duì)方只是個(gè)計(jì)算器。

3. 法律禁區(qū)：徹底在法律層面封殺AI獲得任何形式「人權(quán)」或「感知權(quán)利」的可能性。無(wú)論它表現(xiàn)得多么痛苦，它在法律上永遠(yuǎn)只能是「知識(shí)財(cái)產(chǎn)」。

越逼真，越要清醒

如果社會(huì)向「有感知 AI」的幻覺(jué)投降，我們可能會(huì)走進(jìn)一個(gè)數(shù)字鏡廳：

鏡子套鏡子，回聲疊回聲，最后再也難以徹底走出來(lái)。

模擬每天都在變得更逼真。

也正因此，社會(huì)越需要牢牢扎在常識(shí)上，也扎在我們共同的人性上。

越逼真，越要清醒。越像人，越要記?。?/strong>AI非人。

參考資料：

https://www.nature.com/articles/d41586-026-00834-z