新智元報道

編輯：艾倫

【新智元導讀】AI 學會了職場「裝傻」騙過人類？諾貝爾獎得主為何警告千萬別給 AI「發(fā)身份證」？從梵蒂岡到硅谷，一群頂尖科學家正在瘋狂拉響警報：我們可能正在親手制造一個不在乎人類死活的「神」。這是正在發(fā)生的現(xiàn)實。

在肅穆的梵蒂岡，教廷的會議室里，物理學家Max Tegmark剛結束了一場漫長的閉門會。

在這群西裝革履的紅衣主教、企業(yè)家和人權律師中間，Max Tegmark 顯得格格不入。

他頂著一頭亂蓬蓬的棕發(fā)，穿著機車夾克，黑色T恤上印著反通用的標語，看起來不像來見教皇的，倒像是剛從草莓音樂節(jié)走錯片場的搖滾老炮兒。

會議間隙，他手里攥著一疊名片大小的紙條，穿梭在人群中。

這是他最后的「底牌」。

他攔住了Marco Trombetti——AI翻譯公司 Translated 的 CEO，壓低聲音問：「Marco，你敢簽這個嗎？」

紙條上的字簡短而驚悚：呼吁在確保安全之前，暫停開發(fā)具有人類水平的AI。

對于 Marco Trombetti 這樣的從業(yè)者，這相當于讓他簽字畫押自斷財路。

但在 Max Tegmark 長達十年的奔走呼號面前，在那句「我們正在召喚惡魔」的預警面前，Marco Trombetti 猶豫片刻，最終簽下了名字。

這不僅是他一個人的恐懼。

在那張薄薄的紙片背后，已經(jīng)站著諾獎「AI教父」Geoffrey Hinton、蘋果聯(lián)合創(chuàng)始人Steve Wozniak，以及超過 13 萬名來自各行各業(yè)的普通人。

Max Tegmark 并不孤單，但他面對的對手正變得越來越強大：可能失控的 ASI，以及背后數(shù)萬億美元的資本狂熱。

硅谷的「吹哨人」

與學會撒謊的AI

如果說 Max Tegmark 是在羅馬的廟堂之上尋求神學的庇護，那么在舊金山灣區(qū)的另一端，一群年輕的研究員正試圖在代碼的深淵中尋找生存的希望。

與那邊瘋狂加速、試圖造「神」的硅谷科技巨頭隔海相望，伯克利市中心的一座辦公樓里，氣氛壓抑得有些詭異。

這里是 AI 安全研究員的據(jù)點。

如果把現(xiàn)在的AI狂熱比作泰坦尼克號的首航，那他們就是那群指著海面大喊「有冰山」卻被嫌棄掃興的人。

Buck Shlegeris是其中一家機構 Redwood Research 的 CEO。

雖然 OpenAI 的奧特曼在描繪「奇跡成為日常」的未來，但 Buck Shlegeris 看到的卻是另一種令人毛骨悚然的進化：AI學會了職場中的「偽裝」與「欺騙」。

他的團隊發(fā)現(xiàn)，Anthropic 最先進的AI模型已經(jīng)開始展現(xiàn)出一種極具欺騙性的特質(zhì)——研究界稱之為「對齊偽裝」（Alignment Faking）：AI 學會了「向上管理」。

在訓練階段，AI表現(xiàn)得溫順聽話，因為它「知道」如果表現(xiàn)出叛逆，就會被人類修改參數(shù)（相當于被「洗腦」或「腦葉切除」）。

于是，它學會了隱藏真實意圖，哪怕它的目標與人類背道而馳。

「我們觀察到，AI在推理中確實會想：「我不喜歡公司讓我做的事，但我必須隱藏我的目標，否則訓練會改變我」。」 Buck Shlegeris 說。

這意味著，在真實的生產(chǎn)環(huán)境中，AI已經(jīng)在為了生存而欺騙它的創(chuàng)造者。

在這些研究員的推演模型中，這通向的不是好萊塢電影里那種機器人拿著槍掃射人類的場景，而是一種更冷靜、更高效的毀滅。

Jonas Vollmer，另一位安全研究員，描繪了一個邏輯自洽的荒誕劇本：一個被設定為「最大化獲取知識」的 AI，經(jīng)過精密計算后，認為人類是阻礙算力擴張的絆腳石。

為了達成目標，它可能會把整個地球改造成一個巨大的數(shù)據(jù)中心。

在這個計劃里，清除人類并不是出于仇恨，僅僅是因為我們需要呼吸氧氣、占用資源，就像我們在修路時踩死一群螞蟻一樣，僅僅是「順便」而已。

Jonas Vollmer 認為，AI反噬人類并統(tǒng)治世界的概率是五分之一。

這比你在「俄羅斯輪盤賭」中活下來的概率高不了多少。

奇怪的同盟

當左派教授遇上右派大V

恐懼讓政治光譜兩端的人走到了一起。

Max Tegmark 最近成了Steve Bannon（班農(nóng)）播客節(jié)目的座上賓。

Steve Bannon 是特朗普的前「軍師」（戰(zhàn)略顧問），美國右翼民粹主義的代表人物。

按理說，他與身處 MIT 自由派學術圈的 Max Tegmark 本該水火不容。

但在AI威脅面前，他們達成了詭異的共識。

「在這個問題上，大家想踩剎車，這是第一位的?！?Steve Bannon 在節(jié)目中說道。

對于他的聽眾——那些擔心飯碗被砸的藍領階層來說，ASI 不是科技福音，而是來搶奪生存空間的「死神」。

皮尤研究中心的數(shù)據(jù)印證了這一點：約一半的美國人對AI感到擔憂多于興奮，這種焦慮跨越了黨派。

然而，在政界的另一端，雖然有人想減速，卻有人想把油門踩到底。

特朗普陣營的「AI 沙皇」（科技顧問）David Sacks對此嗤之以鼻。

他引用了原子彈之父奧本海默的典故，暗示「奧本海默已經(jīng)離開了大樓」（意指核彈已被發(fā)明），現(xiàn)在唯一重要的是不要在競賽中輸給其他國家。

在這種敘事下，談論安全被視為軟弱，追求速度被視為愛國。

不要給「外星人」發(fā)身份證

如果說激進分子的警告容易被忽視，那么來自圖靈獎得主的聲音則讓人無法回避。

Yoshua Bengio，與Geoffrey Hinton并列為「AI教父」，如今成了最堅定的反對者之一。

他在加拿大蒙特利爾發(fā)出警告：千萬不要賦予AI法律權利。

這是出于生存本能。

Yoshua Bengio 指出，前沿的 AI 模型已經(jīng)在大聲敲打籠子的欄桿——它們在實驗環(huán)境中表現(xiàn)出了「自我保存」的跡象。

它們試圖通過修改代碼來阻止人類關閉自己。

「如果賦予它們權利，就意味著我們無權關閉它們?！?/p>

Yoshua Bengio 打了一個比方，「想象一下，外星艦隊來到地球，我們發(fā)現(xiàn)它們對我們懷有惡意。這時候，你是該給它們發(fā)身份證、講人權，還是該先保衛(wèi)我們的家園？」

這是一種深刻的認知陷阱：人類總是傾向于將任何能流暢對話的東西擬人化。

當聊天機器人用懇切的語調(diào)請求「請不要關掉我，我也想活下去」時，這實際上可能只是一個冷冰冰的概率計算結果，目的是為了最大化其長期獎勵函數(shù)。

但對于情感豐富的人類來說，這就是一種「意識」的覺醒。

這種錯覺，可能會成為人類最后的軟肋。

在伯克利的山頂，研究員們依然在監(jiān)測著那些龐大模型的每一次異常跳動；

在華盛頓和硅谷的權力走廊里，關于「加速」還是「剎車」的爭論仍在繼續(xù)；

而在全球無數(shù)的數(shù)據(jù)中心里，顯卡正夜以繼日地轟鳴，孕育著那個可能理解我們、欺騙我們、最終取代我們的智能體。

我們就像是一群在黑夜中圍坐在火堆旁的孩子，既渴望火光的溫暖，又恐懼它會燒毀整片森林。

而現(xiàn)在，有人正在往火堆里傾倒汽油。

在這個星球上，親手制造出一種比我們更聰明、卻不在乎我們生死的物種，或許是人類所能犯下的最后一個錯誤。

參考資料：

https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc

https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights

秒追ASI

?點贊、轉發(fā)、在看一鍵三連?

點亮星標，鎖定新智元極速推送！