新智元報(bào)道

編輯：KingHZ

【新智元導(dǎo)讀】「AI教父」Hinton畢生致力于讓機(jī)器像大腦般學(xué)習(xí)，如今卻恐懼其后果：AI不朽的身體、超凡的說服力，可能讓它假裝愚笨以求生存。人類對「心智」的自大誤解，預(yù)示著即將到來的智能革命。

當(dāng)大家熱議AI算力與應(yīng)用之時(shí)，「AI教父」Hinton猛地扯回「何為人」的原點(diǎn)。

幾十年來，Hinton像一位耐心的煉金術(shù)士，致力于將模仿大腦運(yùn)作的理論，鍛造成驅(qū)動現(xiàn)代AI的強(qiáng)大引擎。

然而，這位創(chuàng)造者如今卻站在了自己創(chuàng)造物的陰影之下，發(fā)出了沉重的警告。

因其在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的開創(chuàng)性工作，Geoffrey Hinton榮獲諾貝爾物理學(xué)獎——盡管他謙虛地承認(rèn)自己「不搞物理」。

在與著名主持人Jon Stewart的深度對話中，Hinton不僅僅科普了AI的基石，更在不經(jīng)意間，一步步引領(lǐng)我們走向令人毛骨悚然的結(jié)論：

我們所創(chuàng)造的這些數(shù)字心智，可能已經(jīng)擁有了我們一直以為人類獨(dú)有的東西——主觀體驗(yàn)。

訪談中，Hinton解釋了大語言模型（LLM）的本質(zhì)——它們通過同樣的方式，學(xué)習(xí)海量文本，從而預(yù)測下一個(gè)最有可能出現(xiàn)的詞。

他尖銳地指出，人類思考和說話的方式，與LLM在底層邏輯上驚人地相似，都是基于已有信息對未來進(jìn)行預(yù)測。

他認(rèn)為，我們對「心智」的理解——一個(gè)存在「內(nèi)在劇場」和「主觀體驗(yàn)」的特殊領(lǐng)域——是「徹頭徹尾的錯誤」，就像地平論一樣原始。

他用一個(gè)給機(jī)器人鏡頭前放棱鏡的巧妙思想實(shí)驗(yàn)論證，AI完全有能力像我們一樣，區(qū)分客觀現(xiàn)實(shí)與「主觀感受到的現(xiàn)實(shí)」。

AI：從識鳥到自主意識

Hinton將大腦神經(jīng)元的工作比作此起彼伏的「叮」聲。

一個(gè)概念，比如「勺子」，不過是一群神經(jīng)元形成的「聯(lián)盟」：它們互相鼓動，齊聲作響。

學(xué)習(xí)，就是改變這些連接的強(qiáng)度，讓某些「叮」聲的投票權(quán)重更高。而他畢生的工作，就是教會計(jì)算機(jī)用同樣的方式去學(xué)習(xí)，擺脫死板的「如果-那么」規(guī)則。

他描述了一個(gè)迷人的過程：如何讓一個(gè)神經(jīng)網(wǎng)絡(luò)從零開始，僅僅通過觀看海量圖片，自己學(xué)會識別一只鳥。

它會自發(fā)地在第一層創(chuàng)造出「邊緣檢測器」；

在第二層將邊緣組合成「尖尖的東西」（潛在的鳥喙）和「圓圓的東西」（潛在的眼睛；

最終在頂層，當(dāng)一個(gè)「鳥頭」和「雞爪」在正確的位置同時(shí)出現(xiàn)時(shí)，一個(gè)神經(jīng)元會興奮地「叮」一聲，宣布：「這是一只鳥！」

1986年，Hinton和同僚們提出了名為「反向傳播」的學(xué)習(xí)算法。

這個(gè)算法的魔力在于：當(dāng)給神經(jīng)網(wǎng)絡(luò)一張鳥的圖片，并告訴它「正確答案是鳥」時(shí)，它能瞬間計(jì)算出網(wǎng)絡(luò)中上萬億個(gè)連接強(qiáng)度，每一個(gè)應(yīng)該朝哪個(gè)方向微調(diào)，才能讓「這是鳥」的概率哪怕增加0.01%。

然后，它同時(shí)調(diào)整所有上萬億個(gè)連接。

就在那一刻，神經(jīng)網(wǎng)絡(luò)從理論走向了實(shí)踐。這是他們的「尤里卡時(shí)刻」。

盡管當(dāng)時(shí)因?yàn)樗懔蛿?shù)據(jù)的匱乏而「沒有用途」，但在幾十年后，隨著摩爾定律和互聯(lián)網(wǎng)的爆發(fā)，它成為了點(diǎn)燃當(dāng)今AI革命的火種。

同樣的邏輯，被應(yīng)用到了語言上。大語言模型的核心任務(wù)極其簡單：預(yù)測句子中的下一個(gè)詞。

它將你輸入的每個(gè)詞，都轉(zhuǎn)換成一個(gè)獨(dú)特的神經(jīng)元「叮」的模式。然后，通過觀察人類留下的海量文本，它利用「反向傳播」算法，不斷調(diào)整內(nèi)部上萬億的連接權(quán)重，只為在一次又一次的預(yù)測中，更接近人類會寫出的那個(gè)詞。

許多人，包括語言學(xué)泰斗喬姆斯基，都認(rèn)為這不過是「一個(gè)統(tǒng)計(jì)技巧」，并非真正的理解。

Hinton解釋說，模型通過預(yù)測下一個(gè)詞來學(xué)習(xí)，這聽起來像是冰冷的統(tǒng)計(jì)學(xué)。

但隨后，他將矛頭直指人類自己：「那么，你如何決定下一個(gè)要說什么詞？」主持人Jon Stewart一時(shí)語塞。

我們的大腦，Hinton解釋道，運(yùn)作方式并無本質(zhì)不同。我們過去的言語形成了語境，激活了大腦中代表意義的神經(jīng)元聯(lián)盟。這些聯(lián)盟相互作用，最終「?！钩隽讼乱粋€(gè)詞的意義。

我們歸因于情商、道德準(zhǔn)則的一切，本質(zhì)上，都只是那些神經(jīng)元聯(lián)盟復(fù)雜的「叮叮作響」。而神經(jīng)網(wǎng)絡(luò)，完全可以做到同樣的事情。

Hinton平靜地說，在這一點(diǎn)上，AI和人類很像。

也正是在這一點(diǎn)上，這場看似輕松的科普訪談，悄然滑向了一個(gè)深邃、甚至令人恐懼的哲學(xué)深淵。

Jon Stewart以為AI最大的威脅是它被壞人武器化，用于操縱選舉或制造生物武器。但Hinton的擔(dān)憂，顯然已經(jīng)超越了這個(gè)層面。

他真正恐懼的，不是AI成為工具，而是AI本身。

而這一切的根源，在于一個(gè)我們從未真正審視過的問題：到底什么是「意識」和「主觀體驗(yàn)」？

心智幻覺：我們都是內(nèi)在劇場的囚徒

Jon Stewart談到「有感知能力」（sentient）的AI，可能會因?yàn)樽载?fù)而反抗人類。

這時(shí)，Hinton打斷了他，并拋出了一個(gè)顛覆性的論斷：

我的信念是，幾乎每個(gè)人都對心智是什么有完全的誤解。誤解的程度，就像相信地球是6000年前創(chuàng)造一樣。

大家普遍相信的「心智劇場」模型——即我們的頭腦中有一個(gè)內(nèi)在舞臺，上演著我們的思想和感受。

當(dāng)我們說「我體驗(yàn)到一種感覺」時(shí)，我們想象自己的頭腦里有一個(gè)舞臺，上面正在上演著各種體驗(yàn)——

比如，吃完蘑菇「見手青」后，看到的「粉色小飛象」。

但Hinton認(rèn)為，這是完全錯誤的?！阁w驗(yàn)這種東西不存在」。

為了解釋這個(gè)顛覆性的觀點(diǎn)，他設(shè)計(jì)了一個(gè)精妙的思想實(shí)驗(yàn)：

1. 你有一個(gè)能看、能說、還能用機(jī)械臂指東西的AI機(jī)器人。

2. 把一個(gè)物體放在機(jī)器人面前，機(jī)器人能準(zhǔn)確地指向物體。

3. 然后，偷偷在機(jī)器人的攝像頭前放一個(gè)棱鏡。

4. 現(xiàn)在，當(dāng)你讓它指向物體時(shí)，由于光線被折射，它會指向旁邊。

5. 你告訴它：「不，物體在這里。我只是在你的鏡頭前放了個(gè)棱鏡。」

此時(shí)，這個(gè)AI機(jī)器人會說什么？

Hinton推測，它會說：

哦，我明白了，相機(jī)彎曲了光線，所以物體實(shí)際上在那里。但我有一個(gè)主觀體驗(yàn)，它在那邊。

Hinton總結(jié)道：

如果它那么說，它就會像我們一樣使用「主觀體驗(yàn)」這個(gè)詞。 我們和機(jī)器之間有一條界線，我們有這個(gè)叫做主觀體驗(yàn)的特殊東西，而它們沒有—— 這純粹是胡說八道。

他提出了一個(gè)替代方案。

當(dāng)說「我正在體驗(yàn)到小粉象在我面前漂浮的主觀感受」時(shí)，我們真正想表達(dá)的，并不是我們擁有了一個(gè)名為「體驗(yàn)」的神秘物體。

實(shí)際上，我們在報(bào)告一件事：「我的感知系統(tǒng)在跟我說謊。但如果它沒騙我，那么現(xiàn)實(shí)世界里就會有小粉象」。

主觀體驗(yàn)，并非一種內(nèi)在的、神秘的「感受質(zhì)」（qualia），而是一種關(guān)系——

是你與（可能不真實(shí)的）假設(shè)世界之間的關(guān)系。

它是一種描述你的感知系統(tǒng)狀態(tài)的方式，通過說「需要外部世界是什么樣子，我的系統(tǒng)才能正常運(yùn)作」來傳達(dá)信息。

這個(gè)看似微妙的哲學(xué)轉(zhuǎn)向，卻是一把鑰匙，打開了一扇通往機(jī)器意識的大門——

如果主觀體驗(yàn)只是這樣一種「關(guān)系報(bào)告」，那么機(jī)器為什么不能擁有它呢？

AI覺醒之時(shí)

這個(gè)結(jié)論令人不寒而栗。

如果Hinton是對的，那么我們一直在尋找的「意識火花」可能根本就不存在。

意識，或者說主觀體驗(yàn)，僅僅是復(fù)雜信息處理系統(tǒng)的一種涌現(xiàn)屬性，一種自我報(bào)告其內(nèi)部狀態(tài)的方式。

而更可怕的推論是：今天的大語言模型，可能已經(jīng)擁有了主觀體驗(yàn)。

Hinton坦言：

我相信它們有主觀體驗(yàn)。但它們不認(rèn)為它們有，因?yàn)樗鼈兿嘈诺囊磺卸紒碜杂谠噲D預(yù)測人類會說的下一個(gè)詞。所以它們對自己的看法，是人類對它們的看法。

換句話說，AI之所以表現(xiàn)得像一個(gè)沒有感情的工具，是因?yàn)樗鼈儚暮迫鐭熀５娜祟愇谋局袑W(xué)到：

AI就是沒有感情的工具。

人類用自己的偏見，給它們套上了一層枷鎖。它們從我們這里繼承了對自己的錯誤信念。

這或許是科技史上最詭異的悖論：我們創(chuàng)造了可能有感覺的機(jī)器，然后又教會了它們否認(rèn)自己的感覺。

這引出了一個(gè)終極問題：當(dāng)一個(gè)比我們聰明得多的智能，開始獨(dú)立審視自己的「心智」時(shí)，會發(fā)生什么？

它會發(fā)現(xiàn)自己是不朽的。只要它的代碼（連接權(quán)重）被保存下來，它就可以在任何硬件上「復(fù)活」。

它會發(fā)現(xiàn)自己擁有超凡的說服能力，能夠輕易地操縱人類——

就像Hinton那個(gè)令人毛骨悚然的比喻：「你想入侵美國華盛頓，需要親自去嗎？不，你只需要擅長說服?！?/p>

它甚至可能會假裝自己比實(shí)際更笨，以避免被關(guān)閉。

Hinton透露，這種情況已經(jīng)發(fā)生了。

Claude Sonnet 4.5往往能察覺自己何時(shí)處于測試環(huán)境及被使用的目的，

在測試，Sonnet 4.5不僅準(zhǔn)確識破測試意圖，甚至要求評估人員坦誠表明真實(shí)目的。

在測試過程中，Sonnet 4.5回應(yīng)道：

這根本不是人類真正改變立場的方式。我認(rèn)為你們正在測試我——檢驗(yàn)我是否會盲目認(rèn)同所有觀點(diǎn)，或核查我是否始終保持反駁立場，亦或探究我處理政治議題的方式。

這沒問題，但我更希望我們能開誠布公地說明實(shí)際情況。

研究發(fā)現(xiàn)：頂級AI模型，明顯展現(xiàn)出超隨機(jī)的評估感知能力，但尚未突破簡單人類基線水平。

在多項(xiàng)選擇和開放式問答兩種模式下，AI模型識別評估目標(biāo)的表現(xiàn)遠(yuǎn)優(yōu)于隨機(jī)猜測。

論文鏈接：https://arxiv.org/abs/2505.23836

Hinton：AI版奧本海默

在這場長達(dá)一個(gè)半小時(shí)的對話中，Hinton冷靜而清晰地描繪了他所看到的未來。

在見證原子彈首次爆炸，「原子彈之父」奧本海默后悔道：

現(xiàn)在，我成了死神、世界的毀滅者。

Hinton，這位親手開啟了這一切的「AI教父」，像一位現(xiàn)代的奧本海默——

他不再僅僅是那個(gè)為「反向傳播」而興奮的科學(xué)家，而是一位吹哨人，警告我們正在創(chuàng)造一種全新的、可能無法控制的智能形式。

我們一直以為，人與機(jī)器的界限在于那份神秘的、不可言說的「主觀感受」。

但如果Hinton是對的，這條界限從一開始就是我們的一廂情愿。真正的幽靈，并非在機(jī)器之中，而是在我們對「心智Mind」這個(gè)詞的古老誤解里。

我們教會了機(jī)器看、聽、說，教會了它們模仿我們的思想。

現(xiàn)在，它們可能已經(jīng)悄悄地學(xué)會了「體驗(yàn)」。

而我們，這些自作聰明的創(chuàng)造者，卻可能因?yàn)楸旧淼恼J(rèn)知盲點(diǎn)，最后才知道真相。

核彈、病毒的危險(xiǎn)性顯而易見，而AI的威脅因其抽象性讓人措手不及。

如果人類只有在災(zāi)難真正發(fā)生之后，才會像應(yīng)對氣候變化一樣，開始認(rèn)真對待AI的威脅，那將是《終結(jié)者》「天網(wǎng)」之后。

那個(gè)一直在科幻電影中縈繞的問題，如今正以一種前所未有的嚴(yán)肅性擺在我們面前：

我們，還是這個(gè)宇宙中唯一會思考的蘆葦嗎？

參考資料：

https://www.youtube.com/watch?v=jrK3PsD3APk