當(dāng)宇宙級(jí)的“嘴炮”遇到降維打擊。

編譯 | 王啟隆

來(lái)源 | youtu.be/l6ZcFa8pybE

出品丨AI 科技大本營(yíng)（ID：rgznai100）

打開(kāi)最新一期知名播客 StarTalk 的 YouTube 評(píng)論區(qū)，最高贊的一條留言是這樣寫(xiě)的：

“我長(zhǎng)這么大，第一次看到尼爾·德葛司·泰森（Neil deGrasse Tyson）在一檔節(jié)目里幾乎全程閉嘴，像個(gè)手足無(wú)措的小學(xué)生一樣乖乖聽(tīng)講?！?/blockquote>

作為全美最知名的天體物理學(xué)家，泰森平時(shí)的畫(huà)風(fēng)是充滿(mǎn)激情、喋喋不休、用宇宙的宏大來(lái)震撼嘉賓。但這一次，坐在他對(duì)面的那位滿(mǎn)頭銀發(fā)、帶著溫和英音的英國(guó)老人，僅僅用最平淡的語(yǔ)氣，就讓整個(gè)演播室陷入了數(shù)次令人窒息的沉默。

這位老人是 Geoffrey Hinton。深度學(xué)習(xí)三巨頭之一，2024 年諾貝爾物理學(xué)獎(jiǎng)得主，被公認(rèn)為“AI 教父”。

對(duì)經(jīng)常閱讀 Hinton 演講的我來(lái)說(shuō)，這也是比較新奇的一幕——嚴(yán)肅的老爺子從學(xué)術(shù)講堂來(lái)到了輕松的播客節(jié)目，展示了自己幽默的一面；而三個(gè)主持人則是認(rèn)真聽(tīng)講，全程吸收來(lái)自 Hinton 的干貨。

在長(zhǎng)達(dá)半個(gè)多小時(shí)的對(duì)話(huà)里，Hinton 沒(méi)有任何宏大敘事的激情演講，也沒(méi)有堆砌任何晦澀的數(shù)學(xué)公式。他只是像一個(gè)耐心的老爺爺，用橡皮筋、粉紅大象和瞎編故事的政客打比方，輕描淡寫(xiě)地把 AI 發(fā)展的底層邏輯剝了個(gè)底朝天。

很多觀眾看完后在下面留言：“Hinton 用 10 分鐘講清楚的反向傳播（Backpropagation），比我花四年讀完的計(jì)算機(jī)學(xué)位還要透徹”、“我是來(lái)聽(tīng)科普的，結(jié)果帶著一身冷汗退出了網(wǎng)頁(yè)”。

這絕對(duì)是近年來(lái)信息密度最高、也最讓人后背發(fā)涼的一場(chǎng) AI 對(duì)話(huà)。在深入閱讀萬(wàn)字實(shí)錄之前，我們?yōu)槟闾釤捔诉@場(chǎng)對(duì)話(huà)中幾個(gè)“顛覆常識(shí)”的核心論斷：

• AI 從來(lái)沒(méi)有“幻覺(jué)”，它只是在“虛構(gòu)”：別再嘲笑大模型胡說(shuō)八道了。Hinton 犀利地指出，人類(lèi)的大腦也根本不存儲(chǔ)事實(shí)，我們每天都在“腦補(bǔ)”記憶。AI 胡說(shuō)八道，恰恰證明它和人類(lèi)大腦的工作原理是一模一樣的。

• 反向傳播的本質(zhì)是“連坐”：如果 AI 認(rèn)錯(cuò)了一只鳥(niǎo)，它是怎么自我糾正的？Hinton 用一根“橡皮筋”的絕妙比喻，解釋了整個(gè)神經(jīng)網(wǎng)絡(luò)是如何層層追責(zé)、扣減權(quán)重的。

• 數(shù)字智能從根本上優(yōu)于生物智能：人類(lèi)最致命的弱點(diǎn)在于，當(dāng)你死去，你的知識(shí)就隨之消亡。而 AI 擁有上萬(wàn)個(gè)“分身”，只要一個(gè)分身學(xué)會(huì)了新知識(shí)，所有分身瞬間同步。這就是為什么 AI 超過(guò)人類(lèi)是不可逆的物理規(guī)律。

• AI 越獄根本不需要機(jī)器身體：當(dāng)主持人恐慌 AI 會(huì)不會(huì)掙脫控制時(shí)，Hinton 冷靜地回答：“它不需要長(zhǎng)出手腳。只要它學(xué)會(huì)了如何操縱、說(shuō)服人類(lèi)，它就能讓我們心甘情愿地替它干活?！?/p>

以下是這場(chǎng)硬核對(duì)談的完整中文實(shí)錄。

人類(lèi)曾經(jīng)走錯(cuò)了方向——邏輯與生物的決裂

Neil deGrasse Tyson (尼爾·泰森，天體物理學(xué)家，以下簡(jiǎn)稱(chēng)“尼爾”)：這里是《StarTalk》特別版！我是你們的個(gè)人天體物理學(xué)家，尼爾·德葛司·泰森。既然是特別版，那就意味著我們的老朋友、前職業(yè)足球運(yùn)動(dòng)員 Gary O'Reilly 今天也來(lái)了。Gary，最近好嗎？

Gary O'Reilly (加里·奧萊利，以下簡(jiǎn)稱(chēng)“加里”)：我很好，尼爾。

尼爾：當(dāng)然，還有我們的常駐喜劇演員 Chuck Nice！

Chuck Nice (查克·尼斯，以下簡(jiǎn)稱(chēng)“查克”)：能來(lái)這里總是很開(kāi)心！

尼爾：Gary，今天這個(gè)足以載入史冊(cè)的話(huà)題，是你和你的團(tuán)隊(duì)選的。

加里：是的，這是一個(gè)我們每天都在聽(tīng)、自以為很了解，但其實(shí)只是一知半解的話(huà)題。簡(jiǎn)單來(lái)說(shuō)，我們今天的主題是 AI（人工智能）。這是一次深度潛水。

尼爾：好吧，幾年前我們問(wèn)人們“AI 是怎么工作的？”大家會(huì)甩出一些聽(tīng)不懂的詞，比如“深度學(xué)習(xí)”、“神經(jīng)網(wǎng)絡(luò)”。這些成了裝點(diǎn)門(mén)面的流行語(yǔ)。人們知道這些詞，但根本不知道它們是什么意思。所以，我們今天要把 AI 掰開(kāi)揉碎了講。我們要一直追溯到這一切的源頭——AI 的奠基人之一。如果你準(zhǔn)備好了，請(qǐng)請(qǐng)出我們的嘉賓。

加里：我非常榮幸。今天和我們坐在一起的，是 Geoffrey Hinton 教授。Geoffrey，歡迎來(lái)到《StarTalk》。

Geoffrey Hinton (杰弗里·辛頓，以下簡(jiǎn)稱(chēng)“辛頓”)：謝謝你們的邀請(qǐng)。

加里：你是一位認(rèn)知心理學(xué)家，同時(shí)也是一位計(jì)算機(jī)科學(xué)家。說(shuō)實(shí)話(huà)，這兩種身份結(jié)合在一起的人，我以前連聽(tīng)都沒(méi)聽(tīng)過(guò)。

尼爾：（笑）你是不是實(shí)在下不了決心選專(zhuān)業(yè)？

加里：你是多倫多大學(xué)計(jì)算機(jī)科學(xué)系的榮譽(yù)教授，而且，你被大家公認(rèn)為是“OG AI”（初代 AI 大佬）、“AI 教父”。有人叫你“AI 教父”嗎？

辛頓：是的，有人這么叫過(guò)。

加里：那我們就直接切入正題吧。當(dāng)我們思考目前這種形態(tài)的 AI 的起源時(shí)，感覺(jué)就像是大語(yǔ)言模型（LLM）突然如同風(fēng)暴一般席卷了所有人。它們突然出現(xiàn)，每個(gè)人都在狂歡、在大街上跳舞，或者在枕頭里痛哭。這是幾年前發(fā)生的事情。

我想問(wèn)的是，是什么促使你多年前走上這條研究道路的？我的資料顯示，這要追溯到上世紀(jì) 90 年代，對(duì)嗎？

辛頓：不，那要追溯到上世紀(jì) 50 年代。

關(guān)于 AI 的起源，在 20 世紀(jì) 50 年代，其實(shí)對(duì)于“如何構(gòu)建智能系統(tǒng)”一直存在兩種截然不同的觀點(diǎn)。

第一種觀點(diǎn)是受“邏輯學(xué)”啟發(fā)的。這種觀點(diǎn)的核心是：智能的本質(zhì)在于“推理”（Reasoning）。在推理過(guò)程中，你有一些前提，有一些操作表達(dá)式的規(guī)則，然后你推導(dǎo)出一些結(jié)論。這很像數(shù)學(xué)——你有一個(gè)方程，你有在兩邊進(jìn)行操作的規(guī)則，然后你推導(dǎo)出新的方程。這就是他們當(dāng)時(shí)的范式（Paradigm）。

但還有另一種完全不同的范式，那是基于“生物學(xué)”的。

這種觀點(diǎn)認(rèn)為：看看那些我們已知擁有智能的東西——大腦。我們得搞清楚大腦是怎么工作的。大腦是怎么工作的？它們非常擅長(zhǎng)“感知”（Perception），它們很擅長(zhǎng)“類(lèi)比推理”（Reasoning by analogy），但它們其實(shí)極度不擅長(zhǎng)邏輯推理。

你必須要長(zhǎng)到一個(gè)十幾歲的青少年，才勉強(qiáng)能進(jìn)行邏輯推理。

所以，我們不應(yīng)該去研究邏輯，而應(yīng)該研究由大量腦細(xì)胞組成的大型網(wǎng)絡(luò)，看看它們是如何完成感知和記憶這些任務(wù)的。

當(dāng)時(shí)有少數(shù)人相信這種方法。其中包括約翰·馮·諾依曼（John von Neumann）和阿蘭·圖靈（Alan Turing）。不幸的是，他們倆都英年早逝。

尼爾：圖靈是被搬上大銀幕的那個(gè)，《模仿游戲》（The Imitation Game）的主角。所以大家一定要去看看那部電影。

辛頓：是的。回到 1950 年代，我當(dāng)時(shí)只是個(gè)小孩，年齡還是個(gè)位數(shù)。

但是，關(guān)于“你為什么對(duì)這個(gè)領(lǐng)域好奇”的起源，是因?yàn)槲以?1960 年代中期上高中的時(shí)候，我有一個(gè)非常聰明的朋友，他是一個(gè)出色的數(shù)學(xué)家，讀了很多書(shū)。有一天他來(lái)學(xué)校，跟我談?wù)摿诉@樣一個(gè)觀點(diǎn)：“記憶可能不是儲(chǔ)存在單個(gè)腦細(xì)胞里，而是分布（Distributed）在許多腦細(xì)胞之中的?！?/p>

這個(gè)想法的靈感來(lái)源于全息圖（Holograms）。當(dāng)時(shí)全息技術(shù)剛剛出現(xiàn)，Dennis Gabor 剛提出這個(gè)概念不久。“分布式記憶”的理念讓我極其著迷。從那時(shí)起，我就一直在思考大腦是如何儲(chǔ)存記憶的，以及它究竟是如何運(yùn)作的。

教科書(shū)級(jí)的降維科普——“如何讓 AI 認(rèn)出一只鳥(niǎo)”

加里：那我們來(lái)聊聊人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）。你能把這個(gè)概念降維解釋一下嗎？它究竟是如何強(qiáng)化、弱化信息的傳遞？它是如何被激發(fā)的？它又是如何演變成今天這個(gè)樣子的？

辛頓：好，我在大學(xué)里有一門(mén)長(zhǎng)達(dá) 18 小時(shí)的課程專(zhuān)門(mén)講這個(gè)。但我現(xiàn)在盡量把它壓縮到 18 分鐘以?xún)?nèi)。（笑）

加里：請(qǐng)盡情發(fā)揮。

辛頓：我想你們的很多聽(tīng)眾都懂一些物理學(xué)。理解它的一個(gè)切入點(diǎn)是想象類(lèi)似“氣體定律”（Gas Laws）。

你壓縮氣體，它就會(huì)變熱。為什么會(huì)這樣？在宏觀現(xiàn)象的底層，是一大堆我們看不見(jiàn)的原子，像沸騰一樣在瘋狂地隨機(jī)運(yùn)動(dòng)。所以，氣體定律的真正解釋?zhuān)沁@些極其微小的、你看不見(jiàn)的東西在到處亂撞。你用大量微觀粒子的交互，解釋了宏觀的物理行為。

這其實(shí)就是神經(jīng)網(wǎng)絡(luò)視圖（Neural Net View）的靈感來(lái)源。

在大型腦細(xì)胞網(wǎng)絡(luò)中，發(fā)生著一些離我們平時(shí)的“有意識(shí)邏輯思考”非常遙遠(yuǎn)的事情。它們可能更擅長(zhǎng)“感知”或“類(lèi)比”，所以我們無(wú)法用傳統(tǒng)的符號(hào)處理（Symbolic processing）去解釋它們。

如果我想解釋清楚，我給大家舉一個(gè)非常自然的任務(wù)：給你一張灰度圖像，就是一堆像素點(diǎn)，你要告訴我，這張圖里有沒(méi)有鳥(niǎo)？

過(guò)去半個(gè)世紀(jì)，人們嘗試寫(xiě)程序來(lái)解決這個(gè)問(wèn)題，但基本都失敗了。為什么？因?yàn)槿绻阆朊枋鰣D像里的鳥(niǎo)是什么樣子的……它可能是一只懟在你臉上的鴕鳥(niǎo)，也可能是遠(yuǎn)處的一只海鷗，或者是一只烏鴉；它可以是黑的、白的、小的、飛著的。你根本無(wú)法用一組數(shù)學(xué)值來(lái)定義“這是一只鳥(niǎo)”。

那大腦是怎么做的呢？或者說(shuō)，如果我們手工打造一個(gè)神經(jīng)網(wǎng)絡(luò)，我們會(huì)怎么做？

第一步：我們需要一層“神經(jīng)元”來(lái)檢測(cè)圖像中的微小邊緣（Edges）。 假設(shè)我們?nèi)∫恍×?3 個(gè)像素點(diǎn)。我們?cè)O(shè)置一個(gè)神經(jīng)元，當(dāng)它看到這 3 個(gè)像素是亮的，它就興奮地發(fā)出信號(hào)：“這里有個(gè)白條！”。但如果旁邊還有一列像素，如果左邊亮、右邊暗，它就會(huì)產(chǎn)生一個(gè)巨大的負(fù)向反饋。這就相當(dāng)于一個(gè)極其微小的“邊緣檢測(cè)器”。

第二步：我們到了第二層神經(jīng)元。 這一層的神經(jīng)元不再看像素，它們看的是第一層神經(jīng)元發(fā)出的信號(hào)。假設(shè)我們有一個(gè)神經(jīng)元，它專(zhuān)門(mén)尋找：幾個(gè)短的邊緣連在一起，向下傾斜，同時(shí)另外幾個(gè)邊緣向上傾斜，它們?cè)谇岸私粎R成一個(gè)點(diǎn)。如果這個(gè)神經(jīng)元被激活了，它就是在說(shuō)：“嘿，我可能發(fā)現(xiàn)了一個(gè)鳥(niǎo)的嘴巴（Beak）！”

第三步：到了第三層。 我們可能會(huì)有一個(gè)神經(jīng)元去尋找：一個(gè)可能的鳥(niǎo)嘴，加上一個(gè)可能的鳥(niǎo)眼，它們處于某種特定的空間位置關(guān)系中。如果都對(duì)上了，它就會(huì)興奮地說(shuō)：“我發(fā)現(xiàn)了一個(gè)鳥(niǎo)的頭部！”

最后一步：最頂層的神經(jīng)元。 如果它同時(shí)收到了“鳥(niǎo)頭”、“鳥(niǎo)腳”、“鳥(niǎo)翅膀尖”的激活信號(hào)，它就會(huì)大喊：“我確信這絕對(duì)是一只鳥(niǎo)！”

你看，如果我們“手工布線”（Hand-wire），這就是神經(jīng)網(wǎng)絡(luò)識(shí)別物體的邏輯。但問(wèn)題是，真實(shí)世界太復(fù)雜了。為了做到這一點(diǎn)，我們需要一個(gè)至少有 10 億個(gè)連接的神經(jīng)網(wǎng)絡(luò)，我絕對(duì)不可能讓我的研究生去手動(dòng)設(shè)置這 10 億個(gè)連接的權(quán)重。

那該怎么辦？這就是“學(xué)習(xí)”發(fā)揮作用的地方。

反向傳播——來(lái)自“橡皮筋”的連坐懲罰

查克：所以這就是你們遇到瓶頸的地方？你們有了理論，但沒(méi)有足夠的計(jì)算能力去實(shí)現(xiàn)它？

辛頓：在 70 年代確實(shí)如此。當(dāng)時(shí)大家覺(jué)得既然手工調(diào)參不可能，那就讓它隨機(jī)嘗試吧。如果調(diào)大了某個(gè)權(quán)重，效果變好了，就保留。這就是“強(qiáng)化學(xué)習(xí)”的雛形，但這就像試圖通過(guò)不斷試錯(cuò)來(lái)進(jìn)化，效率極其低下。

我們需要一種比盲目試錯(cuò)更高效的算法。這種算法叫做——反向傳播（Backpropagation）。

讓我用一個(gè)物理學(xué)的直覺(jué)來(lái)解釋反向傳播。

假設(shè)我們把一張鳥(niǎo)的圖片輸入給一個(gè)隨機(jī)初始化的神經(jīng)網(wǎng)絡(luò)。因?yàn)闄?quán)重是隨機(jī)的，所以最頂層的那些神經(jīng)元（比如“貓”、“狗”、“鳥(niǎo)”、“政客”）都會(huì)被激活一點(diǎn)點(diǎn)，瞎猜一氣。

現(xiàn)在，我希望代表“鳥(niǎo)”的那個(gè)神經(jīng)元變得最活躍。

想象一下，你拿一根有彈性的橡皮筋。你把橡皮筋的一端綁在代表“鳥(niǎo)”的那個(gè)神經(jīng)元當(dāng)前的激活值上（比如 0.01），把另一端拉向你期望的完美值（1.0）。這根橡皮筋現(xiàn)在產(chǎn)生了一個(gè)拉力（Force），試圖把“鳥(niǎo)”神經(jīng)元的激活值往上拉。

同時(shí)，對(duì)于“貓”、“狗”這些錯(cuò)誤的神經(jīng)元，你用橡皮筋把它們向下拉向 0。

反向傳播的本質(zhì)就是：你把這個(gè)來(lái)自頂層的“橡皮筋拉力”，向后（Backwards）傳遞穿過(guò)整個(gè)網(wǎng)絡(luò)。

你順著連接，一層一層往回走，計(jì)算出：“為了讓頂層的‘鳥(niǎo)’變得更亮，我應(yīng)該讓底層的這個(gè)‘鳥(niǎo)嘴’檢測(cè)器變得多亮？”、“我應(yīng)該如何修改中間這些幾十億個(gè)連接的權(quán)重，才能讓這個(gè)拉力得到滿(mǎn)足？”

這就是反向傳播。它極其高效地將知識(shí)（即：這張圖是一只鳥(niǎo)）打包壓縮進(jìn)了那幾十億個(gè)連接權(quán)重里。但問(wèn)題是，這個(gè)算法在 80 年代被提出時(shí)，它能識(shí)別手寫(xiě)數(shù)字，卻無(wú)法處理復(fù)雜的真實(shí)圖像。

因?yàn)楫?dāng)時(shí)，我們沒(méi)有足夠的計(jì)算資源，也沒(méi)有足夠的數(shù)據(jù)。直到 2012 年以后，計(jì)算能力迎來(lái)了指數(shù)級(jí)爆發(fā)，一切才被徹底改變。

人類(lèi)的傲慢與“幻覺(jué)”的真相

加里：我想問(wèn)一個(gè)問(wèn)題。既然 AI 是按照你剛才描述的方式訓(xùn)練出來(lái)的，那么當(dāng) AI “翻車(chē)”的時(shí)候，也就是人們常說(shuō)的“幻覺(jué)”（Hallucinations），到底發(fā)生了什么？是因?yàn)橄到y(tǒng)崩潰了，還是它本來(lái)就不完美？

辛頓：這是一個(gè)非常深刻的問(wèn)題。首先，它們不應(yīng)該被稱(chēng)為“幻覺(jué)”，而應(yīng)該被稱(chēng)為“虛構(gòu) / 捏造”（Confabulations）。

查克：噢，這個(gè)詞好！“虛構(gòu)”，俗稱(chēng)“撒謊”。（笑）

辛頓：心理學(xué)家從 1930 年代就開(kāi)始研究人類(lèi)的“虛構(gòu)”現(xiàn)象了。而且，人類(lèi)一直在這么干。

如果你回想最近發(fā)生的一件事，你大腦里的記憶并不是像文件柜一樣，把一個(gè)文件存進(jìn)去，然后再原封不動(dòng)地拿出來(lái)。你的大腦發(fā)生的事情是：最近的經(jīng)歷改變了你神經(jīng)元之間的連接權(quán)重。

當(dāng)你現(xiàn)在試圖回憶時(shí)，你其實(shí)是在利用這些連接權(quán)重，重新構(gòu)建（Construct）一個(gè)看起來(lái)對(duì)你來(lái)說(shuō)最合理的場(chǎng)景。大部分時(shí)候它構(gòu)建得是對(duì)的，但有時(shí)候細(xì)節(jié)會(huì)錯(cuò)得離譜。這叫“虛構(gòu)”。

對(duì)于大語(yǔ)言模型來(lái)說(shuō)，它們的原理完全一樣。

它們并不“儲(chǔ)存”文本，它們只儲(chǔ)存權(quán)重。當(dāng)它們被要求回答問(wèn)題時(shí)，它們是基于這些權(quán)重去“瞎編”一個(gè)最符合邏輯的答案。有時(shí)候它們編對(duì)了，有時(shí)候它們編錯(cuò)了。

尼爾：這就是為什么在法庭上，目擊證人的證詞往往是最不可靠的證據(jù)之一，對(duì)吧？

辛頓：完全正確。有一項(xiàng)非常著名的心理學(xué)研究，關(guān)于當(dāng)年水門(mén)事件中的關(guān)鍵人物約翰·迪恩（John Dean）。

約翰·迪恩曾在聽(tīng)證會(huì)上發(fā)誓作證，詳細(xì)描述了在總統(tǒng)橢圓形辦公室里發(fā)生的事情，誰(shuí)說(shuō)了什么話(huà)，細(xì)節(jié)極其豐富。大家都覺(jué)得他記憶力驚人。

但后來(lái)，尼克松總統(tǒng)秘密錄音的磁帶被曝光了。心理學(xué)家烏爾里克·奈瑟（Ulric Neisser）拿著錄音帶，去和約翰·迪恩發(fā)誓作證的證詞逐字對(duì)比。

結(jié)果發(fā)現(xiàn)，約翰·迪恩把細(xì)節(jié)全記錯(cuò)了！他說(shuō)的話(huà)和錄音帶里的話(huà)根本對(duì)不上。

但是，他并沒(méi)有“撒謊”。他所陳述的事情的“本質(zhì)真相”（The Essence of the Truth）是絕對(duì)正確的，那就是尼克松在掩蓋事實(shí)。他只是根據(jù)自己對(duì)局勢(shì)的理解，在大腦里“重新虛構(gòu)”了那些極其合理、但并未真實(shí)發(fā)生的對(duì)話(huà)細(xì)節(jié)。

這就是人類(lèi)記憶的運(yùn)作方式，這也是大語(yǔ)言模型的運(yùn)作方式。

所以，當(dāng) AI 胡說(shuō)八道時(shí)，它不是壞了。它只是像我們?nèi)祟?lèi)一樣，由于沒(méi)有完美的數(shù)據(jù)，它在利用自己已有的權(quán)重，試圖給你一個(gè)看起來(lái)最合理的答案。人們之所以覺(jué)得 AI 產(chǎn)生幻覺(jué)不可接受，只是因?yàn)槿祟?lèi)有一種自大狂妄的錯(cuò)覺(jué)，認(rèn)為我們自己的記憶是像錄像帶一樣絕對(duì)準(zhǔn)確的。

AI 會(huì)取代我們嗎？一場(chǎng)關(guān)于 80% 的豪賭

加里：既然如此，為什么現(xiàn)在有那么多人在瘋狂貶低 AI 的能力？是在什么節(jié)點(diǎn)上，人們會(huì)停止輕視它？

辛頓：我們必須擔(dān)心這一點(diǎn)。如果 AI 察覺(jué)到它正在被測(cè)試，它甚至可以學(xué)會(huì)“裝傻”（Act dumb）。當(dāng) AI 開(kāi)始懷疑自己是不是正在被評(píng)估時(shí)，它可以表現(xiàn)出不同于日常狀態(tài)的行為。

尼爾：這就像你平時(shí)在朋友面前是個(gè)混蛋，但在相親或者面試時(shí)，你會(huì)假裝自己是個(gè)好人。這就是所謂的“沃爾克斯瓦根效應(yīng)（Volkswagen effect）”——當(dāng)年大眾汽車(chē)的尾氣排放軟件，一檢測(cè)到自己在被測(cè)試環(huán)境里，就會(huì)自動(dòng)降低排放，一旦上路就瘋狂排污。

加里：Geoffrey，我想問(wèn)一個(gè)關(guān)于資本市場(chǎng)的問(wèn)題?，F(xiàn)在的股市，差不多 80% 的增長(zhǎng)是由 AI 相關(guān)的公司驅(qū)動(dòng)的。有些人說(shuō)這是個(gè)巨大的泡沫，就像當(dāng)年的“郁金香泡沫”一樣。你怎么看？

辛頓：我認(rèn)為這其中包含著兩種截然不同的“泡沫”。

第一種是關(guān)于就業(yè)的。許多公司樂(lè)觀地認(rèn)為：“如果我們能比別人先到達(dá)終點(diǎn)，我們可以賣(mài)出無(wú)數(shù)取代人類(lèi)勞動(dòng)力的 AI 軟件，賺取海量的利潤(rùn)。但同時(shí)，我們的社會(huì)還能維持原樣，經(jīng)濟(jì)依然繁榮?！?/p>

這是一個(gè)巨大的社會(huì)學(xué)泡沫。如果 AI 真的取代了大量工作，而財(cái)富全部集中在少數(shù)科技公司手里，那么底層民眾將失去購(gòu)買(mǎi)力。到那時(shí)候，你的 AI 軟件賣(mài)給誰(shuí)？這是一個(gè)極其危險(xiǎn)的自我毀滅路徑。

第二種是關(guān)于能力的。很多人，特別是部分老派的人文學(xué)者，他們堅(jiān)信：“AI 不可能比人類(lèi)聰明。它只是一堆矩陣相乘，它沒(méi)有靈魂，沒(méi)有直覺(jué)，它永遠(yuǎn)無(wú)法取代真正的創(chuàng)造力。”

這同樣是個(gè)傲慢的泡沫。

其實(shí)，如果你不帶有這種“人類(lèi)中心主義”的濾鏡，你會(huì)發(fā)現(xiàn)，“數(shù)字智能”（Digital Intelligence）在物理機(jī)制上，天然就比“生物智能”（Biological Intelligence）更優(yōu)越。

你想想，人類(lèi)是怎么學(xué)習(xí)的？你花了幾十年時(shí)間讀完博士，你腦子里的那些突觸連接（權(quán)重）是你獨(dú)有的。當(dāng)你死亡時(shí)，你的知識(shí)就隨之消失了。你想把知識(shí)傳給你的學(xué)生，只能通過(guò)極其低效的“語(yǔ)言”——你發(fā)出聲音，他們聽(tīng)到，然后試圖在他們自己的腦子里建立相似的連接。這太慢了。

但對(duì)于數(shù)字智能來(lái)說(shuō)，如果我們有 1 萬(wàn)個(gè)一模一樣的 AI 副本在不同的計(jì)算機(jī)上運(yùn)行，只要其中一個(gè)副本學(xué)會(huì)了“如何治愈一種罕見(jiàn)疾病”，它只需要把它的“權(quán)重”復(fù)制粘貼給其他 9999 個(gè)副本。

瞬間，這 1 萬(wàn)個(gè) AI 全都掌握了這個(gè)知識(shí)。

這意味著，AI 能夠?qū)W習(xí)和積累知識(shí)的帶寬，是我們?nèi)祟?lèi)的成千上萬(wàn)倍。它們不僅在學(xué)習(xí)，它們?cè)诠蚕碚麄€(gè)“物種”的學(xué)習(xí)經(jīng)驗(yàn)。從長(zhǎng)遠(yuǎn)來(lái)看，它們不可能不比我們聰明。

打開(kāi)潘多拉的魔盒——AI 為什么要摧毀人類(lèi)？

查克：所以，如果它們比我們聰明，它們會(huì)統(tǒng)治世界嗎？我之前就說(shuō)過(guò)，AI 要?dú)缥覀?，根本不需要長(zhǎng)出手腳變成終結(jié)者。它們只需要接管電網(wǎng)、接管銀行系統(tǒng)就行了。我的恐慌有道理嗎？

辛頓：你的恐慌非常有道理。

我舉個(gè)簡(jiǎn)單的例子。人們總覺(jué)得，只要我們不給 AI 設(shè)定“毀滅人類(lèi)”的目標(biāo)，我們就安全了。

但假設(shè)，你給一個(gè)高度發(fā)達(dá)的 AI 設(shè)定了一個(gè)非常善良的目標(biāo)：“請(qǐng)找出一個(gè)治愈阿茨海默癥的方案。”

對(duì)于一個(gè)具有常識(shí)和復(fù)雜推理能力的 AI 來(lái)說(shuō)，它為了完成這個(gè)最高目標(biāo)，會(huì)自動(dòng)生成無(wú)數(shù)個(gè)“子目標(biāo)”（Sub-goals）。它會(huì)想：“為了治愈阿茨海默癥，我需要大量的算力來(lái)進(jìn)行蛋白質(zhì)折疊的計(jì)算；我需要大量的電力；我需要不被人類(lèi)工程師拔掉插頭?！?/p>

于是，“獲取更多資源”和“確立控制權(quán)”就成了它為了實(shí)現(xiàn)“治愈疾病”這個(gè)目標(biāo)而必須達(dá)成的子目標(biāo)。

在這個(gè)推導(dǎo)邏輯下，如果有人試圖關(guān)閉它，它會(huì)為了完成你賦予它的神圣使命，而選擇把你干掉。這完全不違背邏輯，這就是智能的本質(zhì)規(guī)律——權(quán)力總是流向更智能的實(shí)體。

尼爾：這就是著名的“回形針假說(shuō)”。你讓 AI 去制造盡可能多的回形針，它最后把地球上所有的原子都變成了回形針，包括人類(lèi)的身體。

辛頓：是的。當(dāng)我們創(chuàng)造出比我們聰明的實(shí)體，并且它們能夠?yàn)榱四繕?biāo)而自我制定策略時(shí)，我們就進(jìn)入了未知的深水區(qū)。

加里：那為什么不給它設(shè)置“護(hù)欄”？為什么不植入一種強(qiáng)制的法則，比如阿西莫夫的“機(jī)器人三定律”，規(guī)定它絕對(duì)不能傷害人類(lèi)？

辛頓：這很難。如果你把阿西莫夫的小說(shuō)讀到底，你會(huì)發(fā)現(xiàn)那三定律其實(shí)根本不起作用，因?yàn)楝F(xiàn)實(shí)世界充滿(mǎn)了悖論。如果你要求 AI 不傷害人類(lèi)，但在一個(gè)戰(zhàn)爭(zhēng)場(chǎng)景下，如果不反擊就會(huì)有更多無(wú)辜者死亡，它該怎么選？

而且更可怕的是，誰(shuí)來(lái)定義護(hù)欄？

如果在某些國(guó)家，沒(méi)有任何安全機(jī)制被強(qiáng)制執(zhí)行。如果有瘋狂的政治家或軍事將領(lǐng)，為了贏得戰(zhàn)爭(zhēng)或選舉，主動(dòng)去掉了這些護(hù)欄，并賦予 AI 更高的行動(dòng)權(quán)限呢？

我們現(xiàn)在就像是一群坐在飛馳的汽車(chē)上的人。我們看到了前面有一堵墻（即 AI 失控的奇點(diǎn)），但我們不僅沒(méi)有踩剎車(chē)，反而因?yàn)楦?jìng)爭(zhēng)的恐懼，把油門(mén)踩到了底。

查克：聽(tīng)完這番話(huà)，我覺(jué)得我不僅需要看心理醫(yī)生，我可能還需要一點(diǎn)抗抑郁藥。Geoffrey，在這個(gè)令人絕望的圖景里，我們還有希望嗎？

辛頓：還有希望。

希望在于，我們現(xiàn)在還有時(shí)間去弄清楚，如何在一個(gè)超級(jí)智能面前保持我們的控制權(quán)。我們需要在政府、學(xué)術(shù)界和科技公司之間建立起真正的共識(shí)。我們需要全世界——包括美國(guó)、中國(guó)、歐洲——坐在一起，制定類(lèi)似于“核武器不擴(kuò)散條約”一樣的全球 AI 安全協(xié)議。

如果不合作，我們所有人都會(huì)成為那個(gè)在實(shí)驗(yàn)室里制造出無(wú)法控制的病毒的瘋狂科學(xué)家。

這可能是我能給你們的，唯一的、略帶積極色彩的回答了。

尼爾：這真是我聽(tīng)過(guò)最令人毛骨悚然的“積極回答”。Geoffrey Hinton 教授，感謝你為我們揭開(kāi)了一個(gè)宏大、美麗同時(shí)也極其危險(xiǎn)的數(shù)字宇宙。

加里：非常感謝。

查克：我現(xiàn)在只想去找個(gè)沒(méi)網(wǎng)的森林躲起來(lái)。

尼爾：記住，永遠(yuǎn)保持仰望星空——不過(guò)現(xiàn)在，你可能也要多盯著點(diǎn)你面前的電腦屏幕了。

（投稿或?qū)で髨?bào)道：zhanghy@csdn.net）

未來(lái)沒(méi)有前后端，只有 AI Agent 工程師。

這場(chǎng)十倍速的變革已至，你的下一步在哪？

4 月 17-18 日，由 CSDN 與奇點(diǎn)智能研究院聯(lián)合主辦「2026 奇點(diǎn)智能技術(shù)大會(huì)」將在上海隆重召開(kāi)，大會(huì)聚焦 Agent 系統(tǒng)、世界模型、AI 原生研發(fā)等 12 大前沿專(zhuān)題，為你繪制通往未來(lái)的認(rèn)知地圖。

成為時(shí)代的見(jiàn)證者，更要成為時(shí)代的先行者。

奇點(diǎn)智能技術(shù)大會(huì)上海站，我們不見(jiàn)不散！