來源：新智

【導(dǎo)讀】最近，AI教父Hinton發(fā)出最尖銳警告：不受監(jiān)管的AI就是一輛沒有方向盤的高速跑車！全球只有1%的AI研究在做安全，4.8萬億美元的巨獸正在失控加速。

當(dāng)78歲的Geoffrey Hinton坐在攝像頭前，對著在場的幾百位代表說出這句話時，整個會場安靜了幾秒。

「他們想要一輛沒有方向盤的超級快車�！�

最近，這位2024年諾貝爾物理學(xué)獎得主、被全世界叫了十幾年「AI教父」的老人，在全球數(shù)字世界大會上，再次向全人類拉響了警報。

這位老人用幾乎是帶著懇求的語氣警告：「我們不知道人類能否與超級智能AI共存�！�

「但我們正在建造它。」

只有1%在管安全，剩下99%在踩油門

在發(fā)言中，Hinton給我們算了一筆很清楚的賬。

全球AI產(chǎn)業(yè)正以人類歷史上前所未有的速度膨脹。UN貿(mào)發(fā)會議的數(shù)據(jù)顯示：2023年全球AI市場規(guī)模1890億美元，到2033年預(yù)計飆到4.8萬億美元。

也就是說，人類只用了十年時間，就從零造出一個比日本GDP還大的經(jīng)濟體。

這些錢，幾乎都用在了造更大的模型，跑更多的算力。

至于安全呢？Hinton給了一個數(shù)字：大概1%。

全球AI研發(fā)投入里，只有大約1%花在了「怎么讓這東西不出事」上面。

對此，Hinton的評論是：It's crazy.

「AI科技游說集團正在花大價錢投廣告，想讓所有人接受一個類比——AI是油門，監(jiān)管是剎車。他們的意思是，別踩剎車，會拖慢我們�！�

對此，Hinton表示，這個類比完全是錯誤的！

「油門是進步，沒錯。但監(jiān)管不是剎車，監(jiān)管是方向盤。他們想要一輛極速狂飆的車，但沒有方向盤。」

坐在他旁邊的Terry Sejnowski立刻接了一句：你開過一輛沒有剎車的車嗎？下坡的時候你就知道有多慘了。但更慘的是，我們連方向盤都沒有。

油門踩到底，方向盤拆掉，這就是當(dāng)下全球AI競賽的真實狀態(tài)。

兩位老人的頒獎典禮

怎么變成了一場審判

2026年世界數(shù)字大會的主題是「AI與社會發(fā)展」。

這次大會給Hinton和Sejnowski頒了一個獎，表彰他們在1980年代發(fā)明玻爾茲曼機，它后來成了深度學(xué)習(xí)革命的催化劑。

頒獎人是微軟的語音識別專家李登（Li Deng），他自己就是玻爾茲曼機的受益者。

前半場，三個人聊的是科學(xué)往事，學(xué)術(shù)榮光和師生情誼。

Hinton和Sejnowski回憶了1980年代在羅切斯特的一次會議上，他們是如何把Hopfield網(wǎng)絡(luò)和模擬退火結(jié)合在一起，這個靈感迸發(fā)的瞬間。

Sejnowski說，自己記得一清二楚——「我們坐在那里，突然意識到可以把Hopfield網(wǎng)絡(luò)加熱，讓它變成概率性的�！�

隨后，Hinton補了一個細(xì)節(jié)：那個時候他剛在圣地亞哥跟David Rumelhart一起編程反向傳播，用的是logistic單元。

而給Hopfield網(wǎng)絡(luò)加溫度之后，出來的恰好也是logistic單元。兩條完全不同的路，在同一個數(shù)學(xué)形式上匯合了。

在科學(xué)史上，這種時刻被叫做「晶化瞬間」。

值得玩味的是，Hinton至今仍然認(rèn)為玻爾茲曼機比反向傳播更優(yōu)雅�！杆且粋�好得多的想法。只是不太好用�！�

Sejnowski笑著附和：「它在生成式AI還沒流行之前幾十年，就已經(jīng)是生成式神經(jīng)網(wǎng)絡(luò)了�！�

一個更優(yōu)雅但不實用的想法，和一個沒那么優(yōu)雅但統(tǒng)治了整個時代的算法，在科學(xué)史上，這種故事反復(fù)上演。

「AGI，是一個愚蠢的術(shù)語」

但頒獎典禮的后半場，畫風(fēng)急轉(zhuǎn)。當(dāng)主持人把話題引向AGI和社會風(fēng)險時，Hinton徹底切換了模式。

李登問了一個很多人都想知道的問題：你們怎么定義AGI？什么樣的基準(zhǔn)測試能說明AGI已經(jīng)到來？

Hinton毫不留情地表示：「AGI是一個愚蠢的術(shù)語�！�

理由很簡單：它假設(shè)智能是一維的，像溫度計一樣，數(shù)值越高越聰明。

「但智能顯然是高度多維的。所以不存在一個點，AI在那個點上等于人類。它相對于人類的能力是鋸齒狀的——在某些方面已經(jīng)遠(yuǎn)遠(yuǎn)超過我們，在另一些方面還不如我們。」

他舉了個例子：你現(xiàn)在去問任何一個大模型，斯洛文尼亞的報稅截止日期是哪天，或者怎么給門廊做防潮處理，它都答得頭頭是道。在通識知識這個維度上，AI早就把人類甩了幾條街。但在某些推理任務(wù)上，它還沒完全追上。

「所以，AGI這個詞沒有意義�！�

那什么詞有意義？

在Hinton看來，真正有意義的是「超級智能（superintelligence）」。它的定義很清楚——在幾乎所有人類能做的智力任務(wù)上都比我們強。我們相信它正在到來。

接下來，就是整場對話最核心的段落。

在場官員問：當(dāng)超級智能到來時，人類還能保持對自己創(chuàng)造的系統(tǒng)的有意義的控制嗎？

Hinton回答：「我們不知道能不能和超級智能AI共存�！�

但我們正在建造它，所以我們現(xiàn)在還有很多控制權(quán)。我們應(yīng)該小心地建造，讓我們還能繼續(xù)存在，和它和諧共處。

在已知的模型里，遠(yuǎn)比自己聰明的東西愿意給遠(yuǎn)不如自己聰明的東西自由——只有一個例子。母親和嬰兒。母親真的關(guān)心嬰兒。

但現(xiàn)在的問題是，我們正處在歷史上一個緊迫的節(jié)點，必須嘗試解決這個問題，而投入的資源少得可憐。

也許只有1%的工作在研究這件事。相比之下，99%的工作都在讓AI變得更聰明。 這簡直是瘋了。

煙草和石棉

Hinton把AI風(fēng)險分成了三類。

第一類：有人故意用AI干壞事。

比如，制造深度偽造視頻來腐蝕民主，制造致命病毒來引發(fā)大流行，發(fā)動網(wǎng)絡(luò)攻擊。這是最直接的威脅。

第二類：有人試圖用AI賺錢時產(chǎn)生的副作用。

比如用AI把女性照片生成非法照片。比如推薦算法不斷推送比你剛看過的更極端的視頻，最終制造出兩個完全沒有共同語言的群體。

「他們只是在賺錢，但副作用就是撕裂社會�！�

第三類：AI自主接管的存在性威脅。

Hinton認(rèn)為，第三類威脅或許會得到國際合作，因為所有人都害怕。

但對于前兩類，特別是第一類，則不會得到合作。各國會嘴上說要合作，但實際上都在互相攻擊，這就要難處理得多。

Hinton講了這樣一個類比：看看煙草和石棉的歷史。

「生產(chǎn)煙草和石棉的發(fā)達國家——比如加拿大——在本國引入了保護公民的法規(guī)。但它們繼續(xù)把這些東西賣給第三世界國家。

所以我們真的要擔(dān)心：即使我們在開發(fā)AI的國家制定了正確方向的法規(guī)，這些國家仍然可能把AI賣到其他國家，在那里產(chǎn)生惡劣后果——即使這些事情在他們自己國家是不被允許的。

太陽底下無新鮮事，煙草和石棉的劇本，很可能會再次上演。

關(guān)于LeCun，你怎么看？

LLM，究竟是不是死胡同？

接下來，李登還帶來了一個尖銳問題：LeCun說大語言模型是通往超級智能的死胡同，你們怎么看？

Hinton把這個問題拆成了兩半。

「首先，是一個哲學(xué)問題：一個只預(yù)測下一個詞的系統(tǒng)，能不能理解空間？答案是能。這非常令人驚訝�！�

「然后，有一個實際問題：這是理解空間的高效方式嗎？答案是不能。如果你有攝像頭，能操控物體，你理解空間和基本物理常識的效率會高得多�！�

「所以在實際層面，一個多模態(tài)AI——有攝像頭、能操控物體、還能說話——會比純語言模型用更少的數(shù)據(jù)更快地理解很多東西。但在哲學(xué)層面，純語言模型給它足夠多的語言數(shù)據(jù)，可能也夠了。」

4.8萬億美元的蛋糕，誰在切？

這次大會暴露的另一個裂縫，就是「分配」的危機。

UN貿(mào)發(fā)會議代理秘書長Pedro Manuel Moreno在同期舉行的科技發(fā)展委員會上直接點破：AI的建造能力和塑造權(quán)，集中在極少數(shù)經(jīng)濟體和企業(yè)手里。

國際電聯(lián)秘書長Doreen Bogdan-Martin給出了一個刺眼的對比：發(fā)達國家對于AI的采用速度，幾乎是發(fā)展中國家的兩倍。

「如果不解決這個問題，這將是第二次大分流�！�

造AI的國家和只能消費AI的國家之間，鴻溝正在以肉眼可見的速度撕開。

4.8萬億美元的市場，基礎(chǔ)設(shè)施、投資、人才全部集中在北半球那幾個點上。剩下的世界，甚至沒有資格參與規(guī)則制定。

顯然，這個后果很可怕。

方向盤在誰手里？

把時間線拉長一點就會發(fā)現(xiàn)，Hinton的這場對話，其實是他過去三年吹哨行動的一次集大成。

2023年從Google離職時，他說的是「我為自己的畢生工作感到后悔」。2024年拿諾貝爾獎時，他在領(lǐng)獎臺上呼吁重視AI安全。2025年他在多個場合反復(fù)強調(diào)監(jiān)管的緊迫性。

到了2026年，他的措辭變得更具體了。

而他在技術(shù)討論中展現(xiàn)的另一面同樣值得注意。

這個78歲的老人，在聊完AI末日風(fēng)險之后，能立刻切回去講受限玻爾茲曼機為什么是正確的貝葉斯推理、為什么當(dāng)前的圖像生成模型只用了醒-睡算法的一半、怎么把生成模型和識別模型結(jié)合起來才是下一步正確方向。

他同時住在兩個世界里——一個在思考AI怎樣變得更強大，一個在思考人類怎樣不被更強大的AI毀滅。這兩件事在他的大腦里并行運轉(zhuǎn)，互不矛盾。

這大概就是為什么他的警告格外有分量。這是親手造出這個東西的人在說：我知道它能做什么，所以我知道該怕什么。

而Hinton提到的那輛車，現(xiàn)在油門已經(jīng)踩到底了，4.8萬億美元的引擎在轟鳴。方向盤在不在，取決于接下來的幾年里，坐在駕駛座上的人——不管是政府、企業(yè)還是科學(xué)家愿不愿意伸手。

如今，我們正站在一個極其特殊的時間節(jié)點上。在AI變得比我們聰明之前，是人類唯一還能決定游戲規(guī)則的窗口。

Hinton三年前從谷歌辭職時說的那番話，當(dāng)時很多人覺得是杞人憂天。

三年過去了，他還在說同樣的話。不過，現(xiàn)在已經(jīng)有很多人，真實地理解了他的擔(dān)憂。

只是，那輛沒有方向盤的車，還在加速。

參考資料：

https://x.com/haider1/status/2048809405442039961

為偉大思想而生！

AI+時代，互聯(lián)網(wǎng)思想（wanging0123)，

第一必讀自媒體