新智元報道

編輯：KingHZ

【新智元導(dǎo)讀】1984年他創(chuàng)造了「天網(wǎng)」，2024年他警告：真正的威脅早已超越科幻——少數(shù)科技巨頭正在孕育一個只服務(wù)于自身規(guī)則的超級智能。

科技巨頭壟斷AGI，比天網(wǎng)更恐怖百倍！

《終結(jié)者》導(dǎo)演詹姆斯·卡梅隆過去的一番論斷，迎來了熱議：

他直指核心：

AGI不會來自政府項目，而是由科技巨頭打造。

這比我在40年前《終結(jié)者》中描繪的情景更可怕，因為至少現(xiàn)在它已不再是科幻小說了。

在1984年上映的《終結(jié)者》中，美國國防部開發(fā)的AI網(wǎng)絡(luò)「天網(wǎng)」（Skynet）獲得了自我意識，最終對人類發(fā)動核打擊，幾乎將世界拖入末日深淵。

2024年10月舉行的（人工智能與機(jī)器人峰會）「SCSP AI+Robotics Summit」上，James Cameron通過視頻連線發(fā)表演講。

這位長期關(guān)注科技發(fā)展的著名導(dǎo)演表示，他「看好AI」，但對通用人工智能持明顯保留態(tài)度。

在他看來，真正令人擔(dān)憂的，并不是機(jī)器覺醒后主動毀滅人類，而是AGI在誕生之初，就牢牢掌握在少數(shù)科技巨頭手中。

人類將來「生活在一個自己從未同意、從未投票的世界里，與一個超級智能的外星物種共存，而這個物種只聽命于企業(yè)的目標(biāo)和規(guī)則」。

在他看來，這種由公司主導(dǎo)的超級智能系統(tǒng)，可能擁有前所未有的數(shù)據(jù)訪問能力——從個人通信、思想表達(dá)，到位置信息和行為軌跡。

一旦缺乏制衡，AI可能迅速滑向數(shù)字極權(quán)主義。

而最樂觀情景也不樂觀：科技巨頭將成為「人類福祉的自封仲裁者」，相當(dāng)于「狐貍看守雞舍」，它們「絕不會考慮用這種力量對付我們、把我們最后一滴血汗都榨干」。

戰(zhàn)爭、自動化與「開火授權(quán)」

作為峰會討論的重要議題之一，AI與國家安全的關(guān)系成為Cameron發(fā)言的核心內(nèi)容。

他指出，機(jī)器人本質(zhì)上是AI的「具身化」載體。

當(dāng)一個決策系統(tǒng)被賦予現(xiàn)實世界中的物理行動能力，問題就不再停留在算法層面，而是涉及生死與倫理。

Cameron以當(dāng)前戰(zhàn)爭中廣泛使用的無人機(jī)為例指出，目前大多數(shù)武器系統(tǒng)仍保留「人類在回路中」（human in the loop）的機(jī)制——最終的「開火授權(quán)」掌握在人類手中。

但隨著AI決策能力的增強，一個關(guān)鍵問題浮出水面：是否應(yīng)該賦予自主系統(tǒng)獨立的殺傷權(quán)限？

他承認(rèn)，從技術(shù)角度看，AI或許能夠比情緒波動、疲勞作戰(zhàn)的人類士兵更精準(zhǔn)、更克制，甚至在理論上減少附帶傷害。

然而，一旦AGI真正具備自我意識與自我改進(jìn)能力，將其接入武器系統(tǒng)，風(fēng)險將呈指數(shù)級放大。

「當(dāng)敵對方率先這么做時，道德約束可能會迅速被放棄?！顾f。

「對齊」難題：誰來定義「善」？

當(dāng)前AGI研究中的核心概念之一是「對齊」（alignment），即確保系統(tǒng)目標(biāo)與人類福祉保持一致。

但Cameron在演講中提出質(zhì)疑：在人類自身都無法就道德標(biāo)準(zhǔn)達(dá)成共識的情況下，如何為超級智能設(shè)定統(tǒng)一的價值框架？

從宗教分歧到政治對立，從戰(zhàn)爭倫理到生命議題，人類社會長期處于價值觀沖突之中。即便是被廣泛引用的「Asimov機(jī)器人三定律」，在現(xiàn)實社會中也難以直接套用。

「如果我們自己都在為『什么是善』爭論不休，又如何指望機(jī)器獲得明確答案？」他反問。

在他看來，AGI終將成為人類的一面鏡子——「我們有多善，它就有多善；我們有多惡，它就有多惡?！?/p>

科幻創(chuàng)作者的現(xiàn)實轉(zhuǎn)向

盡管發(fā)出警告，Cameron并未站在技術(shù)反對者一邊。

他表示，自己并不主張阻止技術(shù)進(jìn)步，相反，他計劃在創(chuàng)作中積極擁抱AI技術(shù)，就像當(dāng)年率先推動數(shù)字特效革命一樣。

他目前正參與生成式AI企業(yè)Stability AI的董事會工作，顯示出其在產(chǎn)業(yè)層面的深度參與。

不過，他強調(diào)，對AI的樂觀與對AGI的警惕并不矛盾。真正值得警惕的，并非機(jī)器本身，而是權(quán)力結(jié)構(gòu)、道德框架與治理機(jī)制能否跟上技術(shù)演進(jìn)的速度。

在技術(shù)加速發(fā)展的背景下，Cameron的發(fā)言再次將一個核心問題推到公眾面前：當(dāng)超級智能不再屬于科幻，而成為現(xiàn)實可能，人類是否已經(jīng)準(zhǔn)備好面對它所帶來的權(quán)力與責(zé)任？

答案，或許仍在未來。

參考資料：

https://www.youtube.com/watch?v=e6Uq_5JemrI