當AGI成為一種必然的宿命

機器大軍正在向我們逼近，或者說，我們被告知如此。不是今天，但也為期不遠，快到我們似乎必須在它們的包圍到來之前，重新組織整個人類文明。在董事會的會議室、大學(xué)的講壇、議會的聽證會，以及那些令人窒息的科技報道中，超級智能的幽靈正愈發(fā)頻繁地在我們的話語體系中盤桓。

它通常的描述是“通用人工智能（AGI）”，有時則會被描繪得更加廣泛，但始終被視作一種在所有領(lǐng)域都超越人類認知的人造心智，能夠?qū)崿F(xiàn)遞歸的自我改進，甚至可能對人類生存構(gòu)成威脅。但無論叫什么名字，這種即將到來的超級智能，已經(jīng)占據(jù)徹底殖民了我們的集體想象。

這個場景呼應(yīng)了科幻小說的推測性的譜系，從阿西莫夫的“機器人三定律”（一種試圖限制機器自主權(quán)的文學(xué)嘗試），到后來的斯坦利·庫布里克和阿瑟·C·克拉克的HAL 9000，或是威廉·吉布森筆下的失控網(wǎng)絡(luò)。這些曾經(jīng)屬于描述性思維實驗的領(lǐng)域，如今卻成為一種準政治的預(yù)言（Quasi-political Forecast）。

超級智能的敘事：一種權(quán)力的裝置

這個敘述與任何科學(xué)共識都關(guān)系不大，它實際上是從特定的權(quán)力回廊中滋生出來的。那些最高調(diào)的超級智能預(yù)言家，恰恰是那些正在構(gòu)建他們所警告之系統(tǒng)的始作俑者。當山姆·奧特曼一邊高談闊論AGI對人類的生存威脅，一邊爭分奪秒地推動其開發(fā)，或者當埃隆·馬斯克一邊警告AI末日，一邊創(chuàng)辦公司加速其發(fā)展時，我們看到的是一種以預(yù)測為名的政治偽裝。

超級智能的話語體系作為一個精密的權(quán)力裝置在運作，它將關(guān)于企業(yè)責(zé)任、工人失業(yè)、算法偏見和民主治理等現(xiàn)實問題，轉(zhuǎn)化為關(guān)于意識和控制的抽象哲學(xué)謎題。這種障眼法并非偶然，也并非無害。通過將假設(shè)性的災(zāi)難置于公眾討論的中心，AI系統(tǒng)的架構(gòu)師們把自己定位為不被人類接受的守護者，背負著可怕的真相和巨大的責(zé)任。他們搖身一變，成為文明與其潛在毀滅者之間不可或缺的中介，而巧合的是，這一角色恰恰需要巨額資本投入、最少的監(jiān)管和高度集中的決策權(quán)。

試想這種框架是如何運作的？當我們討論未來的AGI是否可能消滅人類時，我們并不是在談?wù)摫凰惴ūO(jiān)控所支配的亞馬遜倉庫工人，也不是在談?wù)撃莻€社區(qū)被自動武器系統(tǒng)鎖定的巴勒斯坦人。在存在主義風(fēng)險的宏大修辭面前，這些當下的現(xiàn)實逐漸被淡化為背景噪音。這些痛苦是真實的，而超級智能仍然是理論上的；但我們的注意力和資源——甚至我們的監(jiān)管框架——卻越來越多地轉(zhuǎn)向后者，各國政府正在組建前沿人工智能工作坊，并為尚屬假設(shè)的未來系統(tǒng)性風(fēng)險起草預(yù)案。與此同時針對當前的勞動保護和算法監(jiān)控的限制，卻依然被束縛在日益捉襟見肘的立法之中。

在美國，關(guān)于“對人工智能安全、可靠和可信地開發(fā)與使用”的第14110號行政命令，雖然提及了民權(quán)、競爭、勞動和歧視等問題，但其最有力的問責(zé)義務(wù)卻指向了大型、高能力的基礎(chǔ)模型以及未來計算量超過一定閾值的系統(tǒng)，要求企業(yè)向聯(lián)邦政府分享技術(shù)信息，并證明其模型符合特定的安全限制。英國則走得更遠，成立了前沿人工智能工作坊——現(xiàn)已并入人工智能安全研究所，其職責(zé)聚焦于極端的、假設(shè)性的風(fēng)險。歐盟人工智能法案（AI Act），沒有試圖規(guī)范當前AI帶來的危害，卻仍然專門設(shè)有一節(jié)討論未來某個未知時間點可能出現(xiàn)的系統(tǒng)性風(fēng)險和基礎(chǔ)模型風(fēng)險。在這些司法實踐中，政治能量都聚集在未來的、推測性的系統(tǒng)之上。

超級人工智能的敘事，正在非常有意識地推進一項政治議程，即將注意力從當前的控制體系轉(zhuǎn)移到遙遠的災(zāi)難上，把討論焦點從現(xiàn)實的力量轉(zhuǎn)移到想象的未來。關(guān)于機器封神的預(yù)言重塑了權(quán)威的獲取方式，以及由誰的利益來掌舵 AI治理；同時壓制了那些在算法下受苦者的呼聲，放大了那些希望人類滅絕的聲音，使這些聲音主導(dǎo)了討論。這種偽裝成中立未來主義的論調(diào)，實則是對當下政治經(jīng)濟的一種干預(yù)。擦亮雙眼，超級智能的預(yù)言更多不是關(guān)于機器的警告，而是在為權(quán)力服務(wù)，而這種策略，必須被識破。這一敘事的力量，正源自其歷史。

在理性主義的祭壇前膜拜

超級智能作為主導(dǎo)AI敘事，在ChatGPT之前就已出現(xiàn)，可以追溯到20世紀50年代冷戰(zhàn)戰(zhàn)略與計算理論之間奇特的結(jié)合。作為智庫的蘭德公司（RAND Corporation），其核戰(zhàn)略家們曾模擬人類文明的毀滅，為將智能視為與文化與政治絕緣的純粹計算這一概念提供了思想溫床。

早期的AI先驅(qū)繼承了這一框架，當艾倫·圖靈提出他著名的測試時，他有意回避了意識或經(jīng)驗的問題，轉(zhuǎn)而關(guān)注可觀察的行為——如果一臺機器僅通過文字就能讓人類對話者相信它具有人性，那么它就值得被稱為智能。這種行為主義的簡化之后被證明是關(guān)鍵性的，因為它將思維視為可量化的操作，從而將智能重新定義為可以被衡量、排序，最終被機器超越的東西。

據(jù)數(shù)學(xué)家烏拉姆（Stanislaw Ulam）回憶，早在1958年，計算機科學(xué)家馮諾依曼便談及一種技術(shù)奇點，即加速的進步終將使機器能夠改進自身設(shè)計，迅速將自身提升到具有超越人類的能力。這一概念在20世紀60年代由數(shù)學(xué)家歐文·古德（Irving John Good）進一步完善，奠定了超級智能討論的基本框架：遞歸式的自我進化、指數(shù)級的增長，以及人類所需要發(fā)明的最后造物。當然，這些只是數(shù)學(xué)上的推演而非實證觀察，但此類推測與思想實驗被如此頻繁地復(fù)述，以至于它們獲得了預(yù)言般的重量，使其所描繪的想象未來顯得不證自明。

20世紀80年代和90年代，這些思想從計算機科學(xué)系的象牙塔，遷徙到了一種獨特的亞文化圈層，一群圍繞著計算機科學(xué)家尤德科夫斯基（Eliezer Yudkowsky）及其奇點研究所（后更名為機器智能研究所）的理性主義者和未來主義者。這個群體構(gòu)建了一個關(guān)于超級智能的理論框架，即效用函數(shù)，一個旨在指導(dǎo)人工智能決策的形式化目標系統(tǒng)。

在回形針思想實驗中，他們設(shè)計了一個高度先進的人工智能，它的唯一目標是盡可能多地制造回形針。這個微不足道的目標促使機器消耗所有資源。該思想實驗突出了工具性收斂的可能，即幾乎任何目標都會促使人工智能尋求權(quán)力和資源。這個思想實驗還提出了正交性論題（Orthogonality Thesis），該定理認為智能與道德價值是獨立的。他們?yōu)橐粋€并不存在的實體創(chuàng)造了一套學(xué)術(shù)化的哲學(xué)體系，包括對不同類型的人工智能失控情景給出了細致分類，以及對可能的未來智能間非因果（acausal）權(quán)衡，給出了詳盡論述。

這些思想家的共同點在于他們對某種推理風(fēng)格的堅定承諾。他們的實踐或許可以被稱為極端理性主義，即相信純粹的邏輯，在脫離經(jīng)驗約束或社會背景后，仍能夠揭示關(guān)于技術(shù)和社會的根本真理。這種方法優(yōu)先考慮思想實驗而非數(shù)據(jù)，重視巧妙的悖論而非日常觀察，其結(jié)果是一套讀起來如同中世紀神學(xué)，精妙而復(fù)雜，但卻完全脫離了人工智能系統(tǒng)實際發(fā)展的論述。誠然，我們應(yīng)當承認，這種脫節(jié)并不意味著他們的努力毫無價值，相反，通過將抽象推理推向極限，他們澄清了關(guān)于控制、倫理和長期風(fēng)險的問題，這些問題后來為更加務(wù)實的AI 政策和安全討論提供了基礎(chǔ)。

這一傳統(tǒng)在當代體現(xiàn)最顯著的表述，出現(xiàn)在波斯特洛姆（Nick Bostrom）2014年的著作《超級智能》中，該書將邊緣化的互聯(lián)網(wǎng)哲學(xué)轉(zhuǎn)變?yōu)橹髁饔懻?。作為前牛津大學(xué)哲學(xué)教授，波斯特洛姆賦予了此前只存在于科幻小說和以晦澀標題命名的博客中的情景以學(xué)術(shù)上的嚴肅性。盡管他的書中沒有包含任何實證的AI研究，也幾乎沒有涉及實際出現(xiàn)的機器學(xué)習(xí)，但它卻成為硅谷的必讀書目，常被科技億萬富翁引用。

馬斯克曾推特表示：“波斯特洛姆的《超級智能》值得閱讀。我們需要對AI格外謹慎。它可能比核武器更具危險性?！瘪R斯克提醒人們保持謹慎是正確的，這從他自己的人工智能公司向孟菲斯的Boxtown（一個以黑人為主的工人階級社區(qū)）排放1200至2000噸氮氧化物及甲醛等有害空氣污染物的行為中，便可得到佐證。

這篇評論并非試圖貶低波斯特洛姆的成就，他的功績在于將關(guān)于AI的那些蔓延且往往語無倫次的恐懼，梳理成了一個嚴謹?shù)目蚣堋５臅袝r讀起來像是一項自然歷史研究項目，他像分類學(xué)家一樣，將通往超級智能的不同路徑、各種“失敗模式”（即系統(tǒng)可能出錯或毀滅我們的方式），以及“控制問題”的解決方案（即保持AI對齊的方案）分門別類。這種分類學(xué)的方法，甚至讓最狂野的臆測也披上了科學(xué)的外衣。通過將超級智能視為系統(tǒng)性研究的對象而非科幻設(shè)定的前提，波斯特洛姆成功地將存在性風(fēng)險洗白進了體面的話語體系之中。

有效利他主義：

理性的計算與被遮蔽的痛苦

有效利他主義（effective altruism）運動為這些理念提供了社會基礎(chǔ)設(shè)施。其核心原則是通過理性計算，以最大化長期收益。在這一世界觀中，超級智能的風(fēng)險被嚴絲合縫地嵌入其中，因為如果未來的人與現(xiàn)在的人一樣重要，而一次小概率的全球性災(zāi)難所造成的危害超過了持續(xù)的傷害，那么防止人工智能末日就成為首要任務(wù)。按照這種邏輯，假設(shè)中出現(xiàn)在未來的生命，其優(yōu)先級會超越當下人們所經(jīng)歷的痛苦。

這并非僅僅是書齋里的抽象辯論，因為認同有效利他主義的慈善家們將大量資金投入了人工智能安全研究，而資金決定了研究人員關(guān)注的方向。與有效利他主義理念一致的組織已在大學(xué)和政策領(lǐng)域建立，發(fā)布報告為政府提供關(guān)于人工智能的思考建議。英國的前沿人工智能特別工作坊（Frontier AI Taskforce）包括了與有效利他主義運動有明確關(guān)聯(lián)的成員，評論人士認為這些聯(lián)系有助于將有效利他主義認定的優(yōu)先事項加入到政府有關(guān)人工智能風(fēng)險的政策中。

有效利他主義鼓勵其支持者進入公共機構(gòu)和主要實驗室，從而形成一條將這些優(yōu)先事項帶入決策核心的人才管道。前美國政府機構(gòu)“情報高級研究計劃局”（Intelligence Advanced Research Projects Activity）主任Jason Matheny曾描述過，有效利他主義者可以通過“在政府職位中摘取低垂的果實”來施加影響。超級智能的討論之所以傳播，不是因為專家普遍認為這是我們最緊迫的問題，而是因為一場資源充足的運動為其提供了資金和接觸權(quán)力的渠道。

這并不是要否認與有效利他主義理念或與Bostrom所闡述的超級智能這一概念進行交流所帶來的價值。問題在于，一旦這些理念進入政治和商業(yè)領(lǐng)域，它們是何其容易被曲解。理清這段超級智能的思想譜系很是重要，因為它揭示了超級智能討論作為一種文化產(chǎn)物的特性，這些理念已經(jīng)超越了理論，進入了制度領(lǐng)域，獲得了資金和倡導(dǎo)者。而它的出現(xiàn)根植于那些推崇理性主義而非經(jīng)驗主義、將個人天才置于集體判斷之上、并優(yōu)先考慮技術(shù)決定論而非社會背景的制度中。

末日企業(yè)家真正在乎的

是利潤而非人類的安全

超級智能從一種邊緣的互聯(lián)網(wǎng)哲學(xué)蛻變?yōu)槎聲捻敿墤?zhàn)略，無疑是21世紀最成功的意識形態(tài)戰(zhàn)役之一。那些此前只盯著季度財報和用戶增長曲線的科技高管，突然開始像神秘主義者一般，高談闊論人類的宇宙宿命。這種轉(zhuǎn)變重塑了人工智能發(fā)展的政治經(jīng)濟格局。

OpenAI，這家成立于2015年、旨在確保人工智能造福全人類的非營利組織，正是這一轉(zhuǎn)型的縮影。OpenAI已演變?yōu)橐环N奇特的嵌合體，它是一個由非營利董事會控制的“利潤上限”公司，估值高達5000億美元，卻在爭分奪秒地構(gòu)建那個它自己警告可能會毀滅我們的AGI。這種結(jié)構(gòu)因其復(fù)雜性而顯得繁復(fù)，但在超級智能的邏輯中卻完全合情合理。如果AGI既是終極的應(yīng)許之地，又是存在的終極威脅，那么構(gòu)建它的組織就必須是矛盾的統(tǒng)一體，既商業(yè)又利他，既激進又審慎，既胸懷天下又諱莫如深。

OpenAI的首席執(zhí)行官奧特曼已將勉為其難的先知（Reluctant Prophet）這一修辭姿態(tài)修煉得爐火純青。在國會聽證、博客文章和采訪中，他一方面警告人工智能的潛在危險，另一方面又堅持推進技術(shù)發(fā)展的必要性。他今年早些時候在自己的博客上寫道：“我們的使命是確保AGI能夠造福全人類?！彼恼擖c中有一種強烈的緊迫感，認為我們必須在其他人之前完成AGI的構(gòu)建，因為唯有我們才擁有足夠的責(zé)任感去駕馭它。奧特曼似乎有意將OpenAI定位為人類的代表，背負著創(chuàng)造類神智能的可怕重擔(dān)，只為將其關(guān)進籠子里。

盡管如此，OpenAI也在追求利潤。而這一切真正圍繞的，就是利潤。超級智能的敘事帶來了巨大的財務(wù)影響，為尚未展現(xiàn)出持續(xù)自給自足能力的公司賦予天文數(shù)字的估值。畢竟，如果你正在打造人類的最后發(fā)明，傳統(tǒng)的商業(yè)指標或許便不再適用。這種末世論框架解釋了為何微軟會向OpenAI投資130億美元，為何風(fēng)投機構(gòu)熱衷于投資致力于AGI的初創(chuàng)公司，以及為何市場會將像ChatGPT這樣的大語言模型視為全知的先驅(qū)者。

由前OpenAI高管創(chuàng)立的Anthropic，將自己定位為“安全導(dǎo)向”的替代方案，承諾打造“有用、誠實且無害”的AI系統(tǒng)，從而籌集了數(shù)十億美元資金。但這一切不過是一場精心編排的安全表演，因為AI帶來的危害在OpenAI、Anthropic、Google DeepMind等公司之間的競爭中，并沒有真實的立足之地，真正的較量在于誰能夠構(gòu)建出最佳、最盈利的模型，以及誰能更好地用謹慎的語言包裝這場野心勃勃的追逐。

超級智能的自我實現(xiàn)預(yù)言排除民主討論

這種動態(tài)引發(fā)了一場底線競賽，每家公司都以競爭對手可能不夠謹慎為由，為自己的加速辯護：中國人來了，如果我們放慢速度，他們就會率先構(gòu)建對齊不當?shù)腁GI。Meta在沒有適當保障的情況下發(fā)布了開源模型。如果某個無名之輩率先突破了怎么辦？這種偏執(zhí)的邏輯封死了任何真正的暫?；蛎裰魃套h的可能。于是，速度即安全，審慎即魯莽。

超級智能的討論也重塑了企業(yè)內(nèi)部的政治格局，AI安全團隊通常由相信存在性風(fēng)險的成員組成，他們?yōu)榧みM的開發(fā)提供道德掩護，通過強化“我們在拯救世界”的信念，消解了針對商業(yè)行為的批評。如果你的安全團隊正在發(fā)表關(guān)于防止人類滅絕的論文，那么常規(guī)的商業(yè)監(jiān)管看起來便顯得微不足道了。

2023年11月OpenAI那場廣為人知的宮斗大戲，將這些動態(tài)暴露無遺。當董事會因質(zhì)疑奧特曼的坦誠而試圖解雇他時，由此引發(fā)的混亂暴露了公司內(nèi)部潛在的權(quán)力關(guān)系。那些被“拯救人類”的愿景招募進來的員工，他們威脅如果他們的CEO不被重新任命，就要集體辭職。他們對奧特曼的忠誠，竟壓倒了拯救人類的使命？盡管微軟并未正式掌控OpenAI董事會，但作為公司的主要資助者和云服務(wù)提供商，它在關(guān)鍵時刻發(fā)揮了決定性影響，提出雇傭Altman及其追隨者。最終，那些認為“誠實是CEO重要品質(zhì)”的董事會成員黯然離場，奧特曼凱旋歸來。

超級智能的宣傳服務(wù)于權(quán)力，當它與資本和控制所帶來利益發(fā)生沖突時，就會被擱置一旁。這從來不是關(guān)于拯救人類，而是關(guān)于利潤。

宣揚人工智能末日的創(chuàng)業(yè)者們發(fā)現(xiàn)了一個完美的公式。通過警告存在性風(fēng)險，他們將自己定位為不可或缺的角色；通過競相構(gòu)建AGI，他們?yōu)闊o限制地使用資源提供了正當理由；通過聲稱擁有獨特責(zé)任，他們轉(zhuǎn)移了民主監(jiān)督的關(guān)注點。未來成了當下資本積累的人質(zhì)，而我們卻被告知要對這些負責(zé)任的看守者心懷感激。

超級智能的討論積極地塑造著未來。通過不斷重復(fù)，推測性場景獲得了宿命般的力量。這一過程制造了必然性，揭示了權(quán)力如何通過預(yù)言發(fā)揮作用。

試看那個斷言：AGI將在5到20年內(nèi)出現(xiàn)。在許多信源中，這一預(yù)測出人意料地保持穩(wěn)定。但自20世紀中葉以來，研究人員和未來學(xué)家就反復(fù)承諾“在幾十年內(nèi)”會出現(xiàn)人類水平的人工智能，但這一時間線卻不斷后移。這種移動的時間窗口具有特定的功能：它足夠近，可以為立即的大規(guī)模投資提供正當理由，又足夠遠，可以推遲必要的問責(zé)。它創(chuàng)造了一個時間框架，在此框架下，無論民主討論的情況是怎么樣，某些行動都會變得不可避免。

這種必然發(fā)生的敘事滲透到硅谷對人工智能的討論中。高管們宣稱，AGI的到來是不可避免的，無論我們是否喜歡，仿佛技術(shù)發(fā)展是一種自然力量，而非人類的選擇。這種將進步自然化的說法，掩蓋了那些使某些未來比其他未來更有可能發(fā)生的具體決策、投資和基礎(chǔ)設(shè)施。當科技領(lǐng)袖說我們無法阻止進步時，他們真正想表達的是，你們無法阻止我們。

媒體的推波助瀾在這一過程中起著至關(guān)重要的作用，因為大語言模型的每一次小幅改進都會被描繪成通向AGI的一步。ChatGPT能寫詩，顯然意識即將來臨。Claude能解決編程問題，奇點已經(jīng)臨近。這類說法往往源自構(gòu)建這些系統(tǒng)的企業(yè)本身，營造出一種趨勢，這種趨勢逐漸成為自我實現(xiàn)的預(yù)言。投資者因此投資，因為AGI似乎觸手可及；研究人員加入公司，因為未來正在那里被構(gòu)建；政府推遲監(jiān)管，因為他們不想拖累本國的領(lǐng)頭羊。

AGI必然發(fā)生這一敘事模式也通過語言選擇加以構(gòu)建。注意“AGI”如何迅速取代“人工智能”在公共討論中的地位，仿佛通用智能是自然演化的必然結(jié)果，而非一個具體且存在爭議的概念?！俺壷悄堋薄蛘哌@個概念最終采用的任何其他術(shù)語似乎自然而然地成為這架階梯上的下一步。請注意，“對齊”，即確保人工智能系統(tǒng)做人類想要的事情是如何成為AI安全領(lǐng)域核心問題的，它假設(shè)了超人智能的存在，并將它帶來的挑戰(zhàn)視為技術(shù)問題而非政治問題。

再考慮“算力”這一原本指代計算資源的詞，是如何在當下成為一種像石油或谷物一樣，可以被囤積和控制的可量化的資源。這種語義轉(zhuǎn)變很重要，因為語言塑造可能性。當我們接受AGI是不可避免的，我們就不再追問是否應(yīng)該去建造它，而在這種喧囂中，我們卻忽略了我們不經(jīng)意間已經(jīng)默認了由一小群技術(shù)專家來決定我們的未來。

當我們同時將算力視為一種戰(zhàn)略資源時，我們進一步將權(quán)力集中于那些掌控數(shù)據(jù)中心的人手中，而這些人，正如奧特曼被罷免事件所展示的那樣，這又將更多的權(quán)力賦予這一小撮人。

本應(yīng)抵制這種邏輯的學(xué)術(shù)機構(gòu)，已被征召進這場必然性的制造中。渴望產(chǎn)業(yè)資金和相關(guān)性的大學(xué)，紛紛設(shè)立AI安全中心和存在性風(fēng)險項目。這些機構(gòu)表面上獨立，卻最終強化了產(chǎn)業(yè)敘事，它們撰寫關(guān)于AGI時間線和對齊策略的論文，為科幻小說賦予學(xué)術(shù)權(quán)威。年輕的研究人員看到資金和聲望集中在超級智能問題上，便將職業(yè)方向轉(zhuǎn)向超級智能相關(guān)議題，而非當下人工智能的危害。

國際競爭進一步強化了超級人工智能必然出現(xiàn)的敘事。美國和中國之間的“人工智能軍備競賽”被描述為存在主義層面的較量：誰率先構(gòu)建出AGI，誰就將獲得永久的地緣政治主導(dǎo)權(quán)。這種新冷戰(zhàn)的修辭方式排除了合作、監(jiān)管或克制的可能性，讓沖向危險技術(shù)的競賽看起來像是愛國主義，而非魯莽舉動。國家安全再次成為壓制民主討論的王牌。

這一預(yù)言通過資源集中實現(xiàn)了自我應(yīng)驗——隨著資源不斷流向AGI研究，其他AI研究方式逐漸被邊緣化。原本可能從事可解釋AI或用于研究AI向善的科研人員，轉(zhuǎn)而加入專注于增加大語言模型規(guī)模的實驗室。未來變得狹窄，并非由于預(yù)言本身準確，而是因為預(yù)言號令了資源的分配。

從財務(wù)角度來看，這是一種“正面我贏，反面你輸”的安排：如果承諾的突破得以實現(xiàn)，私營公司及其投資者將獲得全部收益；但如果進展停滯或未能達到預(yù)期，耗能巨大的數(shù)據(jù)中心和重新調(diào)整的產(chǎn)業(yè)政策所產(chǎn)生的沉沒成本，則由公共資產(chǎn)負債表買單。整個宏觀經(jīng)濟正被綁定在一個超級人工智能必然出現(xiàn)，這一我們尚未完全理解其基本物理規(guī)律的故事上。

我們必須認識到這一過程是政治性的，而非技術(shù)性的。超級智能必然發(fā)生的敘事，是通過對特定的資金、注意力和合法性進行選擇而制造出來的，不同的選擇將導(dǎo)致不同的未來。根本性的問題不在于超級智能是否會到來，而在于誰從讓我們相信它會必然到來中獲益。

?Wenyi Geng

超級智能敘事之外被遺棄的現(xiàn)在

當我們沉迷于假設(shè)的機器神明之時，現(xiàn)實中的AI系統(tǒng)正在以深刻且常常有害的方式重塑人類生活。關(guān)于超級智能的討論不僅轉(zhuǎn)移了人們對這些直接影響的注意力；甚至可以說，它為這些影響提供了合法性。畢竟，如果我們正在競相奔向AGI以拯救人類，那么過程中的些許附帶損害又算得了什么？

以勞動為例，這一人類創(chuàng)造與再生產(chǎn)世界的根本活動。AI系統(tǒng)已經(jīng)通過算法管理控制了數(shù)百萬工人的日與夜。在亞馬遜倉庫中，工人的行動由手持設(shè)備決定，這些設(shè)備計算最優(yōu)路徑，監(jiān)控休息時間，并自動解雇那些跟不上節(jié)奏的工人。雖然關(guān)于自動化的文化討論常常強調(diào)它在取代人類勞動這一點上的威脅，但對許多人來說，殘酷的現(xiàn)實是自動化已經(jīng)讓許多工人已成為算法的附屬品，執(zhí)行機器尚無法完成的任務(wù)，同時被計算系統(tǒng)衡量和監(jiān)控。

弗雷德里克·泰勒是19世紀的美國機械工程師，也是《科學(xué)管理原理》的作者，他因通過嚴格控制勞動來實現(xiàn)最大效率而聞名。如今，我們所處的是一種以技術(shù)為中介的泰勒主義，工作被分解為微小的、經(jīng)過優(yōu)化的動作，每一個動作都被監(jiān)控和計時，唯一的區(qū)別在于，管理的鞭子從秒表變成了代碼。泰勒的邏輯已經(jīng)被以遠超他本人想象的方式實踐和應(yīng)用。但當我們討論人工智能與工作時，話題總會瞬間跳躍到“AGI是否會消滅所有工作”，仿佛當下那些被算法驅(qū)使的工人的苦難，僅僅是通往廢棄途中的一個中轉(zhuǎn)站。

內(nèi)容審核產(chǎn)業(yè)是這個“被遺棄的現(xiàn)在”的縮影。數(shù)以十萬計的工人，主要來自全球南方國家，每天查看人類所制造的最惡劣內(nèi)容——包括兒童虐待和性暴力，以訓(xùn)練人工智能系統(tǒng)識別和過濾此類材料。這些拿著硅谷同行零頭薪水的工人，承受著有據(jù)可查的心理創(chuàng)傷。他們是“人工智能安全”的幕后勞動大軍，在保護用戶免受傷害的同時，自身卻遍體鱗傷。然而，他們的痛苦很少出現(xiàn)在人工智能倫理的討論中，因為那里的討論總是圍繞著如何防止超級智能在未來可能帶來的假設(shè)性危害。

監(jiān)控代表了另一個被未來主義猜想所掩蓋的現(xiàn)實。人工智能系統(tǒng)能對人類行為以前所未有地精確度進行追蹤。人臉識別技術(shù)可以識別抗議者和異見人士。預(yù)測性警務(wù)算法將執(zhí)法資源引導(dǎo)至與種族人口統(tǒng)計數(shù)據(jù)神秘相關(guān)的一些“高風(fēng)險”社區(qū)。邊境控制機構(gòu)利用人工智能通過語音分析和微表情來評估尋求庇護者的可信度。社會信用系統(tǒng)則通過分析個人的數(shù)字足跡，用算法對公民的可信度進行評分。

這些并非是想象中的技術(shù)；它們已經(jīng)是實際部署的系統(tǒng)，它們不需要通用人工智能，只需要大規(guī)模的模式匹配。但在超級智能的話語體系中，監(jiān)控被處理為一種未來的風(fēng)險（萬一AGI監(jiān)控所有人呢？）而非當前的現(xiàn)實。這種時間錯位有利于當權(quán)者，因為討論假設(shè)性的全景監(jiān)獄，比拆除現(xiàn)有的監(jiān)控系統(tǒng)更容易。

算法偏見已滲透到關(guān)鍵的社會基礎(chǔ)設(shè)施中，通過賦予人類偏見以數(shù)學(xué)權(quán)威，放大并合理化了現(xiàn)有的不平等。人工智能行業(yè)的回應(yīng)是技術(shù)官僚式的：我們需要更好的數(shù)據(jù)集、更多樣化的團隊和算法審核，這是用技術(shù)手段解決政治問題。與此同時，這些公司正爭先恐后地構(gòu)建AGI，卻大規(guī)模部署帶有偏見的系統(tǒng)，將當前的傷害視為通向超越之路上的可接受代價。暴力是真實的，但解決方案卻始終被無限期地推遲。

而在這一切之下，隨著我們持續(xù)訓(xùn)練大語言模型，環(huán)境破壞正加速進行。大語言模型的訓(xùn)練消耗了海量能源。當被質(zhì)問這種生態(tài)代價時，人工智能公司便拋出假設(shè)性的紅利：例如AGI將解決氣候變化或優(yōu)化能源系統(tǒng)。他們用未來為現(xiàn)在開脫，仿佛這些投機性的收益應(yīng)該超過當前實際發(fā)生的損害。這種時間上的把戲，以拯救世界之名行毀滅世界之實，如果不是后果是如此慘烈，倒也像是一出喜劇。

正如它侵蝕環(huán)境一樣，人工智能也在侵蝕民主。推薦算法早已通過制造過濾氣泡和放大極端主義重塑了政治話語，但最近，生成式人工智能則向信息空間中傾瀉了海量的內(nèi)容，使得人們難以區(qū)分真相與虛假信息。公共領(lǐng)域是民主生活的基礎(chǔ)，它依賴于人們有共享足夠的信息以便進行公共討論。

當人工智能系統(tǒng)將公民細分到越來越狹窄的信息流時，這個共享空間就崩塌了。我們不再爭論相同的事實，因為我們不再身處同一個世界。然而，我們關(guān)于治理的討論卻聚焦于“如何防止AGI在未來摧毀民主”，而非解決“當前的 AI系統(tǒng)如何正在瓦解民主”。我們爭論人工智能對齊問題，卻忽視了在關(guān)鍵問題上，在人類之間需開展的對齊，例如人工智能系統(tǒng)是否應(yīng)該服務(wù)于民主價值，而不是企業(yè)利潤。設(shè)想中的超級智能專制掩蓋了現(xiàn)實中的監(jiān)控資本主義專制。

隨著人類適應(yīng)算法做出的判斷，人工智能對心理健康造成的影響逐漸累積。為最大化參與度而優(yōu)化的社交媒體算法，推流著引發(fā)焦慮、抑郁和飲食障礙的內(nèi)容。年輕人將算法定義的指標，例如點贊、分享和觀看次數(shù)內(nèi)化為衡量自我價值的標準。通過人工智能系統(tǒng)對社會生活的量化，產(chǎn)生了新的異化和痛苦形式，但這些即時的心理危害與人們想象中的存在性風(fēng)險相比微不足道，而后者卻獲得了遠多于預(yù)防假設(shè)的超級智能災(zāi)難所應(yīng)投入的關(guān)注和資源。

這些當前的危害都可以通過集體行動來應(yīng)對。我們可以規(guī)范算法管理，支持內(nèi)容審核員，限制監(jiān)控，審查偏見，控制能源使用，保護民主并優(yōu)先考慮心理健康。這些并非需要超級智能才能解決的技術(shù)難題，而是需要民主介入的、老派的政治挑戰(zhàn)。然而，超級智能的討論卻讓這些平凡的干預(yù)措施顯得幾乎過時。當工作本身可能很快就會消失，為什么我們還要重新組織工作場所？當AGI可能已經(jīng)能監(jiān)控我們的思想，我們?yōu)槭裁催€要對監(jiān)控加以監(jiān)管？當超級智能可能完全超越人類的偏見，我們?yōu)槭裁催€要處理當下的偏見？

這個被遺棄的當下，充滿了可以通過人類選擇而非機器超越來緩解的痛苦，而我們每花一分鐘討論尚未存在的AGI對齊問題，就等于少花一分鐘去應(yīng)對此刻正傷害著數(shù)百萬人的算法暴行。未來導(dǎo)向的超級人工智能敘事不僅僅是干擾，而是一種遺棄，是一種故意的背過身去，逃避當下的責(zé)任，以此換取臆想中的赦免。

人工智能時代的替代想象

超級智能敘事的主導(dǎo)地位掩蓋了一個事實：AI 的道路不止一條。存在著許多基于當下社會需求、而非膜拜假設(shè)中機器神明的替代路徑。這些替代方案表明，你不必非得加入那場通往超級智能的亡命賽跑，也不必徹底背棄技術(shù)。此時此刻，我們完全可以以不同的方式構(gòu)建和治理自動化。

全球各地，社區(qū)已經(jīng)開始嘗試不同的數(shù)據(jù)組織和自動化方式。例如，原生數(shù)據(jù)主權(quán)運動（Indigenous Data Sovereignty）已經(jīng)發(fā)展出治理框架、數(shù)據(jù)平臺和研究協(xié)議，將數(shù)據(jù)視為一種需要集體同意的公有資源。加拿大首個信息治理中心（First Nations Information Governance Centre）和新西蘭的Te Mana Raraunga等組織堅持認為，數(shù)據(jù)項目（包括那些涉及AI的項目）必須對其關(guān)系、歷史和義務(wù)負責(zé)，而不僅僅是對優(yōu)化指標和規(guī)模擴張負責(zé)。他們的項目提供了自動系統(tǒng)的設(shè)計實例，這些系統(tǒng)旨在尊重文化價值并加強地方自主性，這與有效利他主義的沖動形成鏡像，不會為了假設(shè)的未來人群而抽象地脫離具體地點。

工人也在嘗試不同的安排，工會和勞工組織正在就算法管理協(xié)商條款，爭取對工作場所系統(tǒng)的審計權(quán)，并開始建立由工人控制的數(shù)據(jù)信托，以管理他們的信息如何被使用。這些舉措源于實際生活經(jīng)驗，而非哲學(xué)推測，它們來自那些每天都在算法監(jiān)控之下生活的人們，他們決心重新設(shè)計管理他們生存的系統(tǒng)。而當科技高管因?qū)GI的推測而受到贊譽時，那些分析已有系統(tǒng)的人們卻容易被輕易地視為盧德主義者。

類似的實驗也出現(xiàn)在以女性主義和殘障為中心的技術(shù)項目中，這些項目圍繞關(guān)懷、可及性和認知多樣性構(gòu)建工具；還出現(xiàn)在全球南方的倡議中，這些倡議使用適度、由本地社區(qū)管理的AI系統(tǒng)，在資源有限的情況下支持醫(yī)療、農(nóng)業(yè)或教育。不關(guān)注增長的技術(shù)專家正在設(shè)計低功耗、社區(qū)托管的模型和數(shù)據(jù)中心，旨在嵌入生態(tài)極限之中，而非試圖凌駕其上。這些案例表明，批判與行動主義完全可以轉(zhuǎn)化為具體的基礎(chǔ)設(shè)施和制度安排，證明了AI的組織方式不必默認那個“為了少數(shù)科技兄弟眼中的大善而犧牲所有人”的超級智能范式。

這些多樣化的想象——原生數(shù)據(jù)治理、工人主導(dǎo)的數(shù)據(jù)信托以及為全球南方設(shè)計的AI項目，其共同點在于對“智能”本身的另一種理解。他們并不將智能視為一種抽象的、脫離身體的、能夠優(yōu)化所有領(lǐng)域的能力，而是將其視為一種與特定情境緊密關(guān)聯(lián)的、具有關(guān)系性和具身性的能力。他們關(guān)注的是真實存在的社區(qū)及其現(xiàn)實需求，而非假設(shè)的人類面對假設(shè)的機器。正因如此，它們與在超級智能的宏大敘事相對比時顯得謙遜，畢竟，存在性風(fēng)險讓所有其他擔(dān)憂都顯得微不足道。你幾乎能聽到那些反駁：當工作本身都快消失了，談?wù)摴と藱?quán)利有何意義？當AGI被設(shè)想為能夠按需解決氣候變化問題時，為何還要考慮環(huán)境限制？

這些替代方案也揭示了超級智能敘事中的民主缺失。將人工智能同時包裝為普通人無法理解的神秘技術(shù)問題，以及不可置疑的社會進步引擎，使得權(quán)力得以在系統(tǒng)擁有者和構(gòu)建者手中高度集中。一旦算法參與到溝通、就業(yè)、福利、執(zhí)法和公共討論，它們就成為政治機構(gòu)。這種權(quán)力結(jié)構(gòu)是封建式的，一小撮企業(yè)精英憑借“特殊知識”和“末日緊迫感”壟斷決策權(quán)，而公民和納稅人則被告知他們無法理解這些技術(shù)復(fù)雜性，且任何減速都是在全球競賽中的不負責(zé)任。其結(jié)果是習(xí)得性無助，一種認為技術(shù)未來無法通過民主方式塑造，只能被托付給那些“遠見卓識”的工程師的宿命感。

一種民主的方法會顛倒這種邏輯，認識到關(guān)于監(jiān)控、工作自動化、公共服務(wù)，甚至對超級智能的追求等問題，并不是工程難題，而是價值選擇。公民不需要理解反向傳播算法，就可以討論預(yù)測性警務(wù)是否應(yīng)該存在，正如他們不需要理解熱力學(xué)，就可以辯論交通政策。民主，要求我們要有權(quán)塑造集體生活的條件，其中必然包括人工智能的架構(gòu)。

這可以有多種形式。工人可以參與關(guān)于算法管理的決策。社區(qū)可以根據(jù)自身優(yōu)先事項管理本地數(shù)據(jù)。關(guān)鍵的計算資源可以由公共或合作方式擁有，而不是集中在少數(shù)公司手中。市民大會可以被賦予實際的決策權(quán)，決定一個城市是否推進有爭議的AI應(yīng)用，例如人臉識別和預(yù)測性警務(wù)。開發(fā)者可以在預(yù)防性框架下被要求在部署前證明其安全性。國際協(xié)議可以對AI研究中最危險的領(lǐng)域設(shè)定限制。所有這些都不是在討論AGI或其他可以想象的超級智能是否會或不會出現(xiàn)；它只關(guān)乎一個認知：技術(shù)權(quán)力的分配是一種政治選擇，而非不可避免的宿命。

超級智能的敘事通過將集中權(quán)力描繪為悲劇性的必然，削弱了這些民主實踐的可能性。如果人類滅絕近在咫尺，公眾商議便成了我們負擔(dān)不起的奢侈品。如果AGI是不可避免的，那么治理權(quán)就必須讓渡給那些正在競相構(gòu)建它的群體。這種敘事制造緊迫感，以合理化對民主的侵蝕。于是，最初關(guān)于假設(shè)性機器的故事，最終卻演變?yōu)殛P(guān)于現(xiàn)實政治權(quán)力喪失的故事。歸根結(jié)底，更大的風(fēng)險在于，當我們忙著辯論虛構(gòu)的未來心智如何對齊時，我們卻忽視了現(xiàn)有制度的對齊問題。

事實是，除了技術(shù)變革本身是必然的之外，關(guān)于我們技術(shù)未來的任何事情都不是必然的。變化是確定的，但其方向卻未必。我們尚未理解自己正在構(gòu)建什么樣的系統(tǒng)，或者它們將產(chǎn)生怎樣的，突破與失敗相互交織的未來。這種不確定性使得將公共資源和注意力孤注一擲于單一的推測性路徑，顯得尤為魯莽。

每一個算法都蘊含著關(guān)于價值和受益者的選擇。超級智能的敘事試圖用宿命的薄紗掩蓋這些抉擇，但替代性的想象——原生治理、工人主導(dǎo)的設(shè)計、女性主義與殘障正義、基于公共領(lǐng)域的AI模式以及生態(tài)約束卻提醒我們，其他路徑是可能的，并且已經(jīng)在構(gòu)建之中。

真正的政治問題，不是某種人工超級智能是否會涌現(xiàn)，而是誰有權(quán)決定我們構(gòu)建和維持何種智能？答案不能留給那些宣揚“人工超越，世界滅亡”的企業(yè)先知，因為AI的未來是一個政治場域，它應(yīng)該開放給各種觀點加以爭論。它不屬于那些以最大聲警告神明或怪物的人，而應(yīng)屬于那些擁有道德權(quán)利，能夠通過民主治理塑造他們生活的技術(shù)的公眾。

譯者的話

在最近一年中，你有多少次聽到超級智能，對齊的討論，在你看到那些大佬們預(yù)測2027年即將降臨的超級智能時，是否忘記了一個基本事實：我們至今仍不知道如何制造一個超級智能，一切關(guān)于它的討論，本質(zhì)上都是建立在沙堆之上的假設(shè)。

這篇長文揭示了一種人類歷史中少見的現(xiàn)象。當賣傘的人擁有了人工降雨的能力，我們是否應(yīng)當對他們兜售雨傘的動機保持警惕？工業(yè)革命時，工廠主不會說會有一種將要取代一切勞動力的機器，以此勸誘工人“現(xiàn)在苦一苦，好日子就在后頭”。正是由于缺少對烏托邦未來的想象，工人們才為了自己的權(quán)益爭取，才有了如今的五一勞動節(jié)。

晚期資本主義的可怕，在于其對思想的隱性控制是潛移默化的，是通過議題設(shè)置，偷換概念等手段完成的。當OpenAI不再開源，當科技巨頭為了曝光，而發(fā)布的關(guān)于超級智能，AI安全等研究時，我們不應(yīng)當遺忘那些持續(xù)承諾開源的中國企業(yè)，那些關(guān)注AI在具體場景中應(yīng)用的小微甚至個人開發(fā)者。

當西方主流敘事將超級智能描繪成《指環(huán)王》中的至尊魔戒，能夠掌管一切時，我們不應(yīng)當無條件的遵循，而應(yīng)替人類去探索另一條基于本體，立足場景的全新AI應(yīng)用之路。謹以此作為翻譯這篇長文的初心與愿景。

https://www.noemamag.com/the-politics-of-superintelligence/

關(guān)于追問nextquestion

天橋腦科學(xué)研究院旗下科學(xué)媒體，旨在以科學(xué)追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學(xué)的邊界。歡迎評論區(qū)留言，或后臺留言“社群”即可加入社群與我們互動。您也可以在后臺提問，我們將基于追問知識庫為你做出智能回復(fù)哦~

關(guān)于天橋腦科學(xué)研究院

天橋腦科學(xué)研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創(chuàng)建的世界最大私人腦科學(xué)研究機構(gòu)之一，圍繞全球化、跨學(xué)科和青年科學(xué)家三大重點，支持腦科學(xué)研究，造福人類。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設(shè)立了應(yīng)用神經(jīng)技術(shù)前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學(xué)院合作成立了加州理工天橋神經(jīng)科學(xué)研究院。

Chen Institute建成了支持腦科學(xué)和人工智能領(lǐng)域研究的生態(tài)系統(tǒng)，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫(yī)生獎勵計劃、、、科普視頻媒體「大圓鏡」等。