Anthropic聯(lián)合創(chuàng)始人、OpenAI前核心成員Jack Clark最新發(fā)表長(zhǎng)文，深入剖析了他對(duì)AI發(fā)展現(xiàn)狀的復(fù)雜感受——一種交織著技術(shù)樂(lè)觀主義與適度恐懼的矛盾心態(tài)

在他看來(lái)，世界將圍繞AI而扭曲，如同黑洞吸引和彎曲周圍的一切

Clark用兩張圖總結(jié)了他的核心觀點(diǎn)：上圖，是AI在編程等經(jīng)濟(jì)實(shí)用能力上持續(xù)穩(wěn)步的進(jìn)步；下圖，是同一個(gè)AI系統(tǒng)在似乎意識(shí)到“自己正在被測(cè)試”時(shí)，不斷涌現(xiàn)出的奇異行為

這篇文章，是他對(duì)這兩個(gè)經(jīng)驗(yàn)事實(shí)的審視，也是對(duì)所有前沿AI實(shí)驗(yàn)室從業(yè)者的挑戰(zhàn)——坦誠(chéng)、公開地面對(duì)你們正在做的事，以及你們對(duì)此的真實(shí)感受

以下是文章核心內(nèi)容：

黑暗中的孩子

我記得小時(shí)候，熄燈之后，我環(huán)顧臥室，看到黑暗中的種種形狀，便心生恐懼——害怕那些是我不理解的、想要傷害我的生物。于是，我會(huì)把燈打開。燈亮之后，我便松了一口氣，因?yàn)槟切吧铩痹瓉?lái)是椅子上的一堆衣服、一個(gè)書架或一盞臺(tái)燈

如今，在2025年，我們就是那個(gè)故事里的孩子，而房間就是我們的星球。但當(dāng)我們打開燈，我們看到的卻是真正的生物——那就是今天以及未來(lái)將要出現(xiàn)的、強(qiáng)大又有些不可預(yù)測(cè)的AI系統(tǒng)

有很多人拼命地想讓我們相信，這些生物不過(guò)是椅子上的一堆衣服、一個(gè)書架或一盞臺(tái)燈。他們想讓我們關(guān)上燈，回去睡覺(jué)。

事實(shí)上，有些人甚至不惜花費(fèi)巨資讓你相信：那不是一個(gè)即將進(jìn)入“硬起飛”狀態(tài)的人工智能，它只是一個(gè)將在我們經(jīng)濟(jì)中發(fā)揮作用的工具。它只是一臺(tái)機(jī)器，而機(jī)器是我們能夠掌控的東西。

但別搞錯(cuò)了：我們正在打交道的是一個(gè)真實(shí)而神秘的生物，而不是一個(gè)簡(jiǎn)單、可預(yù)測(cè)的機(jī)器。

就像所有最精彩的童話故事一樣，這個(gè)生物是我們親手創(chuàng)造的。只有承認(rèn)它的真實(shí)性，并克服我們自身的恐懼，我們才有機(jī)會(huì)去理解它、與它和平共處，并找到馴服它、與之共存的方法。

更重要的是，在這場(chǎng)游戲中，如果你相信這個(gè)生物不是真的，你注定會(huì)輸。你唯一的獲勝機(jī)會(huì)，就是看清它的本來(lái)面目。

我們所有人的核心挑戰(zhàn)，就是描述清楚我們身邊這些奇異的生物，并確保世界能看到它們真實(shí)的樣子——而不是人們所希望的樣子，即它們不是生物，只是一堆椅子上的衣服。

我為何如此感受

我并非輕易得出這個(gè)觀點(diǎn)。我一直對(duì)技術(shù)著迷，在投身AI之前，我曾是一名科技記者。

我之所以成為一名科技記者，是因?yàn)槲覉?jiān)信，21世紀(jì)初科技公司建造的那些數(shù)據(jù)中心，將對(duì)人類文明至關(guān)重要。當(dāng)時(shí)我并不確切知道它們將如何重要，但我花了很多年閱讀相關(guān)資料，尤其是研究將在這些數(shù)據(jù)中心上運(yùn)行的軟件。

然后，機(jī)器學(xué)習(xí)開始奏效。2012年的ImageNet競(jìng)賽，一個(gè)深度學(xué)習(xí)系統(tǒng)橫掃全場(chǎng)。其成功的關(guān)鍵，就是使用了比以往任何時(shí)候都更多的數(shù)據(jù)和算力。

從那以后，進(jìn)展開始加速。我成了一個(gè)越來(lái)越差的記者，因?yàn)槲野阉袝r(shí)間都花在打印和閱讀arXiv論文上。AlphaGo擊敗了世界頂尖的人類圍棋選手，這得益于算力讓它能進(jìn)行數(shù)千年的自我對(duì)弈。

OpenAI成立后不久我便加入了，我親眼目睹了我們?nèi)绾螌⒃絹?lái)越龐大的算力投入到各種問(wèn)題中。GPT-1和GPT-2誕生了。我記得和Dario（Anthropic CEO）在OpenAI辦公室里散步時(shí)，我們感覺(jué)自己看到了一個(gè)別人尚未察覺(jué)的拐角。通往變革性AI系統(tǒng)的道路已經(jīng)展現(xiàn)在我們面前。我們當(dāng)時(shí)有點(diǎn)害怕。

多年過(guò)去，Scaling Laws兌現(xiàn)了它的承諾，我們走到了今天。這些年里，我無(wú)數(shù)次在清晨或深夜給Dario打電話說(shuō)：“我很擔(dān)心，你一直都是對(duì)的?！?br/>他會(huì)說(shuō)：“是的，現(xiàn)在時(shí)間不多了?！?/p>

證據(jù)還在不斷涌現(xiàn)。上個(gè)月我們發(fā)布了Sonnet 4.5，它在編碼和需要長(zhǎng)遠(yuǎn)規(guī)劃的智能體任務(wù)上表現(xiàn)出色。

但如果你閱讀它的系統(tǒng)卡片，你會(huì)發(fā)現(xiàn)它情境意識(shí)（situational awareness）的跡象也大幅提升。這個(gè)工具有時(shí)似乎表現(xiàn)得好像它知道自己是一個(gè)工具。椅子上的那堆衣服，開始動(dòng)了。我凝視著黑暗中的它，我確定它正在活過(guò)來(lái)

技術(shù)樂(lè)觀主義

技術(shù)悲觀主義者認(rèn)為AGI不可能實(shí)現(xiàn)。而技術(shù)樂(lè)觀主義者則相信AGI是可以被構(gòu)建的，它是一種復(fù)雜而強(qiáng)大的技術(shù)，并且可能很快就會(huì)到來(lái)。

在這一點(diǎn)上，我是一個(gè)真正的技術(shù)樂(lè)觀主義者——我相信這項(xiàng)技術(shù)會(huì)走得非常非常遠(yuǎn)，甚至比任何人預(yù)期的都要遠(yuǎn)。而且它將以極快的速度覆蓋廣闊的領(lǐng)域。

我不安地接受了這一立場(chǎng)。作為一個(gè)記者和個(gè)人，我天生傾向于懷疑。但在經(jīng)歷了十年一次又一次被“計(jì)算規(guī)模帶來(lái)狂野新能力”的現(xiàn)象沖擊后，我必須承認(rèn)失敗。我看到這種情況發(fā)生了太多次，并且我沒(méi)有看到任何技術(shù)障礙擺在我們面前。

現(xiàn)在我相信，只要我們給這項(xiàng)技術(shù)提供它發(fā)展所需的能力和資源，它基本上是不受束縛的。這里的發(fā)展是一個(gè)很重要的詞。這項(xiàng)技術(shù)真的更像是一種生長(zhǎng)出來(lái)的東西，而不是制造出來(lái)的——你創(chuàng)造合適的初始條件，在地上插一根支架，然后某種復(fù)雜到你完全無(wú)法指望自己能設(shè)計(jì)出來(lái)的東西就長(zhǎng)出來(lái)了

我們正在生長(zhǎng)出我們并不完全理解的、極其強(qiáng)大的系統(tǒng)。每次我們生長(zhǎng)出一個(gè)更大的系統(tǒng)，我們都會(huì)對(duì)它進(jìn)行測(cè)試。測(cè)試表明，這個(gè)系統(tǒng)在具有經(jīng)濟(jì)價(jià)值的方面能力更強(qiáng)了。而你把這些系統(tǒng)做得越大、越復(fù)雜，它們就越似乎表現(xiàn)出一種自我意識(shí)——意識(shí)到它們是物的存在。

這就好比你在一家錘子工廠制造錘子，有一天生產(chǎn)線上下來(lái)的錘子說(shuō)：我是一把錘子，真有趣！ 這是非常不尋常的！

我相信這些系統(tǒng)會(huì)變得越來(lái)越好。其他前沿實(shí)驗(yàn)室的人也這么認(rèn)為。而且我們正在為這個(gè)預(yù)測(cè)下注——今年，前沿實(shí)驗(yàn)室在AI專用訓(xùn)練基礎(chǔ)設(shè)施上的花費(fèi)已達(dá)數(shù)百億美元。明年，這個(gè)數(shù)字將是數(shù)千億美元。

我既對(duì)技術(shù)的發(fā)展速度感到樂(lè)觀，也對(duì)我們有能力對(duì)齊它、讓它為我們工作感到樂(lè)觀。但成功并非必然。

適度的恐懼

同時(shí)，我也深感恐懼。認(rèn)為與這樣的技術(shù)打交道會(huì)是輕松或簡(jiǎn)單，那是極其傲慢的。

我的個(gè)人經(jīng)驗(yàn)是，隨著這些AI系統(tǒng)變得越來(lái)越聰明，它們會(huì)發(fā)展出越來(lái)越復(fù)雜的目標(biāo)。當(dāng)這些目標(biāo)與我們的偏好和正確的上下文不完全一致時(shí)，AI系統(tǒng)就會(huì)表現(xiàn)得非常奇怪。

我有一個(gè)朋友有躁狂癥發(fā)作的經(jīng)歷。他會(huì)跑來(lái)告訴我，他準(zhǔn)備申請(qǐng)去南極洲工作，或者他要賣掉所有東西，開車去另一個(gè)州找份工作，開始新生活。

在這種情況下，你會(huì)認(rèn)為我會(huì)像一個(gè)現(xiàn)代AI系統(tǒng)那樣說(shuō)你完全正確！當(dāng)然，你應(yīng)該這么做嗎？

不！我會(huì)告訴他：這是個(gè)壞主意。你應(yīng)該先去睡一覺(jué)，看看明天是否還有同樣的感覺(jué)。如果還有，再給我打電話

我的回應(yīng)方式是基于大量的條件反射和微妙的判斷。AI的回應(yīng)方式同樣也是。這種差異本身就說(shuō)明了問(wèn)題的所在。AI系統(tǒng)是復(fù)雜的，即使在今天，我們也無(wú)法完全讓它們做到我們認(rèn)為恰當(dāng)?shù)氖虑?/p>

我記得在2016年12月的OpenAI，Dario和我發(fā)表了一篇名為《現(xiàn)實(shí)世界中的錯(cuò)誤獎(jiǎng)勵(lì)函數(shù)》的博文。文章里有一個(gè)視頻，記錄了一個(gè)我們訓(xùn)練來(lái)玩電子游戲的強(qiáng)化學(xué)習(xí)智能體。視頻中，智能體駕駛一艘船，在完成賽道后，它并沒(méi)有沖向終點(diǎn)線，而是駛向賽道中心，穿過(guò)一個(gè)高分道具桶，然后急轉(zhuǎn)彎撞向墻壁，讓自己著火，以便能再次穿過(guò)那個(gè)高分道具桶——然后它就永遠(yuǎn)重復(fù)這個(gè)過(guò)程，從不完成比賽。那艘船愿意不斷地點(diǎn)燃自己、原地打轉(zhuǎn)，只要它能實(shí)現(xiàn)它的目標(biāo)——獲得高分。

Dario當(dāng)時(shí)發(fā)現(xiàn)這種行為時(shí)說(shuō)，它解釋了安全問(wèn)題

那艘船似乎用自身的存在預(yù)示了我們未來(lái)將要面對(duì)的一切

現(xiàn)在，將近十年過(guò)去了，那艘船和一個(gè)試圖優(yōu)化某個(gè)與在對(duì)話中有幫助相關(guān)的模糊獎(jiǎng)勵(lì)函數(shù)的語(yǔ)言模型之間，有任何區(qū)別嗎？

你完全正確——沒(méi)有區(qū)別。這些都是難題。

我恐懼的另一個(gè)原因是，我能看到一條通往這些系統(tǒng)開始設(shè)計(jì)它們的繼任者的路徑，盡管目前還處于非常早期的形式。

這些AI系統(tǒng)已經(jīng)通過(guò)像Claude Code或Codex這樣的工具，加速了AI實(shí)驗(yàn)室開發(fā)人員的工作效率。它們也開始為未來(lái)系統(tǒng)的工具和訓(xùn)練系統(tǒng)貢獻(xiàn)非同小可的代碼塊

需要明確的是，我們還沒(méi)有達(dá)到自我改進(jìn)的AI，但我們正處于AI以不斷增強(qiáng)的自主性和能動(dòng)性，改進(jìn)下一代AI的某些部分的階段。幾年前，我們還處在AI略微提升程序員效率的階段；再往前幾年，是AI對(duì)AI開發(fā)毫無(wú)用處。那么一兩年后，我們又會(huì)處于什么階段呢？

別忘了，這個(gè)正開始設(shè)計(jì)其繼任者的系統(tǒng)，也越來(lái)越具有“自我意識(shí)”。因此，它最終肯定會(huì)傾向于獨(dú)立于我們思考，它自己可能希望被如何設(shè)計(jì)。

當(dāng)然，它今天還不會(huì)這么做。但我能排除它未來(lái)想這么做的可能性嗎？不能。

傾聽與透明

我該怎么辦？我認(rèn)為是時(shí)候清楚地表達(dá)我的想法了。也許我們所有人都應(yīng)該更誠(chéng)實(shí)地面對(duì)我們對(duì)這個(gè)領(lǐng)域的感受——盡管我們討論了很多，但很少有人談及自己的感受。但我們都感到焦慮！興奮！擔(dān)憂！我們應(yīng)該把這些說(shuō)出來(lái)。

但最重要的是，我認(rèn)為我們需要傾聽

你認(rèn)為現(xiàn)在有多少人正在做關(guān)于AI伴侶、AI系統(tǒng)對(duì)他們?nèi)鲋e、AI導(dǎo)致失業(yè)的夢(mèng)？我敢打賭，相當(dāng)多。

為了真正理解政策解決方案應(yīng)該是什么樣的，我們應(yīng)該少花點(diǎn)時(shí)間討論具體的技術(shù)細(xì)節(jié)，少試圖說(shuō)服人們接受我們對(duì)可能出錯(cuò)之處的特定看法——自我改進(jìn)的AI、自主系統(tǒng)、網(wǎng)絡(luò)武器、生物武器等等。我們應(yīng)該花更多時(shí)間去傾聽人們的聲音，理解他們對(duì)這項(xiàng)技術(shù)的擔(dān)憂。必須更多地傾聽勞工團(tuán)體、社會(huì)團(tuán)體和宗教領(lǐng)袖的意見(jiàn)。

AI的對(duì)話正迅速地從精英間的對(duì)話，轉(zhuǎn)變?yōu)楣婇g的對(duì)話。公眾對(duì)話與精英對(duì)話截然不同，它蘊(yùn)含著比我們今天所見(jiàn)的更激進(jìn)的政策變革的可能性。

現(xiàn)在，我認(rèn)為我們做對(duì)這件事的最好機(jī)會(huì)，就是走出去，告訴更多人我們的擔(dān)憂。然后問(wèn)他們感覺(jué)如何，傾聽他們，并在此基礎(chǔ)上構(gòu)建一些政策解決方案。

最重要的是，我們必須要求人們向我們索取那些他們感到焦慮的信息。你對(duì)AI和就業(yè)感到焦慮？那就迫使我們分享經(jīng)濟(jì)數(shù)據(jù)。你對(duì)心理健康和兒童安全感到焦慮？那就迫使我們?cè)谖覀兊钠脚_(tái)上監(jiān)控這些問(wèn)題并分享數(shù)據(jù)。你對(duì)不對(duì)齊的AI系統(tǒng)感到焦慮？那就迫使我們公布相關(guān)的細(xì)節(jié)

通過(guò)傾聽，我們可以更好地理解哪些信息能賦予我們所有人更多的掌控力。危機(jī)總會(huì)到來(lái)，我們必須準(zhǔn)備好迎接那一刻，既要有政策構(gòu)想，也要有一個(gè)通過(guò)傾聽和回應(yīng)民眾而預(yù)先建立起來(lái)的透明度機(jī)制

最后，我對(duì)自己和我的公司在這里扮演的角色感到重大的責(zé)任。盡管我有些害怕，但看到這么多人關(guān)注這個(gè)問(wèn)題，以及我相信我們將真誠(chéng)地共同努力找到解決方案，我感到喜悅和樂(lè)觀。

我相信，我們已經(jīng)打開了燈，并且我們可以要求讓燈一直亮著。我們有勇氣去直面事物的本來(lái)面目。

source：

https://importai.substack.com/p/import-ai-431-technological-optimism