機器學習先驅(qū)約書亞?本吉奧（Yoshua Bengio）

潘 展|翻譯

約書亞?本吉奧（Joshua Bengio）是加拿大蒙特利爾大學的計算機科學家。

2019年，他因開創(chuàng)“深度學習”技術(shù)而獲得A.M.圖靈獎——這一獎項被視為計算機科學領(lǐng)域的最高榮譽。如今，深度學習技術(shù)已讓人工智能（AI）無處不在。上個月，他還成為首位在谷歌學術(shù)上引用量突破百萬的學者。

此后，本吉奧將研究重心轉(zhuǎn)向探索人工智能帶來的風險。他擔任該領(lǐng)域國際顧問小組的主席，該小組成員包括來自30個國家、歐盟、經(jīng)濟合作與發(fā)展組織（OECD）以及聯(lián)合國的代表。今年早些時候，該小組發(fā)布了《先進人工智能安全性國際科學報告》。

近期，《自然》雜志在倫敦約見本吉奧探討了這項由他助力開創(chuàng)的技術(shù)所蘊含的潛力與隱患。以下是經(jīng)編輯整理后的對話內(nèi)容。

問：您撰寫過眾多論文，其中有沒有特別讓您自豪的？

答：是的，我從20世紀90年代末開始與人合著的一系列關(guān)于語言建模和注意力機制的論文。這些論文探討了如何在神經(jīng)網(wǎng)絡(luò)中引入注意力機制，使其更接近“系統(tǒng) 2”（system 2）。也就是說，讓AI更具審慎思考能力，而不只是一臺依靠直覺運作的機器。

問：您說的注意力機制，是不是谷歌研究人員2017年發(fā)表的一篇論文的核心技術(shù)？這篇論文提出了Transformer（轉(zhuǎn)換器）架構(gòu)，而ChatGPT中的T正來源于此技術(shù)？

答：是的。不過我還想提另一篇論文，它得到的關(guān)注遠不及前者。那就是關(guān)于課程式學習（curriculum learning）的研究。在這種學習方式中，機器接受訓練時，數(shù)據(jù)是按特定順序而非隨機輸入的。如今，這已成為該領(lǐng)域的標準方法。我的靈感來源于動物的學習過程。

問：直到幾年前，無法控制的人工智能可能帶來生存風險還不是您最擔心的問題。是什么改變了您的想法？

答：是2022年11月ChatGPT的問世。我花了兩三個月時間才意識到，我們正走在一條可能極具危險性的道路上。雖然最初看到深度學習終于達成這一里程碑時，我感到很欣慰，但我很快意識到，由于這類系統(tǒng)的特性，我們根本不知道該如何確保它們的行為符合人類的期望。

我開始想到我的孫子，20年后當他22歲時他還能擁有正常的生活嗎？他還能生活在民主社會里嗎？

未來，無論誰掌控了高度先進的人工智能，都將擁有巨大的權(quán)力。他們可能會用這種權(quán)力為自己謀利，但這對大多數(shù)人而言或許并非好事。民主的核心是權(quán)力共享。如果權(quán)力集中在少數(shù)人手中，那就不是民主。

此外，人工智能若落入壞人之手，還會引發(fā)其他生存風險。有些人為了意識形態(tài)或因心理健康問題，可能會讓人工智能去做一些可怕的事，導致數(shù)十億人死亡。例如釋放一種新型強效病毒，甚至制造出能殺死地球上所有動物的鏡像細菌。

問：《國際人工智能安全報告》指出了三大主要風險領(lǐng)域：系統(tǒng)故障導致的非預期風險、惡意使用風險、以及諸如就業(yè)機會流失等系統(tǒng)性風險。短期內(nèi)，哪類風險最可能造成重大影響？哪類風險最讓您擔憂？

答：惡意使用已經(jīng)在發(fā)生了，但我認為我們目前看到的還只是冰山一角。比如深度偽造技術(shù)，以及極有可能的由最先進人工智能驅(qū)動的網(wǎng)絡(luò)攻擊。我們需要建立更完善的防護措施來降低這些風險。這些防護措施必須兼具技術(shù)性和政治性，也就是說，要通過監(jiān)管或其他激勵手段，確保企業(yè)采取正確行動，規(guī)避或降低這些風險。

當然，最讓我夜不能寐的，是人類可能面臨滅絕的風險。這也是我為何將研究重心轉(zhuǎn)向這個問題，即我們該如何構(gòu)建一種本質(zhì)上不會傷害人類的人工智能？現(xiàn)在我認為，這件事是有可能實現(xiàn)的。所以在我看來，這是一個重大進展，我對此也樂觀多了。

問：在這一領(lǐng)域，您和您的團隊提出了科學家型人工智能的構(gòu)想，這種AI從設(shè)計之初就內(nèi)置了安全機制。能和我們具體談?wù)剢幔?/strong>

答：這種AI的設(shè)計理念，很大程度上借鑒了人類科學家認識世界、構(gòu)建因果機制模型和世界規(guī)律模型的方式?？茖W家型人工智能不具備智能體屬性（non-agentic）。換句話說，它沒有目標，也沒有意圖。因此，我們可以信任它輸出的內(nèi)容。如果遵循這種設(shè)計思路，我們完全可以構(gòu)建出具有理想可信度的系統(tǒng)。

如今，企業(yè)想要構(gòu)建的是智能體，也就是能在現(xiàn)實世界中采取行動的人工智能。實際上，科學家也希望開發(fā)能幫助他們設(shè)計實驗的人工智能，而設(shè)計實驗本身就是一種在現(xiàn)實世界中開展的活動，并非單純的被動預測。好消息是，只要擁有可靠的預測模型，我們就能用它們來構(gòu)建防護措施。例如，預測某項實驗或人工智能在計算機系統(tǒng)中的某個操作，是否可能引發(fā)不良后果，以及引發(fā)不良后果的概率有多大。

問：《國際人工智能安全報告》的反響如何？它是否已經(jīng)開始影響各國政府對人工智能的政策制定？

答：有影響?？吹竭@份報告已經(jīng)產(chǎn)生了這么大的影響，我感到非常振奮。它基于科學文獻嚴謹?shù)孛鞔_了以下幾點：我們目前已認識到的風險有哪些？同時，它還明確了當前存在的風險緩解方法，以及這些方法各自的局限性。

https://www.nature.com/articles/d41586-025-03686-1

Deep Science預印本