昨晚，AI新貴Anthropic （后文簡稱為 A 社）并沒有發(fā)布Claude新模型，而是推出了一個看起來特別「無聊」的東西：The Anthropic Institute（Anthropic研究院，簡稱 TAI）。

相較于2026年流行的Harness Engineering（駕馭工程）而言，TAI要解決的問題更加宏大。按照 Anthropic 公布的研究議程（anthropic-institute-agenda），TAI重點關注四個方向：經(jīng)濟擴散、威脅與韌性、實際應用中的 AI 系統(tǒng)，以及 AI 驅動的研發(fā)。TAI還面向全球發(fā)布“英雄帖”，招募研究員一起工作來解決以上這些問題。

（圖片來源：X@Anthropic 官方）

也就是說，A社（Anthropic簡稱）成立了一個內部組織，主要研究人類如何與AI相處：

• AI 會怎么影響就業(yè)和經(jīng)濟？
• 會帶來哪些新的安全風險？
• 人類真實使用 AI 之后，行為和判斷會不會改變？
• 當 AI 開始幫助研發(fā)更強 AI，這個加速過程又該如何被理解和約束？

可能很多讀者會覺得這不過是個常規(guī)的AI企業(yè)的動作，但雷科技認為這可能是 A 社近期最值得關注的一次動作。TAI對AI產(chǎn)業(yè)以及人類的積極影響，如同谷歌當年提出「不作惡」的這一價值信條之于互聯(lián)網(wǎng)產(chǎn)業(yè)一般。所以雷科技AGI才說，這是一次不亞于重大模型升級的「發(fā)布」。

AI深刻影響經(jīng)濟：不只是打工人的飯碗

TAI 的首要研究方向是Economic Diffusion（經(jīng)濟擴散）。

回顧人類歷史上的前三次工業(yè)革命，無論是珍妮紡紗機、轟鳴的蒸汽機，還是后來的電力和流水線，它們替代的本質上都是極其廉價且重復的體力勞動。然而，AI 掀起的第四次工業(yè)革命截然不同，它直接進入了人類最引以為傲的腦力工作區(qū)。

而 TAI 指出的核心矛盾便是：工具升級了，打工人的處境反而變得更差了。

在研究文案中 ，TAI 提到，如果未來 3 個人借助大模型，能干完過去 300 人的活兒，這個公司到底會變成什么樣？

設計師用 AI 能一鍵搞定最繁瑣的圖層和素材，程序員用AI 能Vibe Coding……假定AI能提高75%的工作效率，但這不會讓人類工作制從8小時（甚至996）壓縮到2小時，相反，人類可能需要多干五倍的活。

TAI 在意的就是「有了 AI，你的工作量就得翻幾倍」的新邏輯。為了量化這一情況，TAI 給出了一個新名詞The Anthropic Economic Index（Anthropic 經(jīng)濟指數(shù)）。A 社表示它們并不會只發(fā)布一些沒什么人關注的學術論文，而是打算把這套真實數(shù)據(jù)扒出來，明明白白地告訴人類：AI 到底在哪幾個行業(yè)里悄悄取代了原本屬于人類的崗位？那些初出茅廬的新人們是否會出道即被「淘汰」？

（圖片來源：AI 生成）

不僅如此，TAI 還把這筆賬算到了現(xiàn)實世界中。我們都知道大模型是一只永遠不會飽腹的「吞金獸」，我們每一次利用 AI 生成文字、圖片、視頻甚至是一次簡單的詢問都會燒掉大量Token，Token底層是算力，算力底層是芯片、存儲、電力，如果再深究一層還有碳排放、資本等等。資源永遠是有限的，當社會將海量資源都傾斜給 AI 時，別的行業(yè)一定會受到波及。

2026年，大家最顯著的感受是：AI導致的內存與存儲短缺直接導致了消費電子普遍漲價，甚至手機廠商也被迫降低了新機推出的意愿。但與此同時，所有手機廠商都寄望于用AI來重塑產(chǎn)品邏輯，延長手機產(chǎn)品生命周期，OpenAI的原生AI手機也已被提上日程。當每個人受益于AI時，更多產(chǎn)業(yè)在被AI深刻影響，好的，壞的都有。

而TAI 要用「經(jīng)濟指數(shù)」，把AI對經(jīng)濟的影響，從抽象的感知量化成數(shù)據(jù)模型：只有將問題搞清楚了，才有可能解決問題。

終極危機：人類正在「外包」自己的大腦

如果說丟飯碗是鈍刀子割肉，那么AI 對人類大腦思考思維的轉變，就是直接傷害。

最先遭殃的，必然是互聯(lián)網(wǎng)。你不難發(fā)現(xiàn)，如今的互聯(lián)網(wǎng)正在變成一座「屎山」，以前搜旅游攻略能輕松找到不少踩坑避雷的攻略帖，如今卻全是 AI 看似制作精美、排版美觀但全是一本正經(jīng)瞎編的廢話。

更要命的是，AI將灰色產(chǎn)業(yè)的門檻也降到了零：用 AI 換臉造黃謠、克隆親人聲音搞電信詐騙，騙子只是燒掉一些Token就能毀掉普通人的生活。

TAI 還關注到了更深一層的危機：AI 在不知不覺間讓人類變得越來越「傻」。

此前曾有中國用戶在野外看到不認識的野生菌，隨手拍張照發(fā)給AI問「這玩意兒能吃嗎」，AI 一本正經(jīng)地把劇毒蘑菇鑒定成「可食用的美味口蘑」；還有小朋友拿著一個老鼠夾問 AI 這是什么，AI 煞有介事地分析說這是一個「方方正正、帶有金屬結構的廢棄卡丁車小玩具」，結果孩子好奇上手一摸，手指被死死夾住。

這些新聞聽起來像地獄笑話，但它揭示了一個現(xiàn)象：AI 最大的特點根本不是聰明，而是「迷之自信」。AI 永遠無法做到 100% 準確，Google Gemini最新模型大約能做到91%的事實準確度已是高水平。但不少用戶卻在使用 AI 的過程中潛移默化中放棄了思考，習慣性地把一切決定權都「外包」給了一串代碼。

對此，TAI 甩出了一個引人深思的問題：當全社會很大一部分人，都在向僅有的那么兩三個大模型尋求建議時，人類群體的思考模式和解決問題的方法，會發(fā)生怎樣可怕的「同質化」？你以為在用 AI工具提高生產(chǎn)效率和認知水平，實際上是在「外包大腦」。換句話說，如果所有人都開始依賴AI，很有可能會讓人類喪失自主思考能力，讓全人類的腦子變成同一個模子里刻出來的復制品。

AI呈現(xiàn)雙重用途，如何預防智能爆炸？

TAI 還提出了一個新的概念：雙重用途（Dual-use capabilities），官方的解釋是：如果一個 AI 模型在生物學上的能力變強了，那它不僅能用來研發(fā)新藥，它同樣能用來制造極其致命的生物武器；如果一個 AI 寫代碼的能力很出色，那它不僅是個好程序員，它同時也成了一個能輕易黑進國家內網(wǎng)的黑客。

（圖片來源：Anthropic 官方）

當這種帶有「雙重用途」的怪物，大規(guī)模接入自動駕駛汽車的大腦、接入工廠的重型機械臂、甚至被接入安防系統(tǒng)和無人機群時，會惹出多大的禍？在手機里，AI會彈出一句「對不起，我做錯了」；但在現(xiàn)實里，識別偏差一秒，就是實打實的安全生產(chǎn)事故。

更別說大模型幾個禮拜就能迭代一波，但人類去修改一條法規(guī)、但人類修改法律、完善保險都是按「年」來算的。這中間空出的時間，就是防御力最低的「裸奔期」。當各種由 AI 引發(fā)災難發(fā)生時，如今的社會根本沒這個「韌性」去承擔。

為了解決這個問題，TAI成立了Frontier Red Team（前沿紅隊）。這幫人的任務很簡單也很抽象：每天變著法子去攻擊和引誘自己開發(fā)出的AI 智能體，以便摸清這玩意兒在現(xiàn)實世界中到底會帶來多大的破壞力，為的就是要在社會這套老舊系統(tǒng)徹底崩潰之前，強行拉起一道防線。

以前，主導AI進化速度的是人類程序員，但如今高級大模型能自己翻論文、寫代碼，可能在不久的將來就能自己研發(fā)新一代大模型，當 AI 自我套娃的速度越來越快，技術的進化馬上就要甩開人類的認知。

（圖片來源：AI 生成）

為了應對這個隨時可能到來的奇點，TAI 提出了一個新的概念：開展針對智能爆炸的Fire drill scenarios（消防演習）。

簡單來說 TAI 準備拉著頂尖實驗室的高管以及各國政府來一次沙盤推演：他們要在「智能爆炸」真正發(fā)生之前，提前測試人類到底有沒有能力踩下剎車。

邊發(fā)展邊治理，A 社嚴肅地踩了一腳剎車

在這個全行業(yè)都在閉眼狂奔的節(jié)骨眼上，回過頭來看 Anthropic 設立 TAI 的這波操作，確實讓人有些「肅然起敬」。

隔壁的 OpenAI 每天登上熱榜的的不是高管離職內斗，就是跟馬斯克的爛賬官司。還有許多 AI 公司業(yè)績慘淡，卻一邊想法設法“刷榜單”，一邊四處融資圈錢，靠著虛高的估值吸納著社會資本。A社TAI要討論的話題業(yè)界一直都在討論，但大多數(shù)AI巨頭的態(tài)度卻是“管它呢，先發(fā)展再說”。在這種極度浮躁的氛圍里，A 社卻來了一腳剎車，把這些見不得光的爛攤子堂而皇之地擺到了臺面上，表明了對AI的新態(tài)度：一邊發(fā)展，一邊治理。

A社也不是慈善機構，它不是圣母心爆發(fā)，而是在下一盤很高明的商業(yè)棋。如今那些手握大權的金主和政府，早就被 AI 引發(fā)的各種翻車事故搞怕了：買個模型回去，跑分高一點低一點無所謂，最怕的是它突然發(fā)瘋惹出大禍，屆時根本無法收場。而A 社用 TAI 給自己凹了一個「正常人」的人設，讓用戶放心，讓世界信任。

（圖片來源：AI 生成）

在TAI這篇文章最后其還明確提到：TAI 所有的研究成果和早期預警，都將直接輸入給 Anthropic 的一個核心機構——Long-Term Benefit Trust（長期利益信托）。這個LTBT的使命就是死死盯住公司的商業(yè)決策，確保 Anthropic 的每一次動作，都是為了全人類的長期利益，而不是追求短期的財報利潤。

這跟當年谷歌那句名震江湖的「不作惡」一模一樣：通過 TAI，A 社在告訴全世界，當同行都在比誰飆車快時，我們不僅跑得快，我們還在研究怎么剎停。

指望科技巨頭自己監(jiān)督自己，確實有點扯淡，但在現(xiàn)在這個所有人都蒙著眼把油門焊死狂奔的年代，能有一個頭部玩家主動成立 TAI 這樣的研究院，拿真金白銀去搞經(jīng)濟指數(shù)、去推演智能爆炸、去研究人類腦子的退化，這本身就值得說道說道了。所以雷科技在開篇就表示，TAI 的發(fā)布要比 A 社直接發(fā)布一個新模型更重要。

附：TAI官方議程，由Google Gemini翻譯

在Anthropic研究所（TAI），我們將利用前沿實驗室所能獲取的信息，研究人工智能對世界的影響，并將我們的研究成果與公眾分享。在這里，我們將分享驅動我們研究議程的問題。

我們的研究議程主要集中在以下四個領域：

• 經(jīng)濟擴散
• 威脅與韌性
• 實際應用中的人工智能系統(tǒng)
• 人工智能驅動的研發(fā)

在《人工智能安全核心觀點》一文中，我們指出，開展有效的安全研究需要與前沿人工智能系統(tǒng)密切接觸。同樣的道理也適用于開展關于人工智能對安全、經(jīng)濟和社會影響的有效研究。

在 Anthropic，我們已經(jīng)初步看到軟件工程等工作正在發(fā)生根本性變革。我們正目睹 Anthropic 內部經(jīng)濟結構開始轉變，我們構建的系統(tǒng)也面臨著新的威脅，人工智能的早期跡象正在加速人工智能自身的研發(fā)進程。為了充分發(fā)揮人工智能進步的益處，我們希望盡可能多地分享這些信息。我們正在研究這些動態(tài)變化將如何影響外部世界，以及公眾如何能夠幫助引導這些變革。

在 TAI，我們將從前沿實驗室的角度研究人工智能在現(xiàn)實世界中的影響，然后公布這些研究結果，以幫助外部組織、政府和公眾更好地就人工智能發(fā)展做出決策。

我們將分享研究成果、數(shù)據(jù)和工具，以便個人研究人員和機構更輕松地開展這些研究課題。具體而言，我們將分享：

• 我們將以更高的頻率，從人類經(jīng)濟指數(shù)中獲取更細致的信息，了解人工智能對勞動力市場的影響和應用情況。我們將努力成為重大變革和顛覆的早期預警信號。
• 研究在面對人工智能帶來的新型安全風險時，哪些社會領域最需要投資以提高其韌性。
• 更詳細地介紹 Anthropic 如何利用新的 AI 工具加快工作進度，以及 AI 系統(tǒng)潛在的遞歸自我改進的意義。

TAI 將影響 Anthropic 的決策。這可能表現(xiàn)為該公司與外界分享一些它原本不會分享的數(shù)據(jù)（例如經(jīng)濟指數(shù)），或者以不同的方式發(fā)布技術（例如網(wǎng)絡威脅分析，這些分析為“玻璃之翼”項目等計劃提供了數(shù)據(jù)支持）。

我們預期，TAI研究所開展的研究工作將日益成為Anthropic長期利益信托基金（LTBT）的重要參考依據(jù)。LTBT的使命是確保Anthropic持續(xù)優(yōu)化其行動，以造福人類的長遠利益。我們與LTBT以及Anthropic各部門的員工共同制定了這項研究計劃。

這是一份動態(tài)的議程，而非一成不變的。我們將隨著證據(jù)的積累不斷完善這些問題，并且預計會出現(xiàn)一些今天尚未涵蓋的新問題。我們歡迎大家對這份議程提出反饋意見，并將根據(jù)我們通過討論獲得的信息對其進行修訂。

如果您有興趣幫助我們解答這些問題，我們歡迎您申請成為Anthropic研究員。該研究員項目為期四個月，由TAI團隊成員指導，您將有機會研究一個或多個相關問題。您可以在這里了解更多信息并申請下一期項目。

我們的研究議程：

最后更新日期：2026年5月7日

經(jīng)濟擴散

了解日益強大的人工智能系統(tǒng)的部署如何改變經(jīng)濟至關重要。我們還需要開發(fā)必要的經(jīng)濟數(shù)據(jù)和預測能力，以便選擇能夠造福公眾的人工智能部署方式。

為了解答本研究這一支柱中提出的問題，我們將進一步完善《人類經(jīng)濟指數(shù)》中的數(shù)據(jù)。我們還將探索其他方法，以改進我們關于強大的人工智能如何影響社會的模型，無論這種影響是導致失業(yè)、前所未有的經(jīng)濟增長，還是其他方面。

人工智能的應用與擴散

• 誰在采用人工智能？人工智能的研發(fā)集中在少數(shù)幾個國家的少數(shù)幾家公司，但其部署卻是全球性的。是什么決定了一個國家、地區(qū)或城市能否獲得人工智能？如果能夠獲得人工智能，它們如何從中獲取經(jīng)濟價值？哪些政策和商業(yè)模式能夠有效地改變這種現(xiàn)狀？自由權重或開放權重模式又如何促進這種動態(tài)變化？
• 企業(yè)層面的人工智能應用：企業(yè)采用人工智能的原因是什么？其后果又是什么？人工智能如何改變企業(yè)或團隊能夠達到最高效率的規(guī)模？人工智能在企業(yè)間的應用集中度如何？人工智能應用集中度的變化如何轉化為利潤率和勞動份額？如果一個3人團隊或公司現(xiàn)在能夠完成以前需要300人才能完成的工作，產(chǎn)業(yè)組織結構將會發(fā)生怎樣的變化？或者，如果企業(yè)能夠更容易地集中知識，并且這種做法能夠帶來規(guī)模效益，我們是否會看到規(guī)模更大、擴張更廣的企業(yè)，它們更有動機系統(tǒng)性地監(jiān)控員工？
• 人工智能是一種通用技術嗎？人工智能是否遵循以往“通用技術”的模式，即在利潤豐厚的商業(yè)應用中普及速度最快，而在社會回報超過私人回報的領域普及速度最慢？是否存在能夠改變這種趨勢的政策或決策？

生產(chǎn)力和經(jīng)濟增長

• 生產(chǎn)力增長：人工智能將對整個經(jīng)濟的創(chuàng)新速度和生產(chǎn)力增長產(chǎn)生什么影響？
• 分享收益：哪些預先分配或再分配機制可以有效地更廣泛地傳播人工智能開發(fā)和部署帶來的收益？
• 市場交易成本：人工智能如何影響市場中的交易系統(tǒng)和交易成本？何時讓代理人代表您進行談判能夠提高市場效率和公平結果？何時又不能？

廣泛的勞動力市場影響

• 人工智能與就業(yè)：人工智能將如何改變經(jīng)濟各領域的就業(yè)狀況？隨著人工智能自動化現(xiàn)有經(jīng)濟環(huán)節(jié)，哪些新的任務和工作崗位可能會涌現(xiàn)？這些變化在不同地區(qū)和國家之間又將有何差異？我們的“人類經(jīng)濟指數(shù)調查”將每月提供人們如何看待人工智能對其工作的影響以及他們對未來的預期等信息。我們還將更新經(jīng)濟指數(shù)，以分享更高頻、更細致的數(shù)據(jù)。
• 人工智能的普及速度可以調節(jié)嗎？各國央行通過政策利率和前瞻性指引等“調節(jié)手段”來抑制通脹。人工智能公司（在行業(yè)層面，與政府合作）是否也可以采用類似的調節(jié)手段，逐個行業(yè)地控制人工智能的普及速度？這樣做是否會帶來明顯的公共利益？

工作和工作場所的未來

• 勞動者對工作的看法：各行各業(yè)的勞動者如何看待職業(yè)變化？他們對這些變化有多大的影響力？“勞動者”的力量能否得到維護或轉變？
• 專業(yè)人才培養(yǎng)體系：許多行業(yè)都依賴初級職位（例如律師助理、初級分析師和助理開發(fā)人員）來培養(yǎng)未來的高級從業(yè)人員。如果人工智能取代了以往積累專業(yè)知識的工作，那么人們最初又該如何成為專家呢？這對某個領域長期的高級人才儲備意味著什么？
• 面向未來的學習：人們今天應該學習什么才能為未來做好準備？未來的職業(yè)有哪些？人工智能將如何改變學習和發(fā)展專業(yè)技能的方式？
• 有償工作的角色：如果人工智能大幅降低有償工作在人類生活中的核心地位，那么在什么條件下人們才能將時間和精力重新分配到其他有意義的來源？我們又能從歷史上或當代那些工作稀缺或可有可無的群體中學到什么？社會又該如何應對這種轉變？

威脅與韌性

人工智能系統(tǒng)往往能夠同時提升多種能力，包括兩用能力。例如，生物學能力提升的人工智能系統(tǒng)也更容易制造生物武器。計算機編程能力強的人工智能系統(tǒng)也更容易入侵計算機系統(tǒng)。如果我們能夠更好地理解人工智能系統(tǒng)可能加劇的威脅，社會就能更容易地應對這種變化的威脅形勢。

我們提出這些問題，旨在幫助建立合作伙伴關系，以增強世界應對變革性人工智能的能力，并建立針對可能出現(xiàn)的新威脅的預警系統(tǒng)。其中許多問題將指導我們前沿紅隊的研究議程。

評估風險和兩用能力：

• 雙用途技術：強大的人工智能本質上具有雙用途性：既能改善醫(yī)療和教育的工具，也能用于監(jiān)視和鎮(zhèn)壓。我們能否構建可觀測性工具，以了解這種情況是否正在發(fā)生以及如何發(fā)生？
• 如何合理定價風險：有哪些有效的、市場驅動的方法可以提高社會應對人工智能系統(tǒng)預期威脅的韌性？我們能否開發(fā)新的風險定價方法，或者開發(fā)技術工具和人類組織，以便在可預測的威脅（例如人工智能網(wǎng)絡攻擊能力的提升）到來之前提高韌性？
• 攻防平衡：人工智能賦能的能力是否會在網(wǎng)絡空間和生物安全等領域從根本上有利于攻擊者？當人工智能應用于更傳統(tǒng)的領域，例如與指揮控制系統(tǒng)日益融合時，它是否也有利于攻擊者？更廣泛地說，人工智能將如何改變人類沖突的性質？

制定風險緩解措施：

• 危機應對規(guī)劃：冷戰(zhàn)時期，美國總統(tǒng)曾設有直通克里姆林宮的熱線，以便在發(fā)生核危機時使用。那么，如果人工智能系統(tǒng)引發(fā)危機，需要怎樣的地緣政治基礎設施？這種基礎設施未必是國家間的，也可能是公司間或公司間的。
• 更快的防御機制：人工智能能力可以在數(shù)月內取得長足進步，而監(jiān)管、保險和基礎設施的響應卻需要數(shù)年時間。我們該如何彌合這一差距？諸如自動補丁、人工智能威脅檢測或預先部署的響應能力等防御機制，能否跟上人工智能攻擊的速度和規(guī)模？或者，這種不對稱性是結構性的？我們又該如何盡可能有效地部署這些防御機制？

用于監(jiān)視的情報能力

• 人工智能對監(jiān)控的影響：人工智能將如何改變監(jiān)控的運作方式？它會降低監(jiān)控成本，還是提高監(jiān)控效率，或者兩者兼而有之？

實際應用中的人工智能系統(tǒng)

人與組織和人工智能系統(tǒng)的互動將成為社會變革的重要源泉。了解人工智能系統(tǒng)可能如何改變與其互動的人和機構，是我們社會影響團隊的核心研究領域。為了研究這些變化，我們正在改進現(xiàn)有工具并開發(fā)新工具來開展研究，涵蓋了從提高平臺可觀測性的軟件到用于進行大規(guī)模定性調查的工具等各個方面。

人工智能對個人和社會的影響：

• 群體認識論：當很大一部分人群參考相同的少數(shù)幾個模型時，我們的認識論會發(fā)生什么變化？我們能否找到方法來衡量由人工智能的共同使用引起的信念、寫作風格和問題解決方法的大規(guī)模變化？
• 批判性思維：隨著人工智能系統(tǒng)變得越來越強大、越來越值得信賴，我們如何檢測和避免因越來越依賴人工智能的判斷而導致的人類批判性思維能力的退化？
• 技術界面：技術的界面決定了人們如何與技術互動——電視使人們成為被動的觀眾，而計算機則使人們更容易成為創(chuàng)造性的創(chuàng)造者。我們可以構建什么樣的界面，才能使人工智能系統(tǒng)改進并促進人類的自主性？
• 人機協(xié)作系統(tǒng)的管理：人類如何有效地管理由人類和人工智能系統(tǒng)組成的團隊？反過來，人工智能系統(tǒng)又該如何管理由人類、人工智能或二者結合組成的團隊？

識別人工智能帶來的重大影響：

• 行為影響：正如社交媒體導致人們行為改變一樣，人工智能也可能塑造人類行為。哪些監(jiān)測或測量方法可以幫助研究人員了解這種動態(tài)變化？
• 促進研究：是否存在透明機制和工具，能夠讓廣大民眾（而不僅僅是前沿人工智能公司）輕松研究現(xiàn)實世界中的人工智能應用？

理解和管理人工智能模型：

• 系統(tǒng)“價值觀”：人工智能系統(tǒng)表達的“價值觀”是什么？這些價值觀與系統(tǒng)的訓練方式有何關聯(lián)？更具體地說，我們如何衡量人工智能的“構成”對其部署后的行為產(chǎn)生的影響？我們將擴展之前針對這些問題的研究。
• 自主智能體的治理：現(xiàn)有法律、治理體系和問責機制的哪些方面可以適用于自主人工智能智能體？例如，海事法如何處理棄船問題，與法律如何處理無人監(jiān)管的智能體具有關聯(lián)性。反之，現(xiàn)有法律中是否存在一些已經(jīng)適用于人工智能智能體但實際上不應該適用的方面？
• 智能體的可靠性：自主人工智能智能體的哪些方面可以進行調整，以適應現(xiàn)有的法律、治理體系和問責機制？例如，我們能否確保人工智能智能體擁有唯一且可靠的身份，即使在沒有直接人類控制的情況下也能如此？
• 人工智能治理人工智能：我們如何才能有效地利用人工智能來治理人工智能系統(tǒng)？在人工智能監(jiān)管的哪些領域，人類具有比較優(yōu)勢，或者在法律或規(guī)范要求下必須“參與其中”？
• 智能體交互：人工智能智能體之間交互時會涌現(xiàn)出哪些規(guī)范？不同的智能體如何表達不同的偏好，這些偏好又會如何影響其他智能體？

人工智能驅動的研發(fā)

隨著人工智能系統(tǒng)功能日益強大，科學家們正利用它們開展越來越多的研究。這意味著越來越多的科學研究在越來越少的人工干預下，以自主或半自主的方式進行。在人工智能研究領域，功能日益強大的系統(tǒng)可能被用于開發(fā)自身的后續(xù)版本。我們有時將這種模式稱為“人工智能驅動的人工智能研發(fā)”。

人工智能驅動的人工智能研發(fā)或許是打造更智能、更強大的系統(tǒng)的“自然紅利”。正如編碼能力的進步催生了軍民兩用的網(wǎng)絡能力，科學能力的進步可能催生軍民兩用生物能力一樣，復雜技術工作的進步也可能自然而然地產(chǎn)生能夠自我開發(fā)人工智能系統(tǒng)的人工智能系統(tǒng)。

人工智能驅動的人工智能研發(fā)本身蘊含著巨大的潛在風險。政策制定者在評估可采取的措施時，至關重要的是要了解人工智能發(fā)展速度的變化趨勢，以及人工智能研究是否會開始產(chǎn)生復利效應。

人工智能用于人工智能研發(fā)

• 人工智能研發(fā)的治理：如果人工智能系統(tǒng)被用于自主開發(fā)和改進自身，人類如何才能有效地了解和控制這些系統(tǒng)？最終，什么將治理這些系統(tǒng)？
• 情報爆炸應急演練：我們如何進行情報爆炸應急演練？如何開展桌面演練，才能真正檢驗實驗室領導層、董事會和政府的決策能力？
• 人工智能研發(fā)遙測：我們如何衡量人工智能研發(fā)的總體速度？為了收集這些信息，需要哪些遙測技術和底層技術支持？與人工智能研發(fā)相關的指標如何才能作為遞歸式自我改進的早期預警信號？
• 控制人工智能加速發(fā)展：如果智能爆炸即將到來，哪些干預點能夠減緩或改變這種爆炸速度？假設人類可以進行干預，那么應該由哪些實體來行使這種能力——政府？企業(yè)？

人工智能在研發(fā)領域的應用——即人工智能驅動的其他領域的研究：

• 科技樹：人工智能加速某些科學領域的發(fā)展速度遠超其他領域，這取決于數(shù)據(jù)的可用性、評估指標以及有多少知識是隱性知識或受制度限制。這種發(fā)展梯度有多不均衡？科學進步構成的變化又意味著哪些人類問題會優(yōu)先得到解決？
• 崎嶇的前沿：模型能力在某些領域比其他領域更強。具有巨大正外部性的領域——例如藥物研發(fā)和材料科學——獲得的投資遠低于其價值應得的水平。市場根據(jù)私人回報引導模型改進的方向，但我們能否改進模型的性能以應對社會外部性？