2017年6月，谷歌的8位AI研究員發(fā)表了一篇名為《Attention Is All You Need》的論文，提出了Transformer架構(gòu)。

Transformer就是ChatGPT里的“T”，大公司的大模型、各種各樣的AI Agent、自動駕駛的算法、幾乎所有人工智能的創(chuàng)造，底座都是Transformer。

不夸張地說，Transformer誕生的那一刻，人工智能的歷史進程驟然加速。

《Attention Is All You Need》的8位作者

然而，這篇開山之作發(fā)表時，論文的8位作者、他們供職的谷歌、全球高科技公司都遠遠低估了Transformer的革命性。對它最準確的評價來自《連線》雜志[1]：一個不是秘密的秘密武器。

當(dāng)時，社會公眾對人工智能的想象還集中在下圍棋的AlphaGo。論文發(fā)表一個月前，AlphaGo在烏鎮(zhèn)3:0橫掃圍棋選手柯潔，直觀塑造了社會公眾對AI的認知。

這似乎解釋了為什么最不該低估Transformer的谷歌，會大大低估論文的重要性：

AlphaGo的發(fā)明者DeepMind在2014年被谷歌收購，擊敗柯潔同期，DeepMind發(fā)布新版AlphaGo Zero，以100:0吊打AlphaGo。另一個大項目AlphaFold（蛋白質(zhì)折疊預(yù)測）也在緊鑼密鼓推進，創(chuàng)始人Demis Hassabis憑借該項目，拿到2024年諾貝爾化學(xué)獎。

而Transformer論文作者來自谷歌另一個AI研究部門Google Brain和Google Research團隊。在DeepMind看來，自己在倫敦解決復(fù)雜的科學(xué)難題，Google Brain在美國做翻譯軟件，高下立判。

谷歌管理層對Transformer也談不上重視。2018年，谷歌基于Transformer架構(gòu)推出BERT模型，用來優(yōu)化谷歌搜索，完全沒意識到人工智能的核武器握在自己手里。

AlphaGo也迷惑了馬斯克，作為OpenAI的重要金主，馬斯克覺得他們進展太慢，完全打不過谷歌和DeepMind，提出將OpenAI并入特斯拉，自己親自掛帥指揮，被創(chuàng)始人Sam Altman拒絕。

隨后，馬斯克完全退出OpenAI，反手挖走了創(chuàng)始成員Andrej Karpathy，擔(dān)任特斯拉自動駕駛總監(jiān)。

英偉達的遭遇更富戲劇性：2017年5月，英偉達推出了搭載Tensor Core（張量核心）的V100 GPU。黃仁勛大概率沒想到，這種設(shè)計可以說是為一個月后誕生的Transformer量身定制。

唯一對Transformer革命性有著清醒認知的是OpenAI，技術(shù)骨干Ilya Sutskever認為，Transformer解決了之前種種技術(shù)方案力有未逮之處，堅決砍掉了很多看似有趣但毫無前景的研究，將所有資源集中在一個項目上：訓(xùn)練GPT模型。

到了2022年，OpenAI已經(jīng)開始訓(xùn)練GPT-4模型，團隊希望在模型發(fā)布前開發(fā)一款聊天機器人，觀測人類對AI的反饋，指引后續(xù)研究，并由創(chuàng)始人Sam Altman在推特上發(fā)布：

我們做了一個叫ChatGPT的東西，大家來試試吧。

ChatGPT上線5天突破100萬用戶，兩個月突破1億，打破了TikTok創(chuàng)造的互聯(lián)網(wǎng)產(chǎn)品最快增長紀錄，一場新的工業(yè)革命拉開了大幕。

從2017年《Attention Is All You Need》發(fā)表到2022年ChatGPT發(fā)布，醞釀五年的風(fēng)暴漸行漸近，世界在一聲驚雷中被永久改變。

直到今天，人類似乎都沒做好準備。

2012：最后一個冬天

人工智能的終極目標(biāo)是讓機器擁有人類的各種能力，這就需要模擬人類的各種感知與認知能力。其中，計算機視覺（CV）和自然語言處理（NLP）是最核心的兩個研究領(lǐng)域。

2012年，多倫多大學(xué)教授杰夫·辛頓（Geoffrey Hinton）帶著兩個學(xué)生Ilya Sutskever和Alex Krizhevsky參加當(dāng)年的ImageNet圖像識別比賽，以84%的準確率奪得冠軍，人工智能產(chǎn)業(yè)化開始爆發(fā)。

辛頓團隊主攻計算機視覺，采用了名叫卷積神經(jīng)網(wǎng)絡(luò)（CNN）的算法。其運作原理是讓“卷積核”在圖片上滑動，提取輪廓、邊緣和紋理，配合并行計算，識別效率很高。

這其實是對人腦的一種模擬：大腦會不斷抽象瞳孔攝入的像素，因此人類不需要看到整體，根據(jù)一些特征就能判別物體。

比如下圖并未展示整只鴨子，但絕大部分人都不會把它認成老鼠或其他生物：

CNN的高效率配合GPU的大算力，讓計算機視覺的產(chǎn)業(yè)化空間迅速打開，智慧停車、快遞分揀、人臉識別等應(yīng)用迅速落地，資本投資熱情空間高漲。

辛頓教授憑借這一貢獻獲得2024年諾貝爾物理學(xué)獎；Alex Krizhevsky在谷歌干了幾年，逐漸淡出產(chǎn)業(yè)界；Ilya Sutskever活躍至今，參與了OpenAI的創(chuàng)辦，是GPT系列模型的核心骨干。

計算機視覺夜夜笙歌，隔壁的自然語言處理卻在苦苦掙扎。

原因在于，圖像是“連續(xù)”的，就像一套拼圖，每片拼圖之間都存在“關(guān)聯(lián)”，組合成完整圖像。同時，計算機視覺主要處理“感知”問題，無論是識別貓狗還是識別車牌，答案是客觀的。準確率不高，也可以通過人工彌補。

而語言是“離散”的，字詞之間的關(guān)聯(lián)是抽象的語法和邏輯，沒法像拼圖一樣“串聯(lián)”。換句話說，自然語言處理難就難在它的“自然”：它是日常生活中非結(jié)構(gòu)化的口語，而非標(biāo)準的財務(wù)指標(biāo)或編程語言。

同時，語言識別更接近“認知”問題，不僅要識別文字和發(fā)音，還要弄懂其中含義。

當(dāng)時，NLP領(lǐng)域的主流算法是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），一是需要一個字一個字按順序看，計算效率極低；二是一旦文本量太大，算法讀到后面就會忘記前面，這種現(xiàn)象被稱為“長距離依賴”。

這也是Siri等很多語音助手讓人覺得智商不高的原因：RNN無法真正理解長文本抽象的邏輯，高度依賴人工編寫規(guī)則。

比起計算機視覺的商業(yè)化前景，NLP顯然是投資機構(gòu)的座下賓，跟當(dāng)年的PPT造車比地位，也只能說是險勝。

這也解釋了Transformer為何被業(yè)界集體低估：8位作者只想拿它來優(yōu)化翻譯效率，在BLEU（機器翻譯準確度測試）上刷刷榜。

如果翻看《Attention Is All You Need》論文原文，實驗部分展示的成果幾乎全是雙語翻譯的屠榜記錄，完全沒想過AGI的東西。

這也不難理解，鈾元素被發(fā)現(xiàn)后的150多年里，沒有人把它和原子彈聯(lián)系起來。

2017：Attention

2016年AlphaGo戰(zhàn)勝李世石，嚇醒了全世界的科技公司。同期，谷歌內(nèi)部正被翻譯產(chǎn)品折磨的死去活來。

當(dāng)時，谷歌針對機器翻譯推出了GNMT（Google Neural Machine Translation）系統(tǒng)，基于業(yè)內(nèi)主流的RNN（LSTM）方案，谷歌在GNMT中引入了一個名為“Attention（注意力）”的機制。

簡單來說，Attention的作用是解決RNN“讀到后面忘記前面”的問題：它可以讓算法識別長段落時，動態(tài)關(guān)注段落的不同部分，時不時看兩眼前面的詞，為不同的詞分配不同的權(quán)重，讓翻譯變準確。

GNMT承襲了Attention的理論思想，并為每天數(shù)十億真實的翻譯任務(wù)做了大量工程優(yōu)化。但RNN順序計算的特點，導(dǎo)致計算效率非常低。

Transformer誕生的動機是提高計算效率，作者之一的Jakob Uszkoreit提出，既然Attention這么好，為什么還要用RNN呢？這就是論文標(biāo)題表達的含義：Attention Is All You Need。

基于這種思路，Transformer拋棄RNN，引入自注意力機制（Self-Attention）。簡單來說，一段文本中的每一個詞都會和其他詞瞅一眼，動態(tài)判斷每個詞的權(quán)重，決定重點關(guān)注哪個詞。

由于任意距離的兩個詞都可以互相關(guān)聯(lián)，“讀到后面忘記前面”的問題被解決，但這也讓算法無法識別詞的先后順序。因此，Transformer用位置編碼給每個詞打上坐標(biāo)，還原原始語序。

同時，在Transformer的框架下，所有詞同時進入矩陣并行計算，配合多頭注意力（Multi-Head Attention，多個Attention模塊同時計算），特別適合GPU計算，效率指數(shù)級提高。

論文一經(jīng)發(fā)布，立刻在自然語言處理領(lǐng)域引發(fā)轟動，帶動了2018年后產(chǎn)業(yè)界的創(chuàng)新浪潮。

2018年初，華盛頓大學(xué)發(fā)布了一個ELMo模型，研究人員先讓模型閱讀大量無標(biāo)注文本，自己慢慢琢磨語言規(guī)律，再執(zhí)行具體任務(wù)，效果不錯。這種思路被稱為“預(yù)訓(xùn)練”。

ELMo證明了預(yù)訓(xùn)練的思想行得通，讓算法對人工標(biāo)注的依賴大幅降低，極大緩解了“有多少人工，就有多少智能”的問題。但ELMo沿用了RNN架構(gòu)，計算效率很低。

2018年10月，谷歌基于Transformer和預(yù)訓(xùn)練推出BERT模型，刷新了NLP領(lǐng)域主要基準測試的全部記錄。在斯坦福大學(xué)的SQuAD1.1測試中，BERT全面超越人類表現(xiàn)。

有BERT的帶頭表率作用，Meta用更多數(shù)據(jù)訓(xùn)練出了RoBERTa，微軟亞洲研究院搞出了MT-DNN，百度在2019年3月發(fā)布ERNIE（后來的文心一言），在中文任務(wù)上超過了BERT。

谷歌的管理層也意識到了BERT巨大的商業(yè)價值，2019年10月，谷歌宣布在英語搜索中全面啟用BERT，第一時間賦能業(yè)務(wù)，配合自研TPU計算集群，一個人工智能產(chǎn)業(yè)帝國冉冉升起。

但后來發(fā)生的事情我們都知道：OpenAI谷歌發(fā)明的武器打垮了谷歌。

2018：力大磚飛

BERT誕生的原因之一，是谷歌與OpenAI的技術(shù)理念分歧。

Transformer問世后，第一個動手的其實是OpenAI。2018年6月，OpenAI發(fā)布了GPT-1模型。其中GPT指是的Generative Pre-trained Transformer。

這個只有1.17億參數(shù)的模型，完整呈現(xiàn)了技術(shù)骨干Ilya Sutskever的技術(shù)理念。

通俗來說，OpenAI的思路是“生成式”：給算法輸入足夠多的數(shù)據(jù)，讓它不斷預(yù)測下一個詞，算法就能在這個過程中理解事物的規(guī)律。

2023年的英偉達GTC，已經(jīng)謝頂?shù)腎lya Sutskever在與黃仁勛的對話中解釋過這種“智能就是壓縮”的概念：

表面上看，算法只是學(xué)習(xí)文本在統(tǒng)計學(xué)層面的相關(guān)性，但這些文本實際上是這個世界的映射。算法為了預(yù)測的足夠準，就會學(xué)習(xí)這些文本背后真實世界的規(guī)律和機制。

2023年GTC，黃仁勛對談Ilya Sutskever

2017年4月，Transformer誕生兩個月前，OpenAI在一篇論文[12]中公開了一項研究成果：

給算法投喂8200萬條亞馬遜評論組成的語料庫，讓算法預(yù)測一段文本中的下一個字符，算法內(nèi)部自行生成了一個情感神經(jīng)元（Sentiment Neuron），用來判斷評論是正面還是負面。

也就是說，OpenAI沒有告訴算法什么是“正面”和“負面”，但算法為了預(yù)測下一個字符，自己進化出了判斷感情色彩的能力。

但這項研究當(dāng)時并未得到足夠重視，產(chǎn)業(yè)界的主流觀點是，靠文字接龍游戲搞AI屬于民科，正經(jīng)的學(xué)者不會湊這個熱鬧。

與OpenAI對應(yīng)，谷歌的思路是“判別式”：在BERT之父Jacob Devlin看來，GPT-1根據(jù)前文預(yù)測后文不符合人類的直覺，因為人類通過上下文來理解文本背后的抽象含義，AI也應(yīng)該這么做。

用不太嚴謹?shù)ㄋ椎念惐?，谷歌認為AI應(yīng)該先學(xué)通識，再做幾萬套真題鍛煉；OpenAI認為真正的天才不需要老師，但當(dāng)時的GPT-1參數(shù)量有限，算法難免滿嘴跑火車，被BERT在各項測試中打的頭破血流。

谷歌發(fā)布BERT的論文[13]中，Jacob Devlin點名批評了GPT-1的技術(shù)思路。認為GPT-1的思路與人類認知相悖，在特定任務(wù)中是“有害的（harmful）”。

順帶一提，Jacob Devlin的經(jīng)歷也很有意思：ChatGPT上線后，為了快速追上OpenAI，谷歌內(nèi)部用ChatGPT訓(xùn)練自家模型，觸發(fā)了Jacob Devlin的技術(shù)潔癖。大哥一不做二不休，直接跳槽去了OpenAI，結(jié)果在新東家干了三個月，又回到了谷歌[8]。

面對BERT壓倒式的優(yōu)勢，OpenAI認為自己的技術(shù)路線沒有問題，只是模型參數(shù)不夠多，訓(xùn)練算力不夠大。只要用更強的算力訓(xùn)練參數(shù)量更大的模型，就會產(chǎn)生質(zhì)變，即涌現(xiàn)。

這種思路就是今天的產(chǎn)業(yè)界司空見慣的一個詞：Scaling Laws。

2020：舊金山的弗蘭肯斯坦

Scaling Laws是人工智能領(lǐng)域的摩爾定律，即參數(shù)量、數(shù)據(jù)量、計算資源越大，模型能力會對應(yīng)提升。

Transformer之前的深度學(xué)習(xí)時代，很多學(xué)者就意識到了Scaling Law的存在，但第一個對其進行系統(tǒng)性闡釋的其實是百度。

2017年，百度硅谷AI實驗室在論文中展示了模型參數(shù)和算力大小對模型的促進作用。Anthropic創(chuàng)始人Dario Amodei后來也在播客中回憶，2014年自己和吳恩達在百度工作時，就察覺到了Scaling Laws的特征。

Dario Amodei沒在百度干多久就去了OpenAI，結(jié)果和創(chuàng)始人Sam Altman反目成仇，隨后離職創(chuàng)辦了OpenAI的最大競爭對手Anthropic。

今年印度AI峰會，Sam Altman和Dario Amodei拒絕手拉手

百度雖然“發(fā)現(xiàn)”了Scaling Laws，但未做更多工程探索。很長時間里，產(chǎn)業(yè)界都將Scaling Laws的起點放在OpenAI的奠基性論文《Scaling Laws for Neural Language Models》上。

這篇著名的論文，為大名鼎鼎的GPT-3模型提供了關(guān)鍵的理論基礎(chǔ)。

2020年6月，OpenAI發(fā)布了GPT-3模型，架構(gòu)和GPT-2大差不差（引入了稀疏注意力）。但拿了微軟10億美元投資后，財大氣粗的OpenAI把互聯(lián)網(wǎng)上的語料洗劫一空，模型參數(shù)量膨脹到1750億，是GPT-2的116倍。

模型發(fā)布同時，OpenAI借助測試申請，向特定人群開放了API接口，立刻引發(fā)小范圍轟動。

參與測試的人發(fā)現(xiàn)，GPT-3不僅能生成文本，也能寫文檔摘要、回答問題，甚至自己寫代碼?！缎l(wèi)報》就用GPT-3搓了一篇文章：

在備注中，編輯表示GPT-3生成了8個版本，最終的刊發(fā)版本經(jīng)由編輯“潤色”

文中提到的Liam Porr是加州大學(xué)伯克利分校的一名學(xué)生，他用GPT-3生成的文章被兩萬多人閱讀，只有一個人指出文章是AI寫的[25]

而對硅谷的大公司來說，GPT-3無疑是劃過總部上空的斯普特尼克1號。

OpenAI證明了Scaling Laws的可行性。決定模型性能的關(guān)鍵變成了算力和參數(shù)規(guī)模，技術(shù)路線的交鋒迅速被整齊劃一的算力恐慌取代。

微軟發(fā)現(xiàn)自己撿了大漏，自然樂開了花，一邊興高采烈宣布自己拿到了GPT-3的排他性授權(quán)，一邊用這個樣板工程給自家云服務(wù)打廣告[21]。

另一個夢中笑醒的公司是英偉達。GPT-3原版論文中，OpenAI只是含糊的提了一句，模型訓(xùn)練用了“微軟的V100 GPU”。但微軟自己沒憋住，在通稿中[22]大吹特吹由一萬張V100 GPU構(gòu)建的超算，實際上是在給英偉達打廣告。

2016年，黃仁勛親自上門向OpenAI贈送英偉達DGX-1超算，當(dāng)時馬斯克還沒和Sam Altman鬧掰

至于其他公司，幾乎都在第一時間加入了競爭：

大受刺激的谷歌設(shè)計了一個名叫Switch Transformer的簡化稀疏架構(gòu)，可以將模型參數(shù)擴展到1.6萬億。Meta也是急火攻心，指責(zé)OpenAI違背極客精神，做了個同為1750億參數(shù)的模型，但開源且“民主化（Democratizing）”。

作為微軟在云計算的競爭對手，錯失OpenAI的亞馬遜投資了全球最大的開源AI社區(qū)Hugging Face。特斯拉一邊造車一邊掏出了D1芯片和Dojo超算。百度在2022年1月推出ERNIE 3.0 Titan，參數(shù)量飆升至2600億。

客觀來說，GPT-3不算完美，除了嚴重幻覺導(dǎo)致夢見啥說啥，AI也全盤吸收了人類所有的價值取向，時不時為種族歧視和恐怖主義大唱贊歌。加上GPT-3的測試范圍非常有限，并未被社會公眾廣泛關(guān)注。

但產(chǎn)業(yè)界振奮的是，技術(shù)迷霧被Scaling Laws的暴力工程吹散，大家紛紛拎起鏟子開挖護城河：

特斯拉忙里偷閑進軍機器人，蘋果對著自動駕駛躍躍欲試，谷歌建設(shè)了壯觀的TPU算力集群，英偉手握牢不可破的CUDA生態(tài)，百度為中國AI產(chǎn)業(yè)輸送了大量人才。

經(jīng)歷一個又一個寒冬，人工智能的終極理想似乎只差臨門一腳。套用丘吉爾的話說：“這不是結(jié)束，甚至不是結(jié)束的開始，可能只是開始的結(jié)束?！?/p>

2022：風(fēng)暴前夕

GPT-3發(fā)布后，Dario Amodei與創(chuàng)始人Sam Altman徹底分道揚鑣，從公司帶走了幾位研究員創(chuàng)辦了Anthropic。兩人的決裂，很大程度上源于微軟的投資。

對人工智能的擔(dān)憂幾乎與這門學(xué)科的歷史一樣長，作為研究副總裁，Dario Amodei認為如果只給模型瘋狂堆參數(shù)，而不引入人類的道德和價值觀，無異于隨時會失控的核彈。

Sam Altman是公司的掌舵者，必須四處畫餅化緣，找人報銷龐大的算力開支，只能在安全與商業(yè)化上找平衡區(qū)間。

科學(xué)所到之處，資本總是如影隨形。2019年，OpenAI窮的揭不開鍋，為了拿微軟的錢，OpenAI成立了一家有限盈利公司。同時，協(xié)議規(guī)定OpenAI必須使用微軟的云服務(wù)[28]。

就像當(dāng)年列寧和羅莎·盧森堡的論戰(zhàn)，Dario Amodei認為拿了微軟的錢，安全就必須屈從于商業(yè)化；Sam Altman的邏輯是，沒有微軟的錢，模型都做不出來，安全更是空談。

隨著GPT-3的發(fā)布，Dario Amodei擔(dān)憂的安全問題逐漸具體。

GPT-3是Scaling Laws的奇跡，也是個毫無是非觀念的機器。OpenAI在訓(xùn)練過程中把互聯(lián)網(wǎng)上的語料洗劫一空，自然也沒放過暴力、色情和種族歧視內(nèi)容。

為了解決這個問題，2022年1月，OpenAI發(fā)布了一個名為InstructGPT的模型。相比GPT-3，InstructGPT通過RLHF（人類反饋強化學(xué)習(xí)），大量剝離了色情暴力等有害內(nèi)容，讓模型更貼近人類的價值觀，即所謂“對齊（AI Alignment）”。

RLHF聽上去高大上，但底子還是能工智人：為了不讓模型頻繁爆典，OpenAI讓一群人類當(dāng)?shù)赖虏门?，給模型輸出的內(nèi)容打分排序。模型在人類監(jiān)督下自我訓(xùn)練，逐漸向人類的道德品格靠攏。

OpenAI把當(dāng)裁判這個任務(wù)交給了一家名叫Sama的肯尼亞外包公司。硅谷精英侃侃而談的“對齊”，似乎也離不開古典的全球分工。

按照《時代周刊》的獨家報道[30]，2021年，OpenAI和Sama簽了20萬美元的合同，外包工人實發(fā)時薪為1.32美元到2美元，工作內(nèi)容就是瀏覽大量極端內(nèi)容，怎么勁大怎么來，標(biāo)注完成后反饋給模型訓(xùn)練。

Sama位于肯尼亞的辦公室

雖然OpenAI承諾提供心理健康咨詢，但外包員工工作太充實，基本沒時間咨詢。2022年2月，OpenAI又要求Sama搜集“性和暴力圖像”[30]，后者認為甲方玩的有點大，導(dǎo)致雙方合作破裂。

但此時，OpenAI已經(jīng)拿到足夠多的人類標(biāo)注數(shù)據(jù)。綠色健康講文明的InstructGPT發(fā)布，為ChatGPT的誕生鋪平了道路。

Sam Altman的說法是，團隊正在開發(fā)的GPT-4過于強大，如果直接發(fā)布，人類社會接受不了。因此可以先做一個聊天機器人，看看公眾的反應(yīng)，積累的數(shù)據(jù)也可以用于后續(xù)模型的改進。

《紐約時報》則提供了另一種說法[31]：OpenAI擔(dān)心競爭對手（可能是Anthropic）先于自己發(fā)布聊天機器人，因此提前動手，緊急啟動ChatGPT的開發(fā)。

無論如何，OpenAI內(nèi)部沒有一個人預(yù)料到ChatGPT席卷的風(fēng)暴，畢竟大家只是把它視為用來測試的技術(shù)預(yù)覽產(chǎn)品。而外界眼中如魔法一般的生成能力，也是工程師們過去多年研究生涯的日常。

ChatGPT這個名字直到上線前一天才確定，代替原本的“Chat with GPT-3.5”。Ilya Sutskever在前一晚問了它十個刁鉆問題，只有一半回答準確[35]。

就這樣，他們結(jié)束了一天的工作，隨手按下了人工智能的核按鈕。

尾聲

這場風(fēng)暴由一篇標(biāo)題不太正經(jīng)的論文醞釀，在一個粗糙的套殼產(chǎn)品上爆發(fā)。時間線被一次次改寫的時候，那些正在創(chuàng)造歷史的人似乎毫不知情，甚至不知道自己身在現(xiàn)場。

這其實是科學(xué)史上的常態(tài)。我們今天感嘆那些改變世界的璀璨群星，似乎他們的成功是因為看見了遠方的目標(biāo)，然后一步步抵達了終點。但更真實的歷史是，他們只是相信腳下的道路，然后一步步發(fā)現(xiàn)了遠方。

在那扇被打開的大門背后，歷史前進的信號清晰又具體，人工智能勾勒的福祉尚且遙遠，被甩下列車的焦慮和恐慌卻迅速蔓延。

人類離真正的通用人工智能從未如此接近，但學(xué)術(shù)層面的理念分歧、技術(shù)領(lǐng)域的道德交鋒、資本市場的利益博弈，和以理念與道德為名的利益博弈似乎又在證明，在某些方面，人工智能永遠替代不了人類。

總之，一段技術(shù)與夢想的冒險結(jié)束了，一個進步與失控的時代開始了。

全文完，感謝您的耐心閱讀。

參考資料

[1] 8 Google Employees Invented Modern AI. Here's the Inside Story，Wired

[2] Sakana AI's CTO says he's 'absolutely sick' of transformers, the tech that powers every major AI model，venturebeat

[3] 專訪 | 谷歌神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)發(fā)布后，我們和Google Brain的工程師聊了聊，機器之心

[4] 專訪“AI教父”本吉奧：袒露恐懼與遺憾，指出可能更安全之路，騰訊科技

[5] 被忽略的起點？Karpathy揭秘最初的注意力論文被Transformer光芒掩蓋的故事，機器之心

[6] 全面超越人類！Google稱霸SQuAD，BERT橫掃11大NLP測試，量子位

[7] 谷歌搜索近5年來最大變化，使用BERT算法改進10％搜索結(jié)果，新智元

[8] AI Boomerang: Google’s Internal Critic Returns From Rival OpenAI，The Information

[9] 黃仁勛與 Ilya Sutskever 的爐邊談話：看AI的現(xiàn)狀和未來，EETChina

[10] Improving Language Understanding by Generative Pre-Training，OpenAI

[11] OpenAI新研究發(fā)現(xiàn)無監(jiān)督情感神經(jīng)元：可直接調(diào)控生成文本的情感，機器之心

[12] Unsupervised Sentiment Neuron，OpenAI

[13] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，Google

[14] Scaling Laws for Neural Language Models，OpenAI

[15] The Microsoft-OpenAI Files，GeekWire

[16] Meet GPT-3. It Has Learned to Code (and Blog and Argue)，Cade Metz

[17] OpenAI’s new language generator GPT-3 is shockingly good—and completely mindless，MIT Technology Review

[18] A robot wrote this entire article. Are you scared yet, human，衛(wèi)報

[19] With $1 Billion From Microsoft, an A.I. Lab Wants to Mimic the Brain，Cade Metz

[20] OpenAI has released the largest version yet of its fake-news-spewing AI，MIT Technology Review

[21] Microsoft teams up with OpenAI to exclusively license GPT-3 language model，微軟

[22] Microsoft announces new supercomputer, lays out vision for future AI work，微軟

[23] US-China tech war: Beijing-funded AI researchers surpass Google and OpenAI with new language model，南華早報

[24] 深度學(xué)習(xí)革命，Cade Metz

[25] My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks，Liam Porr

[26] Training language models to follow instructions with human feedback，OpenAI

[27] 馬斯克傳，Walter Isaacson

[28] Inside the white-hot centre of AI doomerism，金融時報

[29] OpenAI’s Top Researchers Defect to Start Rival Backed by Billionaire，The Information

[30] Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic，Time

[31] How ChatGPT Kicked Off an A.I. Arms Race，紐約時報

[32] Inside facebook's african sweatshop，Time

[33] PTSD, depression and anxiety: why former Facebook moderators in Kenya are taking legal action，衛(wèi)報

[34] What OpenAI Really Wants，Wired

[35] Inside ChatGPT, AI assistants, and building at OpenAI， OpenAI

作者：李墨天

編輯：張婕妤

責(zé)任編輯：李墨天