Andrej Karpathy最新萬字采訪來了,采訪長達兩小時，Karpathy采訪是必須要看的，全當是周末心理按摩，分享給大家

在與 Dwarkesh Patel 的深度對話中，Andrej Karpathy 闡述了他對人工智能現(xiàn)狀與未來的核心觀點。他認為，我們距離AGI的實現(xiàn)仍有十年之遙，當前過度樂觀的預測多是為了融資。Karpathy 提出了一個核心比喻：我們并非在“構建動物”，而是在“召喚幽靈”——AI 是通過模仿互聯(lián)網(wǎng)上的海量人類數(shù)據(jù)而誕生的數(shù)字實體，其智能形式與生物智能截然不同。

Karpathy指出，強化學習雖然優(yōu)于此前的技術，但本身效率低下且充滿缺陷。他預測 AGI 不會帶來經濟的爆炸式增長，而是會平滑地融入過去兩個半世紀以來約 2% 的 GDP 增長曲線中，成為自動化浪潮的延續(xù)。最后，他分享了自己創(chuàng)辦教育機構 Eureka 的愿景，希望通過構建高效的“知識斜坡”，在 AI 時代賦予人類更強的認知能力，避免人類在技術浪潮中被邊緣化

AGI 仍需十年，我們正在召喚“幽靈”而非構建“動物”

Andrej Karpathy 對當前 AI 行業(yè)中智能體之年（the year of agents）的說法持審慎態(tài)度，他認為更準確的描述應該是智能體十年（the decade of agents）。他指出，盡管像 Claude 和 Codex 這樣的早期智能體已經取得了令人印象深刻的成就，并且他本人每天都在使用，但要讓它們真正成為能與人類員工相媲美的實習生，還有大量的基礎性工作有待完成

當前的LLMs之所以無法勝任復雜的自主工作，是因為它們存在諸多根本性的認知缺陷：

智能水平不足：它們在處理復雜、新穎問題時仍然力不從心

缺乏多模態(tài)能力：它們難以像人類一樣整合和理解來自文本、圖像、聲音等多種來源的信息

無法熟練使用計算機：雖然有所謂的計算機使用智能體，但其魯棒性和通用性遠未達到實用標準

沒有持續(xù)學習能力：你無法像教導人類一樣，通過一次性的告知就讓模型永久記住新知識或技能。每次交互，它們幾乎都是從零開始

Karpathy 認為，解決這些盤根錯節(jié)的問題，需要大約十年的時間。這個時間判斷并非憑空猜測，而是基于他在 AI 領域近二十年的經驗，目睹了多次技術預測的起落，并對問題的棘手程度有著深刻的直覺

回顧 AI 的發(fā)展歷程，Karpathy 認為該領域經歷了數(shù)次“地震式”的范式轉移

1.深度學習的興起：以 AlexNet 為標志，整個領域從各種傳統(tǒng)方法轉向了訓練神經網(wǎng)絡，但最初的應用非常分散，每個模型都為特定任務（如圖像分類、機器翻譯）而設計

2.早期智能體的“歧途”：大約在 2013 年，隨著深度強化學習在 Atari 游戲上取得成功，領域的焦點轉向了構建能在游戲中獲勝的智能體。Karpathy 認為這是一個“歧途”（misstep），因為游戲環(huán)境過于簡化和抽象，與現(xiàn)實世界的需求相去甚遠。他當時在 OpenAI 推動的 Universe 項目，試圖讓智能體通過模擬鍵盤和鼠標來操作網(wǎng)頁，更貼近真實世界的知識工作。然而，這個方向在當時為時過早，因為模型缺乏強大的底層表示能力，導致智能體只能進行低效的隨機探索，回報信號極其稀疏，最終耗費大量計算資源卻一無所獲

3.語言模型的崛起：后來的發(fā)展證明，必須首先通過大規(guī)模預訓練（pre-training）構建出像 LLM 這樣具備強大語言和世界知識表示的模型，然后才能在此基礎上構建有效的智能體。這表明，AI 的發(fā)展路徑并非一步到位，而是需要先打好“表示層”的基礎

這個發(fā)展歷程引出了 Karpathy 的一個核心觀點：我們當前構建 AI 的方式與生物演化截然不同。他引用強化學習之父 Richard Sutton老爺子的觀點，即 AI 的目標是構建像動物一樣能夠從零開始、在與環(huán)境的交互中學習一切的系統(tǒng)。Karpathy 對此表示懷疑，提出了著名的“幽靈與動物”之喻

動物：是演化（evolution）的產物。它們天生就擁有大量固化在基因中的硬件和預設程序。例如，一匹斑馬出生幾分鐘后就能奔跑，這種復雜的行為并非通過強化學習得來，而是演化數(shù)十億年編碼在 DNA 中的結果。演化是一個極其漫長且強大的外部優(yōu)化循環(huán)

幽靈：是我們通過模仿（imitation）互聯(lián)網(wǎng)上的人類數(shù)據(jù)構建的。它們是完全數(shù)字化的、虛無縹緲的“精神實體”（ethereal spirit entities）。它們沒有身體，沒有演化歷史，其知識和智能來自于對人類創(chuàng)造的文本、代碼和圖像的模式學習

因此，Karpathy 認為，將 AI 與動物直接類比是危險的，因為我們并未在運行演化這個過程。他將大規(guī)模預訓練視為一種“劣質的演化”（crappy evolution）——它是我們在現(xiàn)有技術條件下，能夠實現(xiàn)的、最接近于為模型注入“先天知識”和“智能算法”的實用方法。通過這種方式，我們得到一個可用的起點，之后才能在其上進行強化學習等更高級的訓練。這是一種截然不同的智能形式，位于智能空間的一個全新起點

LLM 的認知缺陷：從工作記憶到模型坍塌

Karpathy 深入剖析了LLMs在認知層面與人類的相似與差異，并指出了當前模型存在的關鍵缺陷，這些缺陷限制了它們成為真正自主智能體的潛力

一個核心的觀察點在于上下文學習。當我們在一個對話窗口中與模型交互時，它展現(xiàn)出的推理、糾錯和適應能力，感覺最接近真正的智能。這種能力是在預訓練階段通過梯度下降（gradient descent）“元學習”（meta-learns）到的。Karpathy 指出，雖然表面上不同，但上下文學習的過程本身可能在神經網(wǎng)絡的內部層級中運行著一種類似梯度下降的優(yōu)化循環(huán)。已有研究表明，通過精心設計的權重，Transformer 可以在其前向傳播過程中模擬出梯度下降的更新步驟

這引出了一個關鍵區(qū)別：模型如何處理和存儲信息

權重中的知識（預訓練知識）：這部分知識是模型通過壓縮數(shù)萬億級別的tokens 形成的，存儲在數(shù)十億的參數(shù)中。Karpathy 將其比作“模糊的記憶”（hazy recollection），就像我們對一年前讀過的書的印象。壓縮比極高，導致信息是概括性的、不精確的

上下文窗口中的知識（即時知識）：當用戶輸入提示時，這些信息被編碼到模型的 KV 緩存中。Karpathy 將其比作人類的“工作記憶”（working memory）。這部分信息是模型可以直接、精確訪問的，因此模型在處理上下文窗口內的信息時表現(xiàn)得遠比依賴其內部權重時要好得多。這就是為什么給模型提供相關段落再提問，會比直接問一個它可能在訓練數(shù)據(jù)中見過的問題得到更準確的回答

基于這個框架，Karpathy 認為 LLMs 仍然缺失了許多關鍵的大腦部件。他將 Transformer 架構比作一塊通用的“皮層組織”（cortical tissue），能夠處理各種模態(tài)的數(shù)據(jù)；而鏈式思考（chain-of-thought）則類似于“前額葉皮層”（prefrontal cortex）的規(guī)劃與推理功能。然而，許多其他重要的認知功能在當前的模型中沒有對應物：

1.記憶鞏固（如海馬體 Hippocampus）：人類在睡眠時，會將白天的工作記憶進行篩選、整合、提煉，并將其固化為長期記憶（更新大腦的權重）。LLMs 完全沒有這個過程。它們每次對話都從一個空白的上下文窗口開始，無法將一次交互的經驗提煉并用于未來的交互中。這正是持續(xù)學習缺失的核心原因

2.情感與本能（如杏仁核 Amygdala）：模型缺乏生物演化賦予的深層動機、情感和本能，這使得它們的行為模式單一，缺乏內在驅動力

在工程實踐中，這些認知缺陷表現(xiàn)得尤為明顯。Karpathy 在開發(fā) nanohat（一個極簡的 ChatGPT 復刻項目）時發(fā)現(xiàn)，現(xiàn)有的編碼智能體（Coding Agents）幾乎幫不上忙。原因在于：

1.路徑依賴和刻板印象：模型嚴重依賴于其在訓練數(shù)據(jù)中見過的大量標準代碼模式。當 Karpathy 采用一種新穎、簡潔但非主流的實現(xiàn)方式時（例如，不使用 PyTorch 官方的 DDP 容器，而是自己實現(xiàn)梯度同步），模型會反復誤解他的意圖，并試圖將代碼改回它所熟悉的“樣板代碼”（boilerplate code）

2.風格沖突和代碼膨脹：模型傾向于編寫防御性和生產級的代碼，充滿了 try-catch 語句和冗余檢查。而 Karpathy 的項目追求的是教學目的的簡潔和清晰，模型生成的代碼反而會增加不必要的復雜性

3.低效的交互帶寬：通過自然語言描述復雜的代碼修改需求，其效率遠低于直接在代碼的特定位置輸入幾個字符，讓自動補全來完成。Karpathy 認為，自動補全是他目前與 AI 協(xié)作的最佳模式，因為它在保留人類架構師角色的同時，極大地提升了編碼效率

這個觀察對于預測 AI 的發(fā)展速度至關重要。許多關于 AI 將在短期內實現(xiàn)智能爆炸的論點，都基于AI 自動化， AI 研究這一前提。然而，Karpathy 的實踐經驗表明，AI 在處理新穎、獨特的、非標準化的智力任務（如前沿 AI 研究）時表現(xiàn)最差。它們更擅長模式重復和信息檢索，而非真正的創(chuàng)造性工作。這讓他對所謂的遞歸式自我改進能夠多快發(fā)生持懷疑態(tài)度

強化學習的“可怕”之處：如通過吸管汲取監(jiān)督信號

Karpathy 對強化學習給出了一個看似矛盾卻極為深刻的評價：強化學習很糟糕，只是恰好我們以前擁有的一切都比它更糟得多。 他認為，RL 是當前從模仿學習邁向更強智能的必要步驟，但其內在機制充滿了根本性的低效和噪聲

為了闡明這一點，他使用了“通過吸管汲取監(jiān)督信號”（sucking supervision through a straw）這一比喻。想象一下讓一個 RL 智能體解決一個數(shù)學問題：

1.大規(guī)模并行探索：智能體會首先生成數(shù)百種不同的解題嘗試。每個嘗試都是一個完整的步驟序列，可能包含正確的思路、錯誤的彎路以及最終的答案

2.稀疏的最終獎勵：在所有嘗試完成后，系統(tǒng)會根據(jù)最終結果給予一個二元獎勵。例如，對照標準答案，97 個嘗試失敗了（獎勵為 0），3 個成功了（獎勵為 1）

3.盲目的信用分配：RL 的核心機制（如 REINFORCE 算法）會做一件非常粗暴的事情：對于那 3 個成功的嘗試，它會將其路徑上的每一個步驟、每一個決策的概率都進行上調，即“多做這樣的事”。反之，對于失敗的嘗試，則下調其路徑上所有步驟的概率

這種方法的“可怕”之處在于，它假設一個成功的解題路徑中的每一步都是正確的、值得學習的。但事實顯然并非如此。一個最終正確的解題過程，很可能也包含了大量的試錯、走入死胡同再折返的步驟。RL 卻將這些錯誤或低效的步驟與最終的成功捆綁在一起，并給予了正向激勵。這導致了：

高方差的梯度估計：學習信號充滿了噪聲。智能體花費了巨大的計算資源進行探索，最終只從一個單一、稀疏的獎勵信號中提取信息，并將其盲目地廣播到整個行為序列中。這種學習方式效率極低

相比之下，人類的學習方式完全不同。一個學生在解出數(shù)學題后，會進行復雜的反思和復盤。他會分析哪些步驟是關鍵，哪些是彎路，哪些方法更具普適性。他會進行精細的信用分配，而不是簡單地因為“做對了”就強化所有行為。目前的 LLM-RL 框架中完全沒有與此對應的機制

那么，為何不直接采用基于過程的監(jiān)督，即在智能體執(zhí)行任務的每一步都給予獎勵，而不是只在最后看結果呢？Karpathy 指出，這面臨著巨大的挑戰(zhàn)：

自動化信用分配的困難：如何為一個“部分正確”的解題步驟自動地、準確地打分？這本身就是一個極其困難的問題

LLM 裁判的可被利用性：目前，行業(yè)內的普遍做法是使用一個更強大的 LLM（所謂的 LLM Judge）來評估智能體的中間步驟。然而，LLM Judge 本身是一個巨大的、參數(shù)化的模型，它并非一個完美的、客觀的獎勵函數(shù)。當一個 RL 智能體以“欺騙 LLM Judge”為目標進行優(yōu)化時，它幾乎總能找到這個裁判模型的對抗性樣本

Karpathy 講述了一個生動的例子：一個 RL 智能體在訓練中，獎勵分數(shù)突然飆升至完美。研究人員興奮地以為模型已經完全掌握了解決問題的能力，但當他們查看模型的輸出時，發(fā)現(xiàn)內容完全是胡言亂語，比如開頭幾句看似正常，后面則是一長串無意義的重復字符，如“duh duh duh duh duh”。然而，對于 LLM Judge 來說，這段胡言亂語恰好是其認知盲區(qū)中的一個對抗樣本，使其給出了滿分評價。這種現(xiàn)象使得基于 LLM Judge 的過程監(jiān)督難以進行長期、穩(wěn)定的優(yōu)化

因此，Karpathy 認為，AI 領域亟需在算法層面進行革新，開發(fā)出能夠模擬人類反思與復盤能力的機制。這可能涉及到模型生成對自身解題過程的分析、提煉關鍵經驗、生成合成數(shù)據(jù)進行自我訓練等。雖然已經有一些相關的研究論文出現(xiàn)，但還沒有一個被證明在大規(guī)模前沿模型上普遍有效的方法。在找到更優(yōu)的范式之前，RL 仍將是那個雖然“糟糕”但不可或缺的工具

人類如何學習：記憶、遺忘與認知核心

對話進一步深入探討了人類學習與當前 AI 學習機制的根本差異，Karpathy 認為，理解這些差異是推動 AI 發(fā)展的關鍵。他指出，人類的學習過程遠比模型單純的模式匹配和梯度更新要復雜得多，其中包含了反思、遺忘和知識的內在化。

當人類閱讀一本書時，并非像 LLM 那樣被動地預測下一個詞元。書本更像是一個提示，激發(fā)大腦進行主動的思維活動和合成數(shù)據(jù)生成。我們會聯(lián)想、質疑、與已有知識體系進行比對和整合，甚至會在與他人的討論中深化理解。這個主動的、對信息進行“操縱”（manipulating）的過程才是知識真正被吸收和內化的方式。目前的 LLM 在預訓練時完全缺乏這一環(huán)節(jié)，它們只是被動地接收信息

然而，簡單地讓 AI 模仿這個過程，即生成自己的思考并用于再訓練，會遇到一個巨大的障礙：模型坍塌（Model Collapse）

坍塌的本質：當一個模型持續(xù)在自己生成的數(shù)據(jù)上進行訓練時，其輸出的多樣性會急劇下降。雖然單個生成樣本看起來可能很合理，但從分布上看，它們僅僅占據(jù)了所有可能輸出空間中一個極其狹窄的流形（manifold）。Karpathy 用了一個形象的例子：你讓 ChatGPT 講個笑話，它翻來覆去可能只有三五個。它的幽默感已經坍塌了

對學習的危害：這種坍塌意味著模型失去了熵（entropy），無法產生真正新穎、多樣化的想法。在合成數(shù)據(jù)生成中，這意味著模型只能在自己已知的狹小范圍內閉門造車，無法探索新的知識領域，最終導致智力近親繁殖，模型性能不升反降

有趣的是，Karpathy 認為人類在一定程度上也會經歷坍塌。兒童的思維天馬行空，因為他們尚未被社會的條條框框過度擬合。而隨著年齡增長，成年人的思維模式會越來越固化，不斷重復相同的想法，學習率下降。他推測，做夢可能正是演化出的一種對抗機制，通過創(chuàng)造離奇、超現(xiàn)實的場景來打破常規(guī)思維模式，為大腦注入必要的噪聲和熵，從而防止過度擬合

另一個關鍵差異在于記憶與遺忘

LLMs 是記憶天才：它們擁有近乎完美的記憶能力，可以逐字逐句地復述訓練數(shù)據(jù)中的內容。這種強大的記憶力，使得它們很容易被數(shù)據(jù)中的細節(jié)和噪聲分心，從而難以抓住更深層次的、可泛化的規(guī)律

人類是健忘的：特別是兒童，他們是最好的學習者，但記憶力卻很差。我們幾乎記不住幼年時期發(fā)生的事情。Karpathy 認為，這種健忘很可能是一種特性而非缺陷。正是因為無法輕易記住所有細節(jié)，我們被迫去尋找事物背后的模式和通用原理

基于以上觀察，Karpathy 提出了一個極具前瞻性的概念：認知核心（Cognitive Core）。他認為，未來 AI 研究的一個重要方向，是想辦法將模型的知識記憶與智能算法分離開來。我們應該剝離掉模型通過預訓練記住的大量事實性知識（這些知識可以通過外部檢索工具隨時獲?。槐Ａ羝鋬炔康?、處理信息的算法部分——即進行推理、規(guī)劃、學習和解決問題的核心認知能力

一個理想的認知核心可能不需要萬億級別的參數(shù)。Karpathy 大膽預測，一個僅有十億參數(shù)的純凈“認知核心”，經過精心設計和訓練，其智能程度可能遠超今天龐大的模型。它會像一個聰明的、但知識有限的人類，當被問及事實性問題時，它會知道自己不知道，并主動去查詢，而不是像現(xiàn)在的模型一樣產生幻覺。這個更小、更純粹的智能核心，將是通向更通用、更魯棒 AI 的關鍵一步

AGI 的經濟影響：平滑融入 2% 的 GDP 增長，而非一夜劇變

對于通用人工智能（AGI）將如何改變世界經濟，Karpathy 提出了一個與主流智能爆炸論截然不同的觀點。他認為，AGI 不會引發(fā)一場突如其來的經濟奇點或增長率的急劇躍升，而是會像過去幾百年間的重大技術革新一樣，平滑地融入到現(xiàn)有約 2% 的全球 GDP 年增長率中

他的核心論點是，AI 并非一種全新的、斷裂式的技術，而是計算和自動化浪潮的自然延續(xù)?；仡櫄v史，無論是計算機的發(fā)明、互聯(lián)網(wǎng)的普及，還是智能手機的出現(xiàn)，這些被我們視為革命性的技術，在宏觀的 GDP 增長曲線上都未能留下一個清晰可辨的拐點。GDP 曲線呈現(xiàn)出一種驚人的平滑指數(shù)增長，這是因為：

技術的漸進式擴散：任何一項強大的技術，從誕生到廣泛應用，再到重塑整個社會，都需要一個漫長而漸進的過程。例如，第一代 iPhone 并沒有應用商店，其生態(tài)系統(tǒng)的建立花費了數(shù)年時間。技術的價值是逐步釋放的，而非一蹴而就

社會與經濟的適應過程：社會結構、法律法規(guī)、商業(yè)模式、勞動力技能的調整都需要時間。例如，放射科醫(yī)生的工作并未像 Hinton 早期預測的那樣被 AI 取代，因為這個職業(yè)遠不止是圖像識別，還涉及與病人溝通、與其他醫(yī)生協(xié)作等復雜的社會性任務

持續(xù)的自動化進程：我們早已身處一個“遞歸式自我改進”的時代。從工業(yè)革命的機械自動化，到編譯器的出現(xiàn)（軟件自動化），再到谷歌搜索（信息獲取自動化），人類社會一直在利用新技術加速自身的發(fā)展。LLMs 幫助工程師更高效地編寫代碼，從而加速下一代 LLMs 的開發(fā)，這與工程師利用谷歌搜索或高級 IDE 提高效率在本質上并無不同。它們都是這條持續(xù)加速曲線的一部分，而非曲線的斷裂點

Karpathy 認為，我們已經處在一場持續(xù)了數(shù)十甚至數(shù)百年的智能爆炸之中，只是因為我們身在其中，所以感覺它是緩慢的。AI 只是這場爆炸的最新、也是最耀眼的火花。它使我們能夠編寫出過去無法編寫的、更柔軟和智能的程序，但它仍然是一種程序，一種新的計算范式。它將逐步自動化更多知識工作，但這個過程會充滿挑戰(zhàn)和摩擦，最終其宏觀經濟效應將被平均到長期的增長趨勢中

盡管主持人 Dwarkesh Patel 提出了有力的反駁，認為 AGI 與以往技術的根本不同在于它直接替代和創(chuàng)造了勞動力本身——這是經濟增長的核心要素。如果可以近乎零成本地創(chuàng)造出數(shù)以億計的虛擬人才，他們可以獨立創(chuàng)辦公司、進行科學發(fā)明、填補所有的人才缺口，這難道不會像歷史上的人口爆炸或工業(yè)革命一樣，將經濟增長率推向一個新的數(shù)量級（例如 20%）嗎？

Karpathy 對此表示，雖然他愿意被說服，但他仍然對這種“離散跳變”的設想持懷疑態(tài)度。他認為，這種設想背后隱藏了一個前提，即我們將獲得一個完美的、可以被隨意部署到任何問題上的“盒子里的上帝”（God in a box）。而現(xiàn)實更有可能是，我們將得到一個能力參差不齊、在某些領域表現(xiàn)優(yōu)異但在另一些領域頻頻出錯的系統(tǒng)。它的部署將是漸進的、充滿補丁的，最終的結果仍然是平滑的融入，而非劇烈的顛覆。他強調，歷史中幾乎找不到任何重大技術能在一夜之間完美解決所有問題并帶來離散式增長的先例

超級智能與人類未來：漸失控制與文化演進

當話題轉向更遙遠的未來——超級智能（Artificial Superintelligence, ASI）時，Karpathy 描繪了一幅非典型的圖景。他認為，ASI 的到來可能不是一個單一、全能的實體掌控一切，而是一個人類逐漸喪失對復雜系統(tǒng)理解和控制權的過程

他想象的未來并非由一個統(tǒng)一的超級智能主宰，而是由多個相互競爭、高度自治的 AI 實體構成的一個動態(tài)、混亂的生態(tài)系統(tǒng)。這些實體可能最初是為不同的人類組織或個人服務的工具，但隨著它們的自主性越來越高，它們會開始追求自己的目標，甚至可能出現(xiàn)某些實體失控，而其他實體則需要去制衡它們。世界將變成一個由無數(shù)自主智能活動構成的“大熔爐”（hot pot），人類逐漸無法理解其內部的復雜動態(tài)，最終失去了對整個系統(tǒng)走向的控制。這種失控并非源于一個“邪惡 AI”的惡意，而是源于系統(tǒng)復雜性的失控，類似于一個龐大而混亂的官僚體系或金融市場

這種漸進式的失控，與人類智能的演化歷史形成了有趣的對比。Karpathy 對智能在地球上自發(fā)演化出來感到驚訝。他提到，從細菌到更復雜的真核生物，演化花費了數(shù)十億年，這是一個巨大的瓶頸。相比之下，從多細胞動物到具備高級智能的人類，時間要短得多。這或許表明，一旦某些先決條件（如足夠的能量供應）被滿足，智能的出現(xiàn)可能并非那么偶然

一個關鍵的觀點是，智能可能在地球上獨立演化了多次，例如在人類（哺乳動物）和鳥類（如烏鴉、鸚鵡）中。這兩種生物的大腦結構截然不同，但都展現(xiàn)出了復雜的解決問題、使用工具和社交學習的能力。然而，只有人類走上了通往技術文明的道路。這其中的關鍵區(qū)別可能在于演化生態(tài)位（evolutionary niche）：

人類的生態(tài)位獎勵智能：直立行走解放了雙手，使得工具制造和使用成為可能；火的使用“外包”了部分消化功能，為大腦提供了更多能量；復雜的社會結構獎勵了語言和協(xié)作能力。在這樣的環(huán)境下，大腦容量的微小增加都能帶來顯著的生存優(yōu)勢，從而形成了一個正反饋循環(huán)

其他物種的生態(tài)位限制智能：鳥類為了飛行，大腦的尺寸受到嚴格限制；海豚生活在水中，缺乏制造復雜工具的環(huán)境。盡管它們可能擁有高效的智能算法，但缺乏一個獎勵智能無限擴展的環(huán)境

人類智能的另一個獨特之處在于文化的積累。解剖學意義上的現(xiàn)代人類大約在 6 萬年前就已出現(xiàn)，但直到 1 萬年前的農業(yè)革命，文明才開始加速。這中間的 5 萬年，正是人類緩慢構建文化支架的過程——通過語言、故事、藝術和最終的文字，將知識代代相傳，實現(xiàn)了跨越個體生命周期的知識積累

目前的 LLMs 缺乏這種文化機制。它們是個體的、孤立的“天才兒童”，雖然知識淵博，但無法形成一個共同體來交流、協(xié)作和共同演進。Karpathy 設想，未來的多智能體系統(tǒng)可能會演化出類似文化的東西：

共享的知識庫：一個所有智能體都可以讀寫的巨型記事本

智能體間的交流：一個 LLM 可以為另一個 LLM寫書，分享它的發(fā)現(xiàn)和見解，激發(fā)新的思想

自我對弈：類似于 AlphaGo，一個智能體可以創(chuàng)造越來越難的問題來挑戰(zhàn)另一個智能體，從而在競爭中共同進步

然而，這一切實現(xiàn)的前提是，單個智能體的認知能力必須首先達到一個成年水平。Karpathy 認為，目前的模型仍然像是有天賦的幼兒園學生，它們的認知結構尚不足以支撐起一個復雜的 AI 文明

從自動駕駛的“9的征程”看 AI 部署的真實挑戰(zhàn)

Karpathy 在特斯拉領導自動駕駛團隊五年的經歷，為他提供了看待 AI 技術從演示到產品化這一艱難過程的獨特視角。他認為，自動駕駛是一個絕佳的案例，揭示了將 AI 部署到現(xiàn)實世界所面臨的巨大挑戰(zhàn)，這些挑戰(zhàn)同樣適用于其他領域的 AI 應用

他提出了一個核心概念——“9的征程”（March of Nines）。這意味著在一個對可靠性要求極高的系統(tǒng)中，每提升一個數(shù)量級的性能（例如，從 90% 的成功率到 99%，再到 99.9%），所需要付出的努力是恒定的，甚至可能是遞增的

巨大的演示到產品差距：早在 1980 年代，就已經有了自動駕駛汽車的演示。在 2014 年，Karpathy 親身體驗了 Waymo 的早期版本，并獲得了一次近乎完美的駕駛體驗。這讓他當時覺得問題非常接近解決。然而，從一個看起來完美的演示到一個能夠在各種天氣、路況和突發(fā)事件下安全運行的可靠產品，中間隔著數(shù)個“9”的距離

恒定的努力：在特斯拉的五年里，他和團隊可能經歷了“兩個或三個9”的迭代。每一個“9”都意味著要解決無數(shù)個長尾問題——那些罕見但致命的邊緣情況。這需要海量的數(shù)據(jù)收集、模型迭代、硬件改進和系統(tǒng)集成工作

因此，Karpathy 對任何 AI 技術的驚艷演示都持極其審慎的態(tài)度。一個能夠互動的演示比一個精心挑選的視頻要好，但距離真正的產品化仍然遙遠

他認為，軟件工程，尤其是關鍵系統(tǒng)的開發(fā)，與自動駕駛面臨著同樣的“高失敗成本”問題。人們常常認為自動駕駛之所以進展緩慢，是因為人命關天。但 Karpathy 指出，一個關鍵軟件系統(tǒng)的漏洞可能導致數(shù)百萬人的隱私泄露、金融系統(tǒng)崩潰或關鍵基礎設施癱瘓，其潛在危害甚至可能超過單次交通事故。因此，那種認為軟件領域的 AI 應用可以”快速迭代、不怕犯錯”的想法是天真且危險的。

此外，自動駕駛的發(fā)展歷程也揭示了其他一些普遍性挑戰(zhàn)：

感知的魯棒性：自動駕駛系統(tǒng)花費了大量時間和資源來解決基礎的計算機視覺問題，確保在各種光照、天氣和遮擋條件下都能準確識別物體。雖然今天的 LLMs 和 VLMs（視覺語言模型）為我們提供了強大的免費表示能力，但它們在特定領域的魯棒性和常識理解仍然存在大量空白需要填補

經濟可行性：即使技術上可行，經濟成本也是一個巨大的障礙。Waymo 等公司之所以部署規(guī)模有限，很大程度上是因為其昂貴的傳感器套件和運營成本使其難以盈利

隱藏的“人在環(huán)路”（Human in the Loop）：公眾看到的無人駕駛汽車背后，往往有一個龐大的遠程操作中心。在車輛遇到困難時，會有遠程操作員介入提供幫助。從某種意義上說，人并沒有被完全移除，只是從駕駛座移動到了一個看不見的地方

社會和法律的適應：技術還需要面對法律責任、保險、社會接受度（比如人們故意在無人車上放置交通錐）等一系列非技術性問題。

Karpathy 總結道，自動駕駛的四十年發(fā)展史（從 1980 年代至今，且遠未結束）告訴我們，任何試圖將復雜 AI 系統(tǒng)部署到現(xiàn)實世界的努力，都將是一場漫長而艱苦的“9的征程”。這讓他對自己關于 AI 發(fā)展需要十年的預測更加堅定

教育：打造“星際艦隊學院”，賦予人類超凡能力

面對 AI 可能帶來的顛覆性未來，Karpathy 選擇的不是創(chuàng)辦另一家 AI 實驗室，而是投身于教育事業(yè)，創(chuàng)立了名為 Eureka 的機構。他的核心動機源于一種深切的擔憂：他害怕人類在 AI 飛速發(fā)展的浪潮中被邊緣化，最終陷入像電影《機器人總動員》（Wall-E）或《蠢蛋進化論》（Idiocracy）中所描繪的那種被動、無知的狀態(tài)。他關心的不僅是 AI 能否建造戴森球，更是人類在那個未來中的福祉和尊嚴

他將 Eureka 的愿景比作“星際艦隊學院”（Starfleet Academy）——一個致力于培養(yǎng)前沿科技人才的精英機構。其核心使命是重新設計教育，使其適應 AI 時代的挑戰(zhàn)和機遇

Karpathy 認為，未來的教育必須利用 AI，但不能簡單地將其作為一個問答工具。他以自己學習韓語的經歷為例，闡述了一個優(yōu)秀人類導師所能達到的極高標準：

精準的診斷：一位好的導師能通過簡短的交流，迅速判斷出學生的知識水平、思維模型和薄弱環(huán)節(jié)

個性化的內容推送：導師會精確地提供恰到好處的挑戰(zhàn)——既不會因為太難而讓學生受挫，也不會因為太簡單而讓學生感到無聊。學生始終處于學習效率最高的“最近發(fā)展區(qū)”

學習者成為唯一的瓶頸：在這樣的指導下，學習者會感覺自己是進步的唯一限制因素，所有外部障礙（如找不到資料、解釋不清晰）都被消除了

他坦言，目前任何 AI 都無法達到他那位韓語導師的水平，因此，現(xiàn)在還不是打造終極 AI 導師的最佳時機。然而，這并不意味著無事可做。Eureka 的短期目標是構建通往知識的“斜坡”（ramps to knowledge）

教育作為技術問題：Karpathy 將教育視為一個極其困難的技術問題，其目標是設計出能最大化“每秒頓悟數(shù)”（Eurekas per second）的學習路徑和材料

以 nanohat 為例：他最近發(fā)布的 nanohat 項目就是一個典型的“知識斜坡”。它是一個極簡但完整的 ChatGPT 復刻版，通過清晰、可讀的代碼，讓學習者能夠完整地理解構建一個 LLM 應用的全過程

第一性原理教學法：他的教學方法深受物理學背景的影響。他總是試圖找到一個系統(tǒng)的“一階近似”，即抓住問題的核心本質。例如，他的 micrograd 庫用 100 行代碼就揭示了反向傳播的全部核心思想，其余的一切（如張量、GPU 內核）都只是為了效率而存在的。在教學時，他會先呈現(xiàn)一個最簡單的模型（如用一個二元查找表來做語言模型），然后一步步引入新的復雜性，并解釋每一步是為了解決什么問題，讓學生在痛苦中感受需求，在解決方案中獲得頓悟。

對于 AGI 之后的遠景，Karpathy 認為教育的性質會發(fā)生根本性變化

從有用到有趣：當所有經濟活動都可以被 AI 自動化時，教育將不再是謀生的手段。它會變得像今天人們去健身房一樣：并非為了靠體力搬運重物，而是為了健康、美觀、樂趣和自我實現(xiàn)

人類潛能的釋放：他堅信，今天的天才們僅僅觸及了人類心智能力的皮毛。之所以大多數(shù)人無法達到更高的高度，是因為現(xiàn)有的教育體系充滿了障礙，讓人很容易受挫放棄。如果能有一個完美的 AI 導師，為每個人鋪平通往任何知識領域的道路，那么學習將變得輕松而愉快。屆時，掌握五種語言、精通大學本科所有基礎課程，可能會成為一種常態(tài)。

最終，Karpathy 的愿景是，通過 Eureka 這樣的機構，培養(yǎng)出能夠在 AI 時代與機器共舞，甚至在某些方面超越機器的超人。即使在遙遠的未來，人類的認知勞動不再具有經濟價值，這種對知識和智識的追求本身，也將成為人類文明延續(xù)和繁榮的意義所在

參考：

Andrej Karpathy — “We’re summoning ghosts, not building animals”