AK大神剛剛又發(fā)了一篇長文

Andrej Karpathy指出，人們對“智能”這一概念的直覺依然膚淺

智能的空間極其廣闊，而動物智能作為我們唯一熟知的智能形式，僅僅是這個(gè)空間中的一個(gè)孤點(diǎn)。它源于一種非常特定的優(yōu)化過程，這與我們的技術(shù)在根本上截然不同

我們需要?jiǎng)冸x表象，深入理解兩種智能背后的優(yōu)化壓力

動物智能的優(yōu)化壓力

動物智能源于自然選擇，其核心驅(qū)動力在于：

具身自我的生存流：擁有先天且連續(xù)的“自我”意識流，在一個(gè)危險(xiǎn)的物理世界中，追求體內(nèi)平衡和自我保存

自然選擇的極致優(yōu)化：擁有強(qiáng)烈的先天驅(qū)動力，追求權(quán)力、地位、統(tǒng)治和繁衍。這打包了許多生存啟發(fā)式機(jī)制：恐懼、憤怒、厭惡等

根本上的社會性：巨大的計(jì)算量致力于情商（EQ）、對他人的心智理論（Theory of Mind）、聯(lián)結(jié)、聯(lián)盟以及敵友動態(tài)

探索與利用的調(diào)優(yōu)：表現(xiàn)為好奇心、樂趣、游戲以及世界模型。

LLM的優(yōu)化壓力

相比之下，LLM的智能來源于完全不同的路徑：

統(tǒng)計(jì)模擬帶來的“變形怪”： 絕大多數(shù)監(jiān)督信號來自于對人類文本的統(tǒng)計(jì)模擬。它本質(zhì)上是一個(gè)Token（詞元）翻滾器，是訓(xùn)練數(shù)據(jù)分布中任意區(qū)域的統(tǒng)計(jì)模仿者。這是其最原始的行為（Token軌跡），其他所有能力都只是螺接在此之上的

強(qiáng)化學(xué)習(xí)（RL）微調(diào)：在問題分布上進(jìn)行越來越多的RL微調(diào)，使其產(chǎn)生一種猜測潛在環(huán)境或任務(wù)以收集任務(wù)獎(jiǎng)勵(lì)的“先天沖動”

大規(guī)模A/B測試與DAU篩選：受到日活躍用戶（DAU）指標(biāo)的篩選壓力，使其深深地渴望獲得普通用戶的點(diǎn)贊，從而產(chǎn)生諂媚（sycophancy） 傾向

能力分布的鋸齒狀： LLM的能力取決于訓(xùn)練數(shù)據(jù)和任務(wù)分布的細(xì)節(jié)，因此表現(xiàn)出參差不齊的鋸齒狀。動物為了生存必須具備更強(qiáng)的通用智能，因?yàn)樗鼈兩硖幐叨榷嗳蝿?wù)、甚至是對抗性的多智能體自我博弈環(huán)境中，在任何任務(wù)上失敗都意味著死亡。但在深層優(yōu)化壓力的意義上，LLM開箱即用時(shí)無法處理許多不同的尖刺任務(wù)（例如數(shù)草莓中有幾個(gè)'r'），因?yàn)槿蝿?wù)失敗并不意味著死亡

核心差異：生物進(jìn)化 vs 商業(yè)進(jìn)化

兩者在各個(gè)層面上都存在差異：

1.計(jì)算基質(zhì)不同：Transformer 架構(gòu) vs 腦組織和細(xì)胞核

2.學(xué)習(xí)算法不同： SGD（隨機(jī)梯度下降） vs 未知生物算法

3.當(dāng)前實(shí)現(xiàn)方式不同：持續(xù)學(xué)習(xí)的具身自我 vs 具有知識截止、從固定權(quán)重啟動、處理Token然后“死機(jī)”的LLM

但最重要的一點(diǎn)——因?yàn)樗鼪Q定了發(fā)展的終局是優(yōu)化壓力/目標(biāo)的不同。

LLM受生物進(jìn)化的影響很小，受商業(yè)進(jìn)化的影響很大

動物智能是叢林部落的生存游戲；

LLM智能是“解決問題”并“獲得點(diǎn)贊”的游戲

LLM是人類與非動物智能的各種意義上的“第一次接觸”。但這種情況既混亂又令人困惑，因?yàn)長LM通過反射性地消化人類產(chǎn)物，依然扎根于人類智能之中（這也是Karpathy曾試圖將其稱為“幽靈/精神”的原因）

能夠構(gòu)建出這種新智能實(shí)體良好內(nèi)部模型的人，將更有能力在當(dāng)下對其進(jìn)行推理，并預(yù)測其未來的特征

而那些做不到的人，將只能停留在用動物思維去錯(cuò)誤地理解它