2025年，當(dāng)GPT-5和Claude在ARC-AGI-2上還能拿到24%的時(shí)候，沒人想到下一代基準(zhǔn)會(huì)把所有大模型打回個(gè)位數(shù)。3月25日，ARC-AGI-3正式上線，預(yù)覽結(jié)果讓行業(yè)集體沉默：前沿大語言模型得分低于1%，而一個(gè)用CNN（卷積神經(jīng)網(wǎng)絡(luò)，一種經(jīng)典圖像識(shí)別架構(gòu)）加簡單圖搜索的方案，拿下了12.58%。

人類基準(zhǔn)是100%。

這不是難度升級(jí)，是游戲規(guī)則重寫。ARC-AGI-3徹底拋棄了靜態(tài)網(wǎng)格謎題，把AI扔進(jìn)沒有說明書、沒有勝利條件、甚至沒有"你在玩什么"提示的交互環(huán)境里。64×64的彩色格子，16種顏色，agent能做的就是移動(dòng)、點(diǎn)擊、重置——然后自己琢磨該干嘛。

Fran?ois Chollet（基準(zhǔn)設(shè)計(jì)者）等了7年，終于把"通用人工智能"的試金石從紙筆考試改成了荒野求生。

從"解謎"到"生存"：ARC的三次變形

2019年Chollet發(fā)布初代ARC時(shí)，設(shè)計(jì)哲學(xué)很直白：人類能秒懂的抽象推理，AI為什么不行？ARC-AGI-1給出輸入輸出網(wǎng)格對(duì)，系統(tǒng)要推斷變換規(guī)則。比如輸入是三個(gè)豎排的點(diǎn)，輸出變成橫排，規(guī)律是"旋轉(zhuǎn)90度"。

這套玩法在2025年被吃透了。前沿模型靠暴力工程堆到90%+，Chollet承認(rèn)"ARC-1已飽和"。2024年底的ARC-AGI-2加入組合推理——符號(hào)解釋、上下文規(guī)則應(yīng)用、多規(guī)則交互——直接把最高分壓到24%。

ARC-AGI-3的跳躍更 radical（激進(jìn)）：150多個(gè)手工設(shè)計(jì)的環(huán)境，1000多個(gè)關(guān)卡，每個(gè)游戲8-10關(guān)漸進(jìn)解鎖新機(jī)制。預(yù)覽中的三個(gè)樣本足以說明跨度：ls20要求邊導(dǎo)航邊變換符號(hào)，ft09要在重疊網(wǎng)格間匹配模式，vc33則需要調(diào)節(jié)"體積"高度來命中目標(biāo)。

評(píng)分標(biāo)準(zhǔn)也換了。不再是簡單的通過/失敗，而是動(dòng)作效率——AI用了多少步，對(duì)比人類基線。100%意味著全程和人類一樣精練，不多走一步冤枉路。

大模型在這里暴露的短板，和它們在ARC-AGI-2里栽的跟頭完全不同。

為什么GPT-5會(huì)低于1%？

預(yù)覽期的12份提交里，8份在私有游戲上測試。前三名全是非LLM方案。這個(gè)分布本身就很說明問題。

榜首StochasticGoose來自Tufa Labs的Dries Smit，架構(gòu)簡單到近乎樸素：CNN做動(dòng)作預(yù)測，稀疏獎(jiǎng)勵(lì)（只有通關(guān)信號(hào)），幀轉(zhuǎn)儲(chǔ)到內(nèi)存做離線訓(xùn)練，哈希表去重。沒有預(yù)訓(xùn)練知識(shí)，沒有世界模型，沒有鏈?zhǔn)酵评怼褪强磮D、試錯(cuò)、記住什么管用。

對(duì)比之下，GPT-5和Claude的架構(gòu)假設(shè)了"有文本可讀"。它們的訓(xùn)練數(shù)據(jù)里，任務(wù)通常附帶明確指令。ARC-AGI-3的關(guān)卡設(shè)計(jì)刻意消除了這個(gè)假設(shè)：agent看到的只有像素變化，聽到的只有沉默。

Chollet在發(fā)布說明里點(diǎn)明了四個(gè)被測試的新能力：探索（主動(dòng)收集信息）、建模（構(gòu)建可泛化的世界模型）、目標(biāo)設(shè)定（無指令下識(shí)別目的）、規(guī)劃與執(zhí)行（帶修正的戰(zhàn)略行動(dòng)）。這四項(xiàng)恰好都是當(dāng)前LLM的盲區(qū)——它們擅長在已知規(guī)則內(nèi)優(yōu)化，而非在未知環(huán)境中發(fā)現(xiàn)規(guī)則。

低于1%不是偶然失誤，是架構(gòu)層面的錯(cuò)配。就像把象棋冠軍扔進(jìn)沒有棋盤的密室逃脫，他讀過的所有棋譜都幫不上忙。

12%的CNN意味著什么

StochasticGoose的成績值得拆解。CNN在2012年ImageNet奪冠后，已經(jīng)被Transformer壓制多年，在AI敘事里早就是"上一代技術(shù)"。但ARC-AGI-3的預(yù)覽結(jié)果說明：在特定約束下，經(jīng)典架構(gòu)可能比巨型語言模型更懂"從零開始"。

關(guān)鍵在"稀疏獎(jiǎng)勵(lì)"和"狀態(tài)去重"。大模型的強(qiáng)化學(xué)習(xí)通常依賴密集反饋（每一步都有評(píng)分），而ARC-AGI-3只在通關(guān)時(shí)給信號(hào)。StochasticGoose用哈希表記錄"來過這里"避免循環(huán)，用幀存儲(chǔ)實(shí)現(xiàn)離線學(xué)習(xí)——這些技巧不新，但組合起來恰好契合環(huán)境特性。

12.58%距離人類還很遠(yuǎn)，但它證明了一件事：規(guī)模不是唯一解。當(dāng)前SOTA（state-of-the-art，某領(lǐng)域最優(yōu)）大模型在這個(gè)基準(zhǔn)上可能嚴(yán)重 overfit（過擬合）了"有說明書的世界"。

比賽獎(jiǎng)金池超過200萬美元，分三個(gè)賽道。官方Kaggle leaderboard目前還是空白——正式提交窗口剛打開。

200萬美元賭什么

ARC-AGI-3的獎(jiǎng)金結(jié)構(gòu)本身就在引導(dǎo)研究方向。三個(gè)賽道分別對(duì)應(yīng)不同資源約束：公開賽道允許任意計(jì)算，受限賽道有成本上限，人類賽道要求實(shí)時(shí)交互。這種設(shè)計(jì)明顯在防范"用算力 brute-force（暴力破解）"的老路。

Chollet的長期主張是：AGI需要"高效學(xué)習(xí)新技能的能力"，而非"預(yù)裝大量技能"。ARC-AGI-1的失敗在于被預(yù)訓(xùn)練知識(shí)覆蓋，ARC-AGI-2開始強(qiáng)調(diào)組合泛化，ARC-AGI-3直接把"先驗(yàn)知識(shí)"清零——每個(gè)游戲都是全新物理規(guī)則，agent必須現(xiàn)場重建因果模型。

這和當(dāng)前 industry's bet（行業(yè)押注）存在張力。OpenAI、Anthropic、Google的路徑依賴預(yù)訓(xùn)練 scaling law（規(guī)模定律）：更多數(shù)據(jù)、更多參數(shù)、更多計(jì)算。ARC-AGI-3的預(yù)覽結(jié)果暗示，這條路的邊際效益可能在特定類型的智能上趨近于零。

但也不必急于宣布LLM死刑。預(yù)覽樣本有限，12份提交里的8份私有測試可能隱藏了未公開的LLM方案。更重要的是，ARC-AGI-3的設(shè)計(jì)者本人就是LLM的批評(píng)者——Chollet多次公開質(zhì)疑"預(yù)測下一個(gè)token"能否通向AGI?；鶞?zhǔn)的偏見性需要納入考量。

游戲化基準(zhǔn)的連鎖反應(yīng)

ARC-AGI-3的環(huán)境設(shè)計(jì)明顯借鑒了游戲AI測試傳統(tǒng)。DeepMind的Atari成果、OpenAI的Dota 2 agent、DeepMind的StarCraft II，都證明了強(qiáng)化學(xué)習(xí)在封閉游戲環(huán)境中的潛力。但那些項(xiàng)目有明確目標(biāo)（贏比賽）、已知規(guī)則（游戲說明書）、可定義獎(jiǎng)勵(lì)（得分/勝負(fù)）。

ARC-AGI-3的 radical（激進(jìn)）之處在于連這些都要agent自己發(fā)現(xiàn)。這更接近發(fā)展心理學(xué)里的"嬰兒探索"——沒有任務(wù)清單，通過互動(dòng)建構(gòu)對(duì)世界的理解。

150多個(gè)手工環(huán)境的設(shè)計(jì)成本不菲。每個(gè)游戲8-10關(guān)的漸進(jìn)難度，確保agent不能靠單一策略通關(guān)。評(píng)分效率而非二元成功，懲罰"亂拳打死老師傅"的暴力嘗試。這些設(shè)計(jì)選擇把測試焦點(diǎn)從"知識(shí)儲(chǔ)備"轉(zhuǎn)向"學(xué)習(xí)速度"。

對(duì)AI安全研究，這種基準(zhǔn)也有特殊價(jià)值。對(duì)齊問題的一個(gè)核心擔(dān)憂是：AI在訓(xùn)練環(huán)境表現(xiàn)良好，但在分布外場景失效。ARC-AGI-3每個(gè)游戲都是分布外，強(qiáng)制測試泛化能力的下限。

開發(fā)者預(yù)覽的隱藏信息

30天預(yù)覽期的12份提交，樣本量小但結(jié)構(gòu)清晰。前三名非LLM，中間層混合方案，LLM墊底。這種分布和ARC-AGI-2形成鏡像——當(dāng)時(shí)LLM還能靠提示工程和思維鏈拿到可觀分?jǐn)?shù)。

一個(gè)可能的解釋：ARC-AGI-3的"無文本"設(shè)計(jì)直接廢除了LLM的核心優(yōu)勢。當(dāng)環(huán)境不輸出自然語言描述時(shí)，預(yù)訓(xùn)練的語言知識(shí)成為負(fù)擔(dān)而非資產(chǎn)。agent需要處理的是像素級(jí)因果推斷，這和token級(jí)預(yù)測是完全不同的計(jì)算圖。

StochasticGoose的哈希去重策略也值得注意。大模型的上下文窗口有限，而ARC-AGI-3的關(guān)卡可能需要數(shù)十步探索。顯式存儲(chǔ)"已訪問狀態(tài)"避免了重復(fù)探索，這種工程技巧在資源受限時(shí)可能比端到端學(xué)習(xí)更可靠。

預(yù)覽結(jié)果還暴露了一個(gè)評(píng)估盲區(qū)：當(dāng)前沒有標(biāo)準(zhǔn)化的"人類效率"測量。100%基準(zhǔn)如何建立？多少人類測試者？什么背景？這些細(xì)節(jié)會(huì)影響分?jǐn)?shù)的可比性。Chollet團(tuán)隊(duì)需要盡快公開方法論，否則12.58%的解讀會(huì)有歧義。

行業(yè)敘事的分叉點(diǎn)

GPT-5低于1%的消息，和同期發(fā)布的其他"大模型遇挫"新聞形成共振。但需要區(qū)分兩種失?。阂环N是能力邊界被觸及，另一種是能力錯(cuò)配被暴露。ARC-AGI-3更像是后者。

沒有證據(jù)表明LLM在可預(yù)見的未來無法適應(yīng)這類環(huán)境。多模態(tài)融合、世界模型預(yù)訓(xùn)練、神經(jīng)符號(hào)混合架構(gòu)——技術(shù)選項(xiàng)還很多。但預(yù)覽結(jié)果確實(shí)提出了一個(gè)尖銳問題：當(dāng)前 industry's trillion-dollar bet（行業(yè)數(shù)萬億美元押注）是否過度集中于單一架構(gòu)？

CNN的12%是一個(gè)錨點(diǎn)。它說明在特定約束下，"小"方案可以擊敗"大"方案。這和2012年AlexNet顛覆傳統(tǒng)計(jì)算機(jī)視覺的敘事形成有趣對(duì)照——當(dāng)年是神經(jīng)網(wǎng)絡(luò)擊敗手工特征，今天是手工工程擊敗巨型神經(jīng)網(wǎng)絡(luò)。

歷史不會(huì)簡單重復(fù)，但技術(shù)范式的搖擺值得警惕。如果ARC-AGI-3的后續(xù)結(jié)果持續(xù)顯示非LLM優(yōu)勢，可能會(huì)觸發(fā)研究資源的重新分配。至少，它給了"反scaling law"陣營一個(gè)有力的數(shù)據(jù)點(diǎn)。

下一步看什么

Kaggle leaderboard的首次更新將是關(guān)鍵指標(biāo)。如果LLM方案迅速追上或超越CNN基準(zhǔn)，說明預(yù)覽期的低分是暫時(shí)調(diào)試問題。如果差距持續(xù)，可能引發(fā)更深層的架構(gòu)反思。

另一個(gè)觀察點(diǎn)是獲獎(jiǎng)方案的公開細(xì)節(jié)。200萬美元獎(jiǎng)金會(huì)吸引頂級(jí)團(tuán)隊(duì)，他們的技術(shù)報(bào)告可能比分?jǐn)?shù)本身更有信息量。特別是"受限賽道"的勝出者——在計(jì)算成本約束下獲勝，直接回應(yīng)了AGI可行性的核心爭議。

Chollet本人承諾持續(xù)更新環(huán)境庫，防止過擬合。這種動(dòng)態(tài)基準(zhǔn)的設(shè)計(jì)，借鑒了網(wǎng)絡(luò)安全領(lǐng)域的CTF（奪旗賽）模式：攻擊者（AI研究者）和防御者（基準(zhǔn)設(shè)計(jì)者）持續(xù)博弈。長期有效性取決于更新頻率和社區(qū)參與度。

最后，人類基準(zhǔn)的測量細(xì)節(jié)需要關(guān)注。100%是理論上限，但實(shí)際人類表現(xiàn)分布如何？新手和專家的效率差距多大？這些基線數(shù)據(jù)會(huì)顯著影響AI進(jìn)度的解讀。

3月25日，ARC-AGI-3上線當(dāng)天，一個(gè)用CNN和哈希表的方案暫時(shí)領(lǐng)先。這個(gè)畫面有點(diǎn)像2016年AlphaGo擊敗李世石前的序章——當(dāng)時(shí)也沒人相信神經(jīng)網(wǎng)絡(luò)能在圍棋上超越人類。但區(qū)別在于，這次領(lǐng)先的不是更龐大的模型，而是更精瘦的架構(gòu)。

如果三個(gè)月后的leaderboard上，GPT-6或Claude 4依然低于10%，我們可能需要重新問一個(gè)問題：通往AGI的路，是不是在某個(gè)岔口走錯(cuò)了方向？