鷺羽 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

離職的LeCun，反手就給Meta一記重錘：差評(píng)如潮的Llama4真的作弊刷榜了！

• 結(jié)果的確被篡改了一點(diǎn)。
  為了更好的結(jié)果，團(tuán)隊(duì)對(duì)不同基準(zhǔn)測(cè)試使用了不同的模型

都說(shuō)別惹離職er，不止LeCun，田淵棟也在個(gè)人年終總結(jié)中透露了一點(diǎn)內(nèi)幕。

• 明明是被拉來(lái)給Llama4救火的，事先預(yù)想了四種可能，結(jié)果小扎給了我第五種……

（扶額苦笑.jpg）

Anyway，至于離職后的打算，兩位大神都不約而同地表示：

創(chuàng)業(yè)！

Llama4刷榜引發(fā)的離職潮

DeepSeek還是給小扎壓力太大。

此前就有消息爆料，DeepSeek的橫空出世，讓Llama 4還沒(méi)發(fā)布就被甩在身后，逼得小扎瘋狂加碼AI投資。

這一點(diǎn)也得到了LeCun的證實(shí)。

小扎確實(shí)慌了，對(duì)內(nèi)push上強(qiáng)度，要求GenAI部門(mén)加速AI開(kāi)發(fā)和部署，還拉來(lái)原FAIR團(tuán)隊(duì)的田淵棟救火。

結(jié)果就是，團(tuán)隊(duì)之間溝通直接破裂。LeCun他們想要做些新東西，但小扎更想要已經(jīng)被驗(yàn)證過(guò)的、可以直接落地的技術(shù)。

真正的導(dǎo)火索則來(lái)自于Llama 4的慘敗。

不僅輸了，還因?yàn)榕判邪裨旒倜暣蟮?，于是小扎徹底?duì)團(tuán)隊(duì)所有人失去了信心，并將他們?nèi)窟吘壔?/p>

這也直接導(dǎo)致Meta開(kāi)啟了團(tuán)隊(duì)大換血：一邊天價(jià)從硅谷各個(gè)公司挖人，一邊又大刀闊斧裁掉老員工們。

田淵棟及其團(tuán)隊(duì)則是被率先波及的一群人。

一月份被趕鴨子上架加入Llama 4，十月份Llama 4.5一訓(xùn)完就被卸磨殺驢。

這波田淵棟都得喊冤……

因?yàn)樯项^的壓力，全組被迫放下手頭正在做的工作，來(lái)Llama 4接爛攤子，距離發(fā)布ddl就剩2個(gè)月，還要處理所有dirty work。

為此，田淵棟那時(shí)還專(zhuān)門(mén)畫(huà)了個(gè)2x2的回報(bào)矩陣，計(jì)算了下干這事的四種結(jié)局：

但老板都發(fā)話(huà)了，不得不干啊，田淵棟想著那就但求盡力而為，問(wèn)心無(wú)愧吧。

結(jié)果哼哧哼哧干了幾個(gè)月，小扎一個(gè)都沒(méi)選，給了Plan E：不問(wèn)責(zé)負(fù)責(zé)人，轉(zhuǎn)頭把田淵棟和組員們一腳踢了出去。

難怪田淵棟復(fù)盤(pán)這段經(jīng)歷時(shí)，也要來(lái)一句：

• 這也讓我對(duì)這社會(huì)的復(fù)雜性有了更為深刻的認(rèn)識(shí)。

不過(guò)好在田淵棟自己也想得開(kāi)，他說(shuō)自己已經(jīng)待在Meta十多年了，最近幾年更是抱著“公司快把我開(kāi)了吧”的心態(tài)，所以也算是因禍得福吧，還給他接下來(lái)的小說(shuō)創(chuàng)作提供了很多新素材（doge）。

（咳咳）言歸正傳，這幾個(gè)月對(duì)于田淵棟來(lái)說(shuō)，也不算一無(wú)所獲，在強(qiáng)化學(xué)習(xí)訓(xùn)練的核心問(wèn)題上他也有了些新的探索。

首先是大模型推理，繼2024年底團(tuán)隊(duì)公開(kāi)的連續(xù)隱空間推理（coconut）引發(fā)廣泛關(guān)注后，團(tuán)隊(duì)繼續(xù)通過(guò)理論工作Reasoning by Superposition進(jìn)一步闡明了連續(xù)隱空間推理的優(yōu)勢(shì)所在。

與此同時(shí)，也分別從不同角度嘗試提升模型推理效率：Token Assorted通過(guò)隱空間的離散token減少計(jì)算開(kāi)銷(xiāo)、DeepConf基于置信度提前終止推理、ThreadWeaver制造并行思維鏈加速推理，以及在不同規(guī)模模型中用RL學(xué)習(xí)推理能力。

在可解釋性方面，研究聚焦于Grokking（頓悟） 這一特征涌現(xiàn)現(xiàn)象，從記憶到泛化的突變過(guò)程入手，試圖解釋模型究竟學(xué)到了什么、和輸入數(shù)據(jù)的關(guān)系、能達(dá)到怎樣的泛化，也就是打開(kāi)模型的黑箱。

簡(jiǎn)而言之，對(duì)于被拉來(lái)“背黑鍋”這事，田淵棟對(duì)老東家還是手下留情了，雖然你不地道，但我已經(jīng)Let it go～

不過(guò)緊隨其后離職的LeCun就沒(méi)那么心軟了，直接痛批Meta內(nèi)部對(duì)LLM上癮過(guò)甚，尤其是那些新挖來(lái)的超級(jí)智能實(shí)驗(yàn)室成員。

他點(diǎn)名批評(píng)亞歷山大王：年輕且缺乏經(jīng)驗(yàn)。

雖然學(xué)得快，但壓根不懂研究，不知道怎么做、也不知道如何和研究員們共處。

在LeCun面前，這個(gè)27歲的年輕人，簡(jiǎn)直像個(gè)little baby。

但大語(yǔ)言模型并非他們所想象的那樣美好，LeCun直言，LLM有用但本質(zhì)受限于語(yǔ)言，夸張一點(diǎn)說(shuō)：

• LLM是死胡同。

要實(shí)現(xiàn)人類(lèi)水平智能，就必須了解物理世界的運(yùn)作規(guī)律，也就是LeCun長(zhǎng)期專(zhuān)注的世界模型，但Meta對(duì)此已經(jīng)喪失了興趣。

在研究路線(xiàn)上的分歧，也讓LeCun不得不離開(kāi)公司，開(kāi)啟自己人生的下一章——創(chuàng)業(yè)。

離開(kāi)Meta做點(diǎn)啥？創(chuàng)業(yè)

LeCun的新公司名為Advanced Machine Intelligence（AMI），做的還是他心心念念的世界模型，而且all in開(kāi)源。

不過(guò)據(jù)他自己透露，他只會(huì)擔(dān)任新公司的執(zhí)行主席而不是CEO。

• 我是一名科學(xué)家，我能激勵(lì)人們從事工作，以及猜測(cè)哪項(xiàng)技術(shù)會(huì)成功，但我不擅長(zhǎng)組織管理，也實(shí)在太老了。

LeCun將擁有和之前在Meta相同的研究自由度，而負(fù)責(zé)帶領(lǐng)AMI的將交給法國(guó)醫(yī)療AI初創(chuàng)公司Nabla的聯(lián)合創(chuàng)始人兼CEO Alex LeBrun。

他們將目光聚焦在V-JEPA架構(gòu)上，試圖通過(guò)學(xué)習(xí)視頻和空間數(shù)據(jù)來(lái)理解物理世界，讓AI完成規(guī)劃、推理并擁有長(zhǎng)期記憶，也就是他常說(shuō)的高級(jí)機(jī)器智能。

LeCun預(yù)計(jì)將在12個(gè)月內(nèi)，見(jiàn)證該項(xiàng)技術(shù)的初始版本誕生，并在最近幾年內(nèi)實(shí)現(xiàn)大規(guī)模進(jìn)展，雖然它顯然還遠(yuǎn)遠(yuǎn)稱(chēng)不上超級(jí)智能，但至少在通往AGI的道路上，它存在希望。

而作為L(zhǎng)eCun的老下屬，田淵棟也拒絕了大廠(chǎng)們紛紛為他拋來(lái)的橄欖枝，剛剛正式宣布創(chuàng)業(yè)！

具體細(xì)節(jié)暫時(shí)未表，但他表示：

• 乘著自己還年輕，去當(dāng)一家新初創(chuàng)公司的聯(lián)合創(chuàng)始人。

不管怎樣，先安靜地忙活一陣。

參考鏈接：
[1]https://www.ft.com/content/e3c4c2f6-4ea7-4adf-b945-e58495f836c2
[2]https://zhuanlan.zhihu.com/p/1990809161458540818