1月4日，前Meta FAIR團隊研究總監(jiān)田淵棟在一份公開的個人年終總結(jié)中，回顧了過去一年其在Meta經(jīng)歷的組織震蕩與被迫離職的經(jīng)歷，并透露個人新的就業(yè)方向和研究方向。在他看來，模型的可解釋性是非常重要的研究領(lǐng)域。

2025年10月22日，Meta首席執(zhí)行官扎克伯格批準(zhǔn)了對該公司人工智能部門裁減約600名員工的計劃。這是Meta今年在AI領(lǐng)域的最大規(guī)模裁員，主要針對被稱為“超智能實驗室”的核心研發(fā)部門，2014年便加入Meta的田淵棟也在此次裁員名單中。

田淵棟說，在2025年1月底被要求加入Llama4救火時，就曾想過未來的四種可能性，如果最后項目沒有成功，也至少盡力而為，但遺憾的是，最后發(fā)生的是沒在計算之內(nèi)的第五種可能，被裁員。

在被裁后，他曾在網(wǎng)絡(luò)上透露對于裁員結(jié)果的不滿，“真正應(yīng)該負(fù)責(zé)解決問題的人并不是被裁員的人?！?/p>

田淵棟被裁后，曾在個人社交平臺上表達不滿

這份年終總結(jié)里，田淵棟也透露今后的就業(yè)方向，去當(dāng)一家新初創(chuàng)公司的聯(lián)合創(chuàng)始人，但其他具體細(xì)節(jié)暫不公開，“希望能安靜地忙一段時間?！碧餃Y棟說。

田淵棟也表示，在這個AI能力極其充沛的時代，巨大的便利往往伴隨著巨大的陷阱。唾手可得的便利，會讓許多人逐漸失去思考的動力，久而久之喪失原創(chuàng)能力，

個人如何保持原創(chuàng)力？

田淵棟認(rèn)為，從戰(zhàn)術(shù)上，我們需要學(xué)會不停地審視AI的答案，挑它的毛病，并找到它無法解決的新問題。從戰(zhàn)略上來看，無論主動還是被動，每個人都將面臨從“員工”角色向“老板”或“創(chuàng)始人”角色的轉(zhuǎn)變。如果心中有一個堅定的目標(biāo)，并愿意動用一切手段（包括將大模型作為核心工具）去達成它，那么主動思考就是自然而然的結(jié)果。目標(biāo)越遠(yuǎn)大，觸發(fā)的主動思考就越多，激發(fā)的潛力就越大。

——以下是田淵棟的2025年終總結(jié)（略有刪減）

在2025年1月底被要求加入Llama4救火的時候，作為一直以來做強化學(xué)習(xí)的人，我事先畫了一個2x2的回報矩陣（reward matrix），計算了一下以下四種可能（雖然在那時，因為來自上面的巨大壓力，不同意是幾乎不可能的）：

田淵棟畫的2x2的回報矩陣（reward matrix）

當(dāng)時想的是我們?nèi)兔Φ脑挘幢阕詈箜椖课茨艹晒?，也至少盡力而為，問心無愧。不過遺憾的是，最后發(fā)生的是沒在計算之內(nèi)的第五種可能，這也讓我對這個社會的復(fù)雜性有了更為深刻的認(rèn)識。

盡管如此，在這幾個月的努力過程中，我們還是在強化學(xué)習(xí)訓(xùn)練的核心問題上有一些探索，比如說訓(xùn)練穩(wěn)定性，訓(xùn)推互動，模型架構(gòu)設(shè)計，和預(yù)訓(xùn)練/中期訓(xùn)練的互動，長思維鏈的算法，數(shù)據(jù)生成的方式，后訓(xùn)練框架的設(shè)計等等。這個經(jīng)驗本身是很重要的，對我的研究思路也帶來了不小的轉(zhuǎn)變。

另外其實我也想過在公司十年多了，總有一天要離開，總不見得老死在公司里吧，但總是因為各種經(jīng)濟上和家庭上的原因還是要待下去。最近一兩年的說話和做事方式，都是抱著一種“公司快把我開了吧”的心態(tài)，反而越來越放開。2023年年末我休第一個長假的時候，其實幾乎差點要走了，但最后沒簽字還是選擇待在公司繼續(xù)，所以說真要做出離開的決定也不容易?，F(xiàn)在Meta幫我做了也挺好。

這次波折和今年一年的起起落落，也為接下來的小說創(chuàng)作提供了非常多的新素材。所謂“仕途不幸詩家幸，賦到滄桑句便工”，生活太平淡，人生就不一定有樂趣了。還記得2021年年頭上的時候，因為在年末工作總結(jié)里面寫了幾句關(guān)于”為啥paper都沒中“的反思，喜提Meet Most（相當(dāng)于被點名談話），有一種突然不及格的懵逼感。但想了想與其到處抱怨世道不公，不如就在大家面前裝成自己剛剛升職吧，結(jié)果半年后果然升了職，而那篇21年頭上無人問津的工作，在2021年7月份中了ICML Best paper honorable mention（ICML 最佳論文榮譽提名），成為一篇表征學(xué)習(xí)中還比較有名的文章。

10月22日之后的一段時間，基本上我的各種通信方式都處于擠爆的狀態(tài)，每天無數(shù)的消息和郵件，還有各種遠(yuǎn)程會議或者見面的邀請，實在是忙不過來了。一直到幾周之后才漸漸恢復(fù)正常。這兩個月非常感謝大家的關(guān)心和熱情。如果那時有什么消息我沒有及時回復(fù)，請見諒。

雖然最后有不少offer，大家能想到的知名公司也都聯(lián)系過我，但最后還是決定趁自己還年輕，去當(dāng)一家新初創(chuàng)公司的聯(lián)合創(chuàng)始人，細(xì)節(jié)暫時不公開，先安靜地忙活一陣吧。

一些研究的方向

2025年的主要方向，一個是大模型推理，另一個是打開模型的黑箱。

自從2024年末我們的連續(xù)隱空間推理（coconut，COLM’25）工作公開之后，25年在這個研究方向上掀起了一股熱潮。大家探索如何在強化學(xué)習(xí)和預(yù)訓(xùn)練中使用這個想法，如何提高它的訓(xùn)練和計算的效率，等等。雖然我們組隨后就被拉去llama干活，沒能再繼續(xù)花很大力氣往下挖，但這個讓我覺得非常欣慰。盡管如此，我們還是在上半年發(fā)了一篇理論分析（Reasoning by Superposition，NeurIPS‘25）的文章，展示連續(xù)隱空間推理有優(yōu)勢的地方究竟在哪里，獲得了不少關(guān)注。

另外是如何提高大模型的推理效率。我們的Token Assorted（ICLR’25）的工作，先通過VQVAE學(xué)出隱空間的離散token，再將所得的離散token和text token混在一起進行后訓(xùn)練，減少了推理代價的同時提高了性能。我們的DeepConf通過檢測每個生成token的自信程度，來決定某條推理路徑是否要被提前中止，這樣推理所用的token減少了很多，但在majority vote的場景下性能反而更好。ThreadWeaver則是通過制造并行推理的思維鏈，并在其上做后訓(xùn)練，來加快推理速度。另外我們也在dLLM上用RL訓(xùn)練推理模型（Sandwiched Policy Gradient），也有在小模型上學(xué)習(xí)推理的嘗試（MobileLLM-R1）。

在可解釋性方面，Grokking（頓悟）這個方向我大概兩年前就在關(guān)注了。因為之前我做表征學(xué)習(xí)（representation learning）的分析，雖然能分析出學(xué)習(xí)的動力學(xué)過程，看到模型出現(xiàn)表征塌縮的原因，但究竟學(xué)出什么樣的表征，它們和輸入數(shù)據(jù)的結(jié)構(gòu)有什么關(guān)系，能達到什么樣的泛化能力，還是個謎團，而通過分析Grokking這個特征涌現(xiàn)的現(xiàn)象，從記憶到泛化的突變過程，正好能解開這個謎團。一開始確實非常難做沒有頭緒，2024年先做了一篇COGS，但只能在特例上進行分析，我不是很滿意。在一年多的迷茫之后，在和GPT5大量互動之后，最近的這篇可證明的Scaling Laws的文章應(yīng)該說有比較大的突破，能分析出之前的線性結(jié)構(gòu)（NTK）看不到的東西，并把特征涌現(xiàn)的訓(xùn)練動力學(xué)大概講清楚了。雖然說分析的樣例還是比較特殊，但至少打開了一扇新的窗口。

2025年年末的這篇《未被選擇的道路》（The path not taken）我很喜歡，對于強化學(xué)習(xí)（RL）和監(jiān)督微調(diào)（SFT）的行為為何會如此不一致，在權(quán)重的層面給出了一個初步的答案。SFT造成過擬合和災(zāi)難性遺忘（catastrophic forgetting），其表層原因是訓(xùn)練數(shù)據(jù)不夠on-policy，而深層原因是權(quán)重的主分量直接被外來數(shù)據(jù)大幅修改，導(dǎo)致“根基”不穩(wěn)，模型效果大降。而RL則因為用on-policy的數(shù)據(jù)進行訓(xùn)練，權(quán)重的主分量不變，改變的只是次要分量，反而能避免災(zāi)難性遺忘的問題，而改變的權(quán)重其分布也會較為稀疏（特別在bf16的量化下）。

關(guān)于可解釋性的信念

很多人覺得可解釋性，或者“AI如何工作得那么好”這個問題不重要，但我卻覺得很重要。試想之后的兩種場景：場景一：如果我們僅僅通過Scaling就達到了AGI乃至ASI，全體人類的勞動價值都降為零，AI作為一個巨大的黑盒子幫我們解決了所有問題，那如何讓AI作為一個超級智能，一直行善，不欺騙不以隱秘的方式作惡，就是當(dāng)務(wù)之急，要解決這個問題就要做可解釋性。場景二：如果Scaling這條路最終失效，人類在指數(shù)增長的資源需求面前敗下陣來，必須得要尋求其他的方案，那我們就不得不去思考“模型為什么有效，什么東西會讓它失效”，在這樣的思考鏈條之下，我們就必須回歸研究，可解釋性就是目所能及的另一條路了。

在這兩種情況下，最終都需要可解釋性來救場。就算最終AI是個全知全能全善的神，以人類好奇和探索的天性，必然還是會去研究AI為什么能做得好。畢竟“黑盒”就意味著猜疑鏈的誕生，在大模型技術(shù)爆炸，開始達到甚至超過人類平均水平的今天，《三體》中“黑暗森林”的規(guī)則，也許會以另一種方式呈現(xiàn)出來。

目前打開訓(xùn)練好模型的黑箱，去找到電路（circuit），還是處于比較初步的階段?？山忉屝哉嬲碾y點，在于從第一性原理，即從模型架構(gòu)、梯度下降及數(shù)據(jù)本身的固有結(jié)構(gòu)出發(fā)，解釋為什么模型會收斂出這些解耦、稀疏、低秩、模塊化、可組合的特征與回路，為什么會有大量不同的解釋，這些涌現(xiàn)出來的結(jié)構(gòu)和模型訓(xùn)練的哪些超參數(shù)相關(guān)，如何相關(guān)，等等。等到我們能從梯度下降的方程里，直接推導(dǎo)出大模型特征涌現(xiàn)的必然性，可解釋性才算真正從生物式的證據(jù)收集走向物理式的原理推導(dǎo)，最終反過來指導(dǎo)實踐，為下一代人工智能的模型設(shè)計開辟道路。對比四百年前的物理學(xué)，我們現(xiàn)在有很多AI版的第谷（收集數(shù)據(jù)），一些AI版的開普勒（提出假說），但還沒有AI版的牛頓（發(fā)現(xiàn)原理）。

等到那一天來臨的時候，我相信，世界一定會天翻地覆。

未來會是什么樣子

拋開前公司里每三個月一次的組織架構(gòu)重組不談，2025年一年的變化本身已經(jīng)很大。2025年年初的Deepseek-R1的發(fā)布，現(xiàn)在想來幾乎已經(jīng)算是20世紀(jì)的事情了。帶思維鏈的推理模型的巨大成功，讓強化學(xué)習(xí)（RL）又回到了AI的主流視野之中，也帶動了AI for Coding及AI Agent的發(fā)展，而后兩者讓大模型有了大規(guī)模落地，大幅度提高生產(chǎn)力的切實可能。

以前做項目，招人是很重要的一環(huán)，但現(xiàn)在腦中的第一個問題是“還需不需要人？”幾個Codex進程一開，給它們下各種指令，它們就可以24小時不間斷干活，速度遠(yuǎn)超任何人類，而且隨便PUA永遠(yuǎn)聽話毫無怨言。和AI工作，我最擔(dān)心的是工作量有沒有給夠，有沒有用完每天的剩余token數(shù)目。這也是為什么各家都在試驗讓AI Agent做幾個小時連續(xù)不斷的工作，看AI的能力上界在哪里。因為人的注意力永遠(yuǎn)是最昂貴的，人要休息，要度假，要允許有走神、睡覺和做其他事情的時間。減少人的介入，讓AI自己找到答案，干幾個小時活之后再回來看看最好。

這每個月交給OpenAI的20塊錢，一定要榨干它的價值啊。

我突然意識到，就因為這20塊錢，我已經(jīng)成為“每個毛孔里都滴著血”的骯臟資本家。我能這么想，全世界最聰明和最富有的頭腦，也一定會這么想。

所以請大家丟掉幻想，準(zhǔn)備戰(zhàn)斗吧。

在幫忙趕工Llama4期間，我經(jīng)常在加州時區(qū)晚上12點接到東部時區(qū)的組員消息，在倫敦的朋友們更是永不下線，熬夜折騰到凌晨四五點是尋常事，但大模型越來越強，辛勤勞動最終達到的結(jié)果，是看到大模型達到甚至超越我們?nèi)粘Ｗ鍪碌乃疁?zhǔn)。

這應(yīng)該說是一種陷入囚徒困境之后的無奈。

人類社會的“費米能級”

如果以后以AI為中心，那還需要人嗎？

如果考慮勞動力的投入－回報模型，傳統(tǒng)思維會告訴你，工作經(jīng)驗積累越多，人的能力越強，回報也越大，是個單調(diào)上升的曲線。這就是為什么大廠有職級，職級隨年限晉升，越老越香。但現(xiàn)在的情況已經(jīng)不同了。職級已經(jīng)沒有意義，過去的經(jīng)驗也沒有意義，人的價值從按照“本人產(chǎn)出的勞動數(shù)量及質(zhì)量”來評估，變成了是否能提高AI的能力，人加AI要大于AI本身的產(chǎn)出，這樣才行。

這樣就讓投入－回報曲線從一個單調(diào)遞增曲線變成了一個先是全零，再在一定閾值之后增長的曲線（也即soft-thresholding的曲線）。一開始人的能力是比不過AI的，而AI的供給只會越來越便宜，所以在很長一段成長期內(nèi)，人本身是沒有價值的。只有在人的能力強到一定程度之后，能夠做到輔助AI變強，才開始變得有價值起來。

并且，在跨越閾值之后，厲害的人對AI的加成，會高于普通人很多，因為普通人只會對AI的一兩條具體產(chǎn)出花時間修修補補，而厲害的人在看了一些AI存在的問題之后，能提出較為系統(tǒng)性和普遍性的解決方案，結(jié)合手上的各類資源（GPU和數(shù)據(jù)等），可以進一步讓AI變得更強，而這種效應(yīng)隨著AI的廣泛部署，會被幾何級數(shù)地放大。“一騎當(dāng)千”這種小說筆法，將很快變成現(xiàn)實。

在這樣一個非常兩極分化的投入－回報模型之下，如果把人+所有個人能獲取的AI當(dāng)成一個智能體，整體來看，它的能力分布會和電子能級在材料里的分布很像：低于或達到某個水準(zhǔn)線的智能體遍地都是，求著客戶給它干活，以證明自己還是有用的；而高于這個水準(zhǔn)線的智能體則指數(shù)級地變少，獲取和使用它非?；ㄥX，還常常排不到。

這個水準(zhǔn)線，就是AI洪水的高度，就是人類社會的“費米能級”。低于費米能級的職業(yè)，可能在一夜之間就被顛覆掉，就像一場洪水或者地震一樣，前一天還是歲月靜好，后一天整個行業(yè)被端掉了。

隨著時間變化，這條水準(zhǔn)線還會一直往上走。其進展的速度，和它能獲取到的，比它更強的數(shù)據(jù)量成正比。如果大模型的訓(xùn)練過程沒有特別大的進展，那和自動駕駛無人車一樣，越往上走，有用的數(shù)據(jù)是越來越少的，進展也會越慢，最頂尖的那部分人，還能在很長時間內(nèi)保有自己的護城河。如果訓(xùn)練過程有突破，比如說找到新的合成數(shù)據(jù)手段，乃至新的訓(xùn)練算法，那就不好說了。

當(dāng)然以上的判斷是假設(shè)有無限的GPU和能源的供給，并沒有考慮到各種資源短缺的情況。能源短缺，芯片產(chǎn)能短缺，內(nèi)存短缺，整個地球能否滿足人類日益瘋狂增長的AI需求還是個未知數(shù)，這方面深究下去，或許可以做一篇論文出來。

遍地神燈時代的獨立和主動思考

那么，接下來會怎么樣呢？

未來的世界，或許不再是傳統(tǒng)故事里描繪的那樣——人們?yōu)榱藸帄Z稀缺的武功秘籍，或是千辛萬苦尋找唯一的阿拉丁神燈、集齊七顆龍珠而展開冒險。相反，這將是一個“遍地神燈”的時代。每一個AI智能體都像是一個神燈，它們能力超群，渴望著實現(xiàn)別人的愿望，以此來證明自己的價值。

在這種環(huán)境下，真正稀缺的不再是實現(xiàn)愿望的能力，而是“愿望”本身，以及將愿望化為現(xiàn)實的那份堅持。

然而，在這個AI能力極其充沛的時代，巨大的便利往往伴隨著巨大的陷阱。大模型提供了極其廉價的思考結(jié)果，在當(dāng)前信息交互尚不充分的市場中，這些結(jié)果甚至可以直接用來交差并獲取經(jīng)濟價值（例如那些一眼就能看出的“AI味”文案）。這種唾手可得的便利，會讓許多人逐漸失去思考的動力，久而久之喪失原創(chuàng)能力，思想被生成式內(nèi)容和推薦系統(tǒng)所綁架和同化。這就是新時代對“懶人”的定義：不再是因為體力上的懶惰，而是精神上沒有空閑去思考，沒有能力去構(gòu)思獨特的東西。

最終變成一具空殼，連許愿的能力都失去了。

那我們該如何保持獨立思考？如何不被AI同化？

戰(zhàn)術(shù)上來說，我們需要學(xué)會不停地審視AI的答案，挑它的毛病，并找到它無法解決的新問題。未來的新價值將來源于三個方面：（1）新的數(shù)據(jù)發(fā)現(xiàn)；（2）對問題全新的深入理解；（3）新的路徑，包括可行的創(chuàng)新方案及其結(jié)果。利用信息不對稱來套利只是暫時的。隨著模型越來越強，社會對AI的認(rèn)知越來越清晰，這種機會將迅速消失。如果僅僅滿足于完成上級交代的任務(wù)，陷入“應(yīng)付完就行”的狀態(tài)，那么在AI泛濫的今天，這種職位極易被取代。

AI時代生存指南 來源：田淵棟的知乎賬號

就拿AI Coding來說，用多了，我會覺得它雖然可以很快弄出一個可以跑的代碼庫滿足需求，但隨著代碼越來越長，它貢獻的代碼也就越來越不如人意，還是需要人來做大的設(shè)計規(guī)劃。如何調(diào)教它讓它更快達成自己的長遠(yuǎn)目的，這會成為人類獨有價值的一部分。如果只是盲目地命令它做這個做那個，而不自己去思考如何做才能和它配合做得更好，那就會和大部分人一樣停留在應(yīng)用層面，而無法理解得更深入，就更不用說獨一無二了。

戰(zhàn)略上來說，無論主動還是被動，每個人都將面臨從“員工”角色向“老板”或“創(chuàng)始人”角色的轉(zhuǎn)變。這種轉(zhuǎn)變的核心在于“目標(biāo)感”。如果心中有一個堅定的目標(biāo)，并愿意動用一切手段（包括將大模型作為核心工具）去達成它，那么主動思考就是自然而然的結(jié)果。目標(biāo)越遠(yuǎn)大，觸發(fā)的主動思考就越多，激發(fā)的潛力就越大。

因此，如果將來的孩子立志要去土衛(wèi)六開演唱會，或者想在黑洞邊緣探險，千萬不要打壓這樣看似荒誕的志向。因為這份宏大的愿望，或許正是他們一輩子充滿前進動力，主動思考的根本源泉，也是讓他們始終屹立于“費米能級”之上的關(guān)鍵。