文章轉(zhuǎn)載于字母AI

縮放定律（Scaling law）可能是AI時(shí)代最重要的“金科玉律”之一。

縮放定律的原出處，是OpenAI的一篇叫做《神經(jīng)語言模型的縮放定律》（Scaling Laws for Neural Language Models）的論文。

而這篇論文的通訊作者，就是達(dá)里奧·阿莫迪，他的另一個(gè)廣為人知的身份，則是Anthropic的聯(lián)合創(chuàng)始人。

Anthropic在AI編程領(lǐng)域優(yōu)勢明顯，地位隱隱然與OpenAI和Google鼎足而三，剛傳出將以3500億美元估值融資200億美元的消息。作為聯(lián)創(chuàng)，阿莫迪當(dāng)然功不可沒。

但很少有人注意到，阿莫迪還有另一個(gè)身份——百度前員工。

按照百度內(nèi)部通訊軟件“如流”的分級(jí)來看，阿莫迪應(yīng)該叫“紅度阿莫迪同學(xué)”。

更有意思的是，在2024年底Amodei在一次播客采訪中，阿莫迪透露2014年與吳恩達(dá)在百度研究AI的時(shí)候，他就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律縮放定律。

此話一出，掀起了一陣“百度是否比OpenAI更早發(fā)現(xiàn)縮放定律”的爭論。

Amodei不是個(gè)例，在硅谷，“百度”頻繁出現(xiàn)在大佬的履歷里。

最為人所熟知的是AI學(xué)術(shù)大牛、斯坦福大學(xué)教授、谷歌大腦聯(lián)合創(chuàng)始人吳恩達(dá)，他曾是百度硅谷實(shí)驗(yàn)室的“靈魂”。

離職時(shí)，他不吝對李彥宏的贊美，稱他是“第一個(gè)清晰看到深度學(xué)習(xí)價(jià)值的大型公司CEO，也是全球最好的AI CEO之一。他的熱情和百度的決心讓我覺得這是一個(gè)難得的機(jī)會(huì)”。

在Meta，沙蘭·納朗（Sharan Narang）組建并擴(kuò)展了Llama預(yù)訓(xùn)練團(tuán)隊(duì)，交付了Llama 2、3和4的預(yù)訓(xùn)練模型，奠定了Meta在生成式人工智能領(lǐng)域的領(lǐng)先地位。

而他曾是百度硅谷實(shí)驗(yàn)室的高級(jí)研究員，離開后先在谷歌當(dāng)技術(shù)主管，后跳槽到Meta。

在蘋果，曾擔(dān)任AI/機(jī)器學(xué)習(xí)相關(guān)方向總監(jiān)的亞當(dāng)·考特斯（Adam Coates），曾是百度硅谷實(shí)驗(yàn)室的早期核心成員之一，跟隨師父吳恩達(dá)加入，并在后者離開之后接棒。

在英偉達(dá)，應(yīng)用深度學(xué)習(xí)副總裁布萊恩·卡坦扎羅（Bryan Catanzaro），曾是百度硅谷實(shí)驗(yàn)室的高級(jí)研究員，專門研究GPU優(yōu)化。

他們的共同經(jīng)歷，是在十年前的“百度硅谷實(shí)驗(yàn)室”效力過。那代表著百度的一次硅谷野心。

1

硅谷野心

百度請來了“谷歌大腦（Google Brain）之父”，要在硅谷搞一個(gè)“百度大腦”，這在當(dāng)時(shí)是爆炸性新聞。

2014年，百度硅谷實(shí)驗(yàn)室成立，專注于人工智能與深度學(xué)習(xí)技術(shù)研究，與北京深度學(xué)習(xí)實(shí)驗(yàn)室、大數(shù)據(jù)實(shí)驗(yàn)室共同構(gòu)成百度研究院核心科研體系，并任命斯坦福大學(xué)教授、Coursera聯(lián)合創(chuàng)始人吳恩達(dá)出任首席科學(xué)家，負(fù)責(zé)統(tǒng)籌百度在北京與硅谷兩地的人工智能研究工作。

吳恩達(dá)是谷歌大腦的早期核心成員之一，也是深度學(xué)習(xí)從學(xué)術(shù)走向工業(yè)化過程中最具標(biāo)志性的人物之一。

對一家中國互聯(lián)網(wǎng)公司而言，在這一時(shí)間點(diǎn)、以研究負(fù)責(zé)人而非顧問的形式，將這樣一位學(xué)者級(jí)人物納入體系，在硅谷并不多見。

媒體在報(bào)道中強(qiáng)調(diào)，這是百度在硅谷長期布局人工智能研究的重要一步，并披露百度計(jì)劃在未來五年內(nèi)為這一國際研究項(xiàng)目投入約3億美元，目標(biāo)是將硅谷團(tuán)隊(duì)擴(kuò)展至約200人規(guī)模。

那一年，Transformer架構(gòu)尚未出現(xiàn)，“大模型”仍是一個(gè)不存在的概念。但深度學(xué)習(xí)的拐點(diǎn)已經(jīng)到來。

2012年，AlexNet在ImageNet競賽中取得壓倒性優(yōu)勢，卷積神經(jīng)網(wǎng)絡(luò)開始從學(xué)術(shù)論文走向產(chǎn)業(yè)實(shí)踐。

2013年，F(xiàn)acebook請來?xiàng)盍⒗ィ╕ann LeCun），成立Facebook AI Research。

2014年初，谷歌以數(shù)億美元級(jí)別的價(jià)格收購英國AI公司DeepMind。

人工智能已經(jīng)不再僅僅是研究熱點(diǎn)。

但在當(dāng)時(shí)，這仍然是一條高投入、長周期、結(jié)局不明的路線。少數(shù)巨頭已經(jīng)開始下注，大多數(shù)公司仍在觀望。

百度正是在這一階段選擇大膽押注的一方。

彼時(shí)，移動(dòng)端搜索使用量開始超過PC。但移動(dòng)廣告的變現(xiàn)效率明顯低于PC，成本結(jié)構(gòu)也更為復(fù)雜，這使得公司整體盈利能力承壓。

在多次公開場合，李彥宏將這種變化描述為一次結(jié)構(gòu)性的轉(zhuǎn)折。他強(qiáng)調(diào)，從PC向移動(dòng)的遷移并非終點(diǎn)，更大的技術(shù)浪潮正在醞釀，而人工智能將深刻改變信息獲取與分發(fā)的方式。

正是在這樣的判斷下，百度決定不再只在國內(nèi)推進(jìn)應(yīng)用層改進(jìn)，而是直接進(jìn)入全球AI研究最密集的現(xiàn)場——硅谷。

其實(shí)早在2011年，百度硅谷研究院就成立了，但主要是將硅谷的中國工程師招募回國。

而吳恩達(dá)的加入才是百度卷入硅谷人才爭奪核心圈的標(biāo)志，在那之后，百度的AI研究形成三大實(shí)驗(yàn)室——硅谷人工智能實(shí)驗(yàn)室（SVAIL）、深度學(xué)習(xí)實(shí)驗(yàn)室（IDL）、大數(shù)據(jù)實(shí)驗(yàn)室（BDL），一個(gè)在硅谷，兩個(gè)在北京，形成了中美兩地聯(lián)動(dòng)的格局。

推動(dòng)這次合作的關(guān)鍵人物是吳恩達(dá)的老朋友、百度當(dāng)時(shí)負(fù)責(zé)深度學(xué)習(xí)研究的高管余凱（Kai Yu）。兩人多次在帕洛阿爾托一家喜來登酒店會(huì)面，從早餐談到晚餐，隨后余凱又引見了百度的其他研究負(fù)責(zé)人。

之后，吳恩達(dá)飛往北京，與李彥宏進(jìn)行了一次長達(dá)數(shù)小時(shí)的會(huì)談，討論百度研究體系未來應(yīng)當(dāng)如何搭建。

這并不是一次傳統(tǒng)意義上的跳槽談判。對吳恩達(dá)而言，吸引力不在于頭銜，而在于空間。

百度為他提供的，是從零設(shè)計(jì)研究方向、在硅谷搭建國際化團(tuán)隊(duì)、并在相對獨(dú)立的環(huán)境中推進(jìn)長期研究的空間。吳恩達(dá)在接受采訪時(shí)直言，他對“從零開始構(gòu)建一個(gè)國際研究組織”感到興奮。

對許多研究者而言，這意味著一家中國公司正在以接近Google、Facebook的方式，系統(tǒng)性地參與人工智能基礎(chǔ)研究競爭。

1

人來了

吳恩達(dá)的存在本身，就形成了一種吸引力。他在斯坦福和谷歌大腦的背景，讓不少研究者愿意過來試一試。

實(shí)驗(yàn)室早期最重要的工作之一，是語音識(shí)別系統(tǒng)Deep Speech。模型要足夠大，數(shù)據(jù)要足夠多，訓(xùn)練要持續(xù)足夠久，人才極其重要。

一批后來在AI世界反復(fù)出現(xiàn)的名字聚到了一起。

亞當(dāng)·考特斯（Adam Coates）是其中的核心人物之一。他本身是斯坦福出身，師從吳恩達(dá)，研究背景扎實(shí)。他跟隨吳恩達(dá)加入百度，在實(shí)驗(yàn)室里承擔(dān)的角色，更多是把“研究”變成“能持續(xù)推進(jìn)的工程”。

在工程層面，布萊恩·卡坦扎羅（Bryan Catanzaro）的作用逐漸顯現(xiàn)。他從英偉達(dá)跳槽過來，關(guān)注點(diǎn)在于如何讓這些越來越大的模型，真正高效地跑在GPU上。很多時(shí)候，瓶頸并不來自算法，而來自系統(tǒng)效率。

格雷戈里·迪亞莫斯（Gregory Diamos）來百度之前，是英偉達(dá)CUDA架構(gòu)師。他在百度對DeepSpeech和DeepVoice系統(tǒng)有貢獻(xiàn)，他關(guān)注的則是更底層的系統(tǒng)問題：訓(xùn)練過程如何被拆解、調(diào)度和優(yōu)化，如何把高性能計(jì)算的思路真正嫁接到深度學(xué)習(xí)訓(xùn)練中。

在這些人之間，后來創(chuàng)辦Anthropic的阿莫迪當(dāng)時(shí)并不顯眼。

他在團(tuán)隊(duì)里的身份，只是一名研究科學(xué)家，參與模型和系統(tǒng)的實(shí)際打磨。但正是在這段經(jīng)歷中，一種后來被反復(fù)提及的直覺，逐漸成形。

多年之后，阿莫迪在回顧自己職業(yè)路徑時(shí)提到，他對“規(guī)�！钡恼J(rèn)識(shí)，并不是來自某一次靈光乍現(xiàn)，而是來自反復(fù)的工程實(shí)踐。在Deep Speech的實(shí)驗(yàn)中，當(dāng)模型規(guī)模、數(shù)據(jù)量和計(jì)算資源被同步放大時(shí)，系統(tǒng)性能并不是隨機(jī)起伏，而是呈現(xiàn)出一種平滑而穩(wěn)定的提升趨勢。

那時(shí)，“縮放定律”還沒有成為一個(gè)被命名的概念，多年后，2024年底，已經(jīng)是Anthropic創(chuàng)始人的阿莫迪透露此事，引發(fā)了“百度是不是先于OpenAI發(fā)現(xiàn)縮放定律”的爭議。

當(dāng)年在百度觀察到類似“縮放定律”的科學(xué)家，迪亞莫斯也是其中之一。

到現(xiàn)在他的領(lǐng)英界面上百度那段工作經(jīng)歷里還寫著頭銜是“大語言模型縮放定律研究員（LLM Scaling Law Researcher）”。

隨著項(xiàng)目推進(jìn)，實(shí)驗(yàn)室本身也在變化。

最初，它更像一個(gè)相對獨(dú)立的研究飛地；但到2016年前后，語音、視覺、自然語言處理、自動(dòng)駕駛等方向同時(shí)展開，團(tuán)隊(duì)迅速膨脹，研究開始不可避免地與公司整體戰(zhàn)略發(fā)生更緊密的咬合。

實(shí)驗(yàn)室不再只是“做研究”，而逐漸承擔(dān)起連接前沿探索與內(nèi)部工程體系的角色。

正是在這種張力之下，百度在2017年做出了一個(gè)新的組織性選擇。第二個(gè)大型研發(fā)中心在硅谷設(shè)立，這一次，重心不再是基礎(chǔ)研究，而是更明確地服務(wù)于自動(dòng)駕駛等方向的工程落地。

新的中心配備了車輛實(shí)驗(yàn)室，主要支持Apollo自動(dòng)駕駛平臺(tái)的開發(fā)與測試，同時(shí)也容納了部分安全相關(guān)團(tuán)隊(duì)。它與最初的硅谷AI實(shí)驗(yàn)室形成了分工：一個(gè)更偏前沿研究，一個(gè)更偏系統(tǒng)工程和實(shí)際應(yīng)用。

那場以研究為核心的實(shí)驗(yàn)階段，正在走向尾聲。

接下來不可回避的問題是：從2014年到2017年，百度這套“在硅谷重金押注AI”的策略，究竟有沒有起到效果？

如果從最直觀的財(cái)務(wù)結(jié)果來看，答案并不簡單。至少在這三年里，人工智能并沒有立刻成為百度新的現(xiàn)金引擎。2016年，百度營收增速明顯放緩，四季度甚至出現(xiàn)同比下滑，公司在財(cái)報(bào)溝通中反復(fù)強(qiáng)調(diào)“轉(zhuǎn)型期投入”的必要性。這意味著，AI更像是一項(xiàng)面向未來的長期基礎(chǔ)設(shè)施投資，而不是可以迅速反映在利潤表上的業(yè)務(wù)。

但如果把標(biāo)準(zhǔn)切換為“是否改變了公司在技術(shù)與人才層面的地位”，結(jié)論就要復(fù)雜得多。

在技術(shù)層面，百度在這一階段確實(shí)獲得了前所未有的國際能見度。

Deep Speech 2的論文被大量引用，作者名單中同時(shí)出現(xiàn)北京與硅谷研究者。百度的語音識(shí)別成果開始頻繁被拿來與谷歌、微軟對比，進(jìn)入全球技術(shù)敘事。

1

散是滿天星

吳恩達(dá)在2017年3月宣布離開百度。在他的公開信中，幾乎看不到任何沖突描述，他強(qiáng)調(diào)的是團(tuán)隊(duì)已經(jīng)成型、接班安排已經(jīng)就緒，以及公司在AI上的長期投入。文字克制而體面。

就在吳恩達(dá)離開前后，百度內(nèi)部確實(shí)發(fā)生了一輪明確、可見，而且影響深遠(yuǎn)的管理層與組織結(jié)構(gòu)調(diào)整。

最關(guān)鍵的變化發(fā)生在2017年1月。百度宣布引入陸奇，擔(dān)任集團(tuán)總裁兼首席運(yùn)營官（President&COO）。在此之前，陸奇長期任職于微軟，以執(zhí)行力強(qiáng)、組織管理風(fēng)格明確著稱；再往前，他也是Yahoo搜索與廣告體系的重要負(fù)責(zé)人。這是一個(gè)典型的、以業(yè)務(wù)整合、流程效率和結(jié)果導(dǎo)向聞名的管理者。

在陸奇加入之前，百度的AI體系——尤其是硅谷實(shí)驗(yàn)室——更接近一種明星科學(xué)家牽引的研究“飛地”模式。

吳恩達(dá)直接向李彥宏匯報(bào)，百度硅谷實(shí)驗(yàn)室在組織上相對獨(dú)立，研究方向、用人節(jié)奏、項(xiàng)目推進(jìn)，很大程度上圍繞吳恩達(dá)本人展開。這種模式的優(yōu)點(diǎn)很明顯：

決策快、學(xué)術(shù)自由度高、對頂級(jí)研究者極具吸引力。

它的隱含前提是：研究本身被視為階段性優(yōu)先級(jí)最高的事情。

但到了2016年末，這個(gè)前提正在發(fā)生變化。

一方面，在當(dāng)年9月召開的百度世界大會(huì)上，李彥宏首次提出“人工智能是百度核心中的核心”，并將吳恩達(dá)安排為僅次于自己的第二位演講嘉賓，AI被明確推到公司級(jí)戰(zhàn)略的最前臺(tái)。

另一方面，Apollo自動(dòng)駕駛、對話式系統(tǒng)、智能硬件等方向開始被提升到公司級(jí)戰(zhàn)略高度，AI不再只是研究部門的事情，而是需要與搜索、地圖、云、汽車產(chǎn)業(yè)鏈發(fā)生深度耦合。

這正是陸奇被引入的背景。

在這樣的結(jié)構(gòu)變化下，吳恩達(dá)時(shí)代那種“由一位世界級(jí)學(xué)者牽引、跨中美兩端、以研究為核心”的模式，開始顯得不再匹配新的組織邏輯。

隨著百度進(jìn)入一個(gè)更強(qiáng)調(diào)執(zhí)行、協(xié)同和業(yè)務(wù)結(jié)果的階段，個(gè)人影響力必然要讓位于組織機(jī)制。

吳恩達(dá)所代表的那種高度依賴個(gè)人號(hào)召力、研究優(yōu)先級(jí)極高的模式，完成了它的歷史使命。

2017年還有一個(gè)重大的變化，那就是特朗普就任美國總統(tǒng)，中美科技摩擦陡然加劇，百度硅谷實(shí)驗(yàn)室的長期可行性必然會(huì)受到審視。

彼時(shí)特朗普推出強(qiáng)硬的移民政策，持有H1-B簽證的科技從業(yè)者人心惶惶，李彥宏公開鼓勵(lì)人才回國發(fā)展。

從吸納以余凱為代表的歸國人才，到直插美國腹地在硅谷搶奪人才并在當(dāng)?shù)刂苯娱_展工作，再到鼓勵(lì)人才回國，李彥宏微妙的心態(tài)轉(zhuǎn)變已見端倪。

除了AI在短期內(nèi)難以對財(cái)務(wù)形成貢獻(xiàn)以及外部環(huán)境的變化，更深層的張力來自組織內(nèi)部：研究導(dǎo)向的AI探索，始終需要嵌入以搜索為核心、節(jié)奏高度成熟的業(yè)務(wù)體系，而這種協(xié)同，從未真正順暢。

一條財(cái)經(jīng)曾經(jīng)在2017年的一篇報(bào)道中援引知情人士的話：“別看百度人工智能那么風(fēng)光，實(shí)際上搜索的數(shù)據(jù)根本不向研究院開放。做人工智能的這撥人都是海歸、精英，跟搜索那邊完全是兩種風(fēng)格，兩邊互相看不上�！�

這也解釋了為什么2017年前后，不只是吳恩達(dá)，一批早期在硅谷實(shí)驗(yàn)室集結(jié)的研究者，在隨后一兩年內(nèi)陸續(xù)離開。

回頭看，百度硅谷人工智能實(shí)驗(yàn)室是以一種更安靜，也更復(fù)雜的方式退場的。

它沒有等來一紙“關(guān)閉公告”，卻在2017年之后逐漸失去了作為獨(dú)立研究中樞的意義。核心人物離開，研究重心回撤，組織結(jié)構(gòu)被拆解和吸收。

這與當(dāng)年的雄心形成了鮮明對比。

百度曾在公開場合多次描繪一個(gè)極具野心的未來——人工智能將成為公司最重要的增長引擎，甚至承載著國際化的想象，彼時(shí)流行的說法是“到2020年，AI將深度重塑百度的業(yè)務(wù)結(jié)構(gòu)”。

現(xiàn)實(shí)卻是，到了那個(gè)時(shí)間節(jié)點(diǎn)，百度真正押注的重心已經(jīng)明顯轉(zhuǎn)向了更可控，也更貼近現(xiàn)實(shí)的方向：自動(dòng)駕駛、云服務(wù)、產(chǎn)業(yè)智能化。AI不再是一個(gè)獨(dú)立的信仰中心，而是被重新嵌入業(yè)務(wù)體系，成為工具和能力的一部分。

那個(gè)曾被寄予厚望、試圖在硅谷復(fù)刻一次技術(shù)奇跡的實(shí)驗(yàn)室，最終完成了它的歷史使命。

硅谷實(shí)驗(yàn)室所代表的，是一種以研究優(yōu)先、以個(gè)人號(hào)召力和前沿探索為核心的模式。而百度最終選擇的，是更強(qiáng)調(diào)組織效率、工程落地和業(yè)務(wù)協(xié)同的路徑。

那些從硅谷實(shí)驗(yàn)室離開的人，則沿著各自的方向四散開花。

考特斯先是接棒了老師吳恩達(dá)，成為百度硅谷實(shí)驗(yàn)室的負(fù)責(zé)人，然后他也離開了，之后進(jìn)入Apple，繼續(xù)在更封閉，也更工程化的體系中推進(jìn)機(jī)器學(xué)習(xí)實(shí)踐；

卡坦扎羅從英偉達(dá)來，揮別百度之后，又回到英偉達(dá)，現(xiàn)在已經(jīng)是英偉達(dá)副總裁、深度學(xué)習(xí)應(yīng)用研究部分負(fù)責(zé)人。他最為人所知的形象標(biāo)志，是一頭長發(fā)和茂密的胡須；

“大語言模型縮放定律研究員”迪亞莫斯繼續(xù)深耕系統(tǒng)與算力方向，創(chuàng)辦了AI公司Lamini。

而阿莫迪，把在Deep Speech工程實(shí)踐中形成的“規(guī)模直覺”帶去了新的地方，最終創(chuàng)辦了Anthropic，站在了后來大模型浪潮的最前沿。

至于吳恩達(dá)，當(dāng)年余凱勸說他加入百度的時(shí)候，曾說他“在在線教育領(lǐng)域做得太出色了，但那不是AI”。

吳恩達(dá)離開百度之后，再次把重心放回“教育”。

他通過Courser把深度學(xué)習(xí)課程推給成千上萬的學(xué)生；隨后又創(chuàng)辦DeepLearning.AI，把多年積累下來的方法論、經(jīng)驗(yàn)和判斷，整理成課程、項(xiàng)目和創(chuàng)業(yè)資源。

當(dāng)時(shí)間來到今天，回頭翻看這些人的履歷，你會(huì)發(fā)現(xiàn)一個(gè)反復(fù)出現(xiàn)的注腳——百度。

它不指向某一項(xiàng)具體成果，而更像是一段共同經(jīng)歷。

在那幾年里，這些人曾同時(shí)站在野心交匯的地方，看清了什么是可行的，什么是不可持續(xù)的，然后各自走向不同的方向。

從這個(gè)意義上說，百度硅谷實(shí)驗(yàn)室并沒有成為全球AI敘事的最終中心。它更像是一處早期的中轉(zhuǎn)站——在浪潮真正成形之前，率先聚攏了一批人，讓他們完成一次密集的試探與碰撞。

當(dāng)方向切換、舞臺(tái)轉(zhuǎn)移，這些人離開，故事也隨之散開。硅谷實(shí)驗(yàn)室并未被正式關(guān)閉，但它所代表的那種時(shí)代，已經(jīng)停留在了那里。

參考資料：

1. 首席人物觀：《被百度“耽誤”的三年如何影響了吳恩達(dá)的今天？》

2. 一條財(cái)經(jīng)：《吳恩達(dá)也走了！李彥宏的百度大腦還能走多遠(yuǎn)？》

3. 網(wǎng)易新聞：《百度或比OpenAI更早發(fā)現(xiàn)Scaling Law》

4. Z Finance：《深度｜Anthropic CEO萬字長文：DeepSeek不是我們的對手，鎖死芯片出口才能保證美國領(lǐng)導(dǎo)下的單極世界》

5. 澎湃新聞：《吳恩達(dá)的3年百度歲月和百度人工智能的“無”恩達(dá)時(shí)代》

點(diǎn)個(gè)“愛心”，再走 吧