轉(zhuǎn)自機(jī)器之心，僅用于學(xué)術(shù)分享

現(xiàn)在的大學(xué)生該選什么專業(yè)？未來(lái)一百年的大學(xué)會(huì)是什么樣子？業(yè)界 AI 如此強(qiáng)勢(shì)，學(xué)界還能做什么？谷歌在過(guò)去二十多年里做對(duì)了什么，又有哪些遺憾？

在斯坦福大學(xué)工程學(xué)院百年慶典的收官活動(dòng)上，谷歌聯(lián)合創(chuàng)始人謝爾蓋?布林重返母校，與校長(zhǎng) Jonathan Levin 以及工程學(xué)院院長(zhǎng) Jennifer Widom 展開(kāi)了一場(chǎng)對(duì)談。

布林于 1993 年進(jìn)入斯坦福工程學(xué)院，攻讀計(jì)算機(jī)科學(xué)研究生。讀研期間，他結(jié)識(shí)了拉里?佩奇。兩人共同開(kāi)發(fā)了一種搜索算法，并于 1998 年創(chuàng)辦了谷歌。

回顧谷歌的來(lái)時(shí)路，布林坦言 8 年前提出 Transformer 時(shí)，他們沒(méi)有予以足夠的重視，而且因?yàn)閾?dān)心聊天機(jī)器人說(shuō)蠢話而害怕將其展示給世人。但他同時(shí)認(rèn)為，他們這些年也做了很多正確的事情，比如投資研發(fā) TPU 并建立規(guī)模龐大的數(shù)據(jù)中心。

對(duì)于未來(lái)，布林也表達(dá)了一些自己的看法，比如認(rèn)為大學(xué)未來(lái)可能不應(yīng)該再限制于某個(gè)地理位置，學(xué)界未來(lái)應(yīng)該投身更具探索性質(zhì)的研究，材料等科研方向可能被低估了……

以下是這場(chǎng)對(duì)話內(nèi)容的摘錄。

Google 早期做對(duì)了什么？

學(xué)術(shù)基因、敢碰難題

校長(zhǎng)：Google 已經(jīng)是一家市值 4 萬(wàn)億美元的公司，業(yè)務(wù)范圍極其廣泛。你們這些年肯定做了很多正確的決定。有沒(méi)有什么是你們?cè)趧?chuàng)建 Google 初期就做對(duì)的事情？

布林： 我覺(jué)得早期的話，Larry 一直非常有雄心。他現(xiàn)在也是。對(duì)你提出的每個(gè)計(jì)劃，他幾乎都會(huì)說(shuō)「這不夠有野心」。我們確實(shí)很早就有了非常宏大的使命宣言 —— 整合全球信息。我認(rèn)為這是創(chuàng)辦公司的一個(gè)很好的理念基礎(chǔ)。

另外，我們創(chuàng)建了一家相當(dāng)學(xué)術(shù)化的公司。我和 Larry 都是從博士項(xiàng)目出來(lái)的，當(dāng)時(shí)很多創(chuàng)業(yè)公司是大學(xué)生創(chuàng)辦的。我確實(shí)認(rèn)為這會(huì)稍微改變你思考問(wèn)題的方式。我們從早期就非常重視基礎(chǔ)研發(fā)投入。

校長(zhǎng)：我覺(jué)得有充分的理由說(shuō) Google 是過(guò)去 25 年全球最具創(chuàng)新力的公司。無(wú)論是產(chǎn)品創(chuàng)新，還是很多重大決策，比如收購(gòu) YouTube 發(fā)展視頻業(yè)務(wù)、收購(gòu) DoubleClick 做廣告、還有 Waymo。技術(shù)創(chuàng)新從一開(kāi)始就很突出，現(xiàn)在做芯片也是。大公司保持高度創(chuàng)新是很難的，每個(gè)人都在這方面掙扎，但你們做到了。很多人認(rèn)為你個(gè)人在這方面有很大影響。你是怎么思考培育創(chuàng)新文化的？

布林：部分原因就是敢于嘗試。因?yàn)槲覀冇袑W(xué)術(shù)根基，可能更傾向于嘗試?yán)щy的事情。

進(jìn)入過(guò)去十年左右，困難的事情變得越來(lái)越有價(jià)值。以 AI 為例，它所需的計(jì)算量、所需的高深數(shù)學(xué)，這些都是技術(shù)上深?yuàn)W且具有挑戰(zhàn)性的問(wèn)題。命運(yùn)的安排使得這些在當(dāng)今世界變得重要。

曾經(jīng)有一段時(shí)間，你可以做 pets.com，任何東西都可以加個(gè).com。技術(shù)深度要求不高，懂點(diǎn)網(wǎng)絡(luò)就行?，F(xiàn)在我們招的人比我當(dāng)時(shí)要合格得多。我當(dāng)時(shí)算是偏數(shù)學(xué)的計(jì)算機(jī)專業(yè)，因?yàn)楸究仆瑫r(shí)學(xué)了數(shù)學(xué)和計(jì)算機(jī)，這在我那屆比較少見(jiàn)。但現(xiàn)在我們從斯坦福和其他頂級(jí)項(xiàng)目招的人，數(shù)學(xué)和計(jì)算機(jī)都很強(qiáng)，還有很多物理學(xué)家，因?yàn)槲锢韺W(xué)家必須做高深數(shù)學(xué)，而且他們的很多工作受限于計(jì)算能力，所以他們也需要計(jì)算技能。我覺(jué)得我們只是運(yùn)氣好，在那個(gè)方向上稍微早一點(diǎn)就確定了方向。

Transformer 論文發(fā)了

我們卻沒(méi)當(dāng)回事

校長(zhǎng)： 談?wù)?AI 吧。每個(gè)人都在關(guān)注它。你回到 Google 從事這方面的工作。你們?cè)诤芏喾矫娑继幱谇把兀?jìng)爭(zhēng)非常激烈。投入 AI 基礎(chǔ)設(shè)施的資本達(dá)到數(shù)千億美元，單個(gè)公司層面都是這樣。你怎么看當(dāng)前 AI 領(lǐng)域的格局？

布林：我們確實(shí)在某些方面搞砸了 —— 我們投資不足，大約八年前發(fā)布 Transformer 論文時(shí)沒(méi)有足夠重視。我們沒(méi)有太當(dāng)回事，沒(méi)有投資擴(kuò)展計(jì)算規(guī)模。而且我們太害怕把它展示給用戶，因?yàn)榱奶鞕C(jī)器人會(huì)說(shuō)蠢話。OpenAI 抓住了機(jī)會(huì)，他們做得很好。這是非常聰明的洞察，而且是我們的人比如 Ilya 去那里做的這些事。

但我確實(shí)認(rèn)為我們?nèi)匀皇芤嬗谀嵌温L(zhǎng)的歷史。我們?cè)谏窠?jīng)網(wǎng)絡(luò)的研發(fā)上有很長(zhǎng)的積累，可以追溯到 Google Brain。這也有點(diǎn)運(yùn)氣成分。雇到 Jeff Dean 不是運(yùn)氣 —— 能得到他我們很幸運(yùn) —— 但我們當(dāng)時(shí)就有「深度技術(shù)很重要」的心態(tài)，所以我們雇了他。我們從 DEC（迪吉多）挖了很多人，因?yàn)樗麄儺?dāng)時(shí)有頂級(jí)研究實(shí)驗(yàn)室。Jeff 對(duì)神經(jīng)網(wǎng)絡(luò)很有熱情，源于他大學(xué)時(shí)的實(shí)驗(yàn)。他 16 歲時(shí)就在做治療第三世界疾病和研究神經(jīng)網(wǎng)絡(luò)之類的瘋狂事情。他建立了整個(gè)團(tuán)隊(duì)。

當(dāng)時(shí)在我負(fù)責(zé)的 Google X 部門(mén)，我讓他做他想做的。他說(shuō)「我們能區(qū)分貓和狗了」，我說(shuō)「好吧，酷」。但你要信任你的技術(shù)人員。很快他們就開(kāi)發(fā)出各種算法和神經(jīng)網(wǎng)絡(luò)，用于我們的一些搜索功能。然后有人提出了 Transformer，我們能做的事情越來(lái)越多。

所以我們有基礎(chǔ)，有研發(fā)積累。確實(shí)有幾年投資不足，沒(méi)有足夠重視。但我們當(dāng)時(shí)也開(kāi)發(fā)了芯片，TPU 大概有 12 年歷史了。最初我們用 GPU，可能是最早使用 GPU 的公司之一，然后用 FPGA，然后開(kāi)發(fā)自己的芯片，現(xiàn)在已經(jīng)迭代了無(wú)數(shù)代。對(duì)深度技術(shù)的信任、獲取更多計(jì)算能力、開(kāi)發(fā)算法 —— 同時(shí)我們長(zhǎng)期以來(lái)一直是計(jì)算的大投資者，數(shù)據(jù)中心規(guī)模很大。除了亞馬遜 AWS，很少有公司有那種規(guī)模的數(shù)據(jù)中心、自己的半導(dǎo)體、深度學(xué)習(xí)算法等所有這些堆棧組件，能夠在現(xiàn)代 AI 前沿競(jìng)爭(zhēng)。

AI 會(huì)寫(xiě)代碼了

還要學(xué)計(jì)算機(jī)嗎？

校長(zhǎng)：我們這里大約有 250 名學(xué)生，很多是本科生，相當(dāng)多的人還沒(méi)選專業(yè)，因?yàn)樗固垢＝o本科生很大的靈活性。幾年前我們可以預(yù)測(cè)大量學(xué)生會(huì)選計(jì)算機(jī)科學(xué)作為專業(yè)。你是否建議他們繼續(xù)選計(jì)算機(jī)科學(xué)？

布林：我選計(jì)算機(jī)科學(xué)是因?yàn)槲覍?duì)它有熱情，所以對(duì)我來(lái)說(shuō)是很自然的選擇。你可以說(shuō)我也很幸運(yùn)，因?yàn)槲艺迷谝粋€(gè)如此具有變革性的領(lǐng)域。我不會(huì)因?yàn)?AI 現(xiàn)在編程能力還不錯(cuò)就不選計(jì)算機(jī)科學(xué)。AI 在很多事情上都相當(dāng)不錯(cuò)。編程之所以受關(guān)注是因?yàn)樗泻艽蟮氖袌?chǎng)價(jià)值，所以很多人追求它。而且更好的編程能帶來(lái)更好的 AI，所以像我們這樣的公司非常重視它。我們大量使用它來(lái)編程，甚至用于算法創(chuàng)意。

所以我不會(huì)因?yàn)?AI 擅長(zhǎng)編程就轉(zhuǎn)去學(xué)比較文學(xué)。說(shuō)實(shí)話，AI 在比較文學(xué)方面可能更強(qiáng)。我無(wú)意冒犯比較文學(xué)專業(yè)的學(xué)生，但當(dāng) AI 寫(xiě)代碼時(shí)，有時(shí)候會(huì)犯相當(dāng)嚴(yán)重的錯(cuò)誤。而在比較文學(xué)論文里寫(xiě)錯(cuò)一句話不會(huì)有那么嚴(yán)重的后果。所以 AI 做一些創(chuàng)意性的事情其實(shí)更容易。

未來(lái)一百年

大學(xué)還會(huì)是現(xiàn)在這個(gè)樣子嗎？

校長(zhǎng)：今年是工程學(xué)院的百年紀(jì)念。如果你是院長(zhǎng)，要啟動(dòng)學(xué)院的第二個(gè)百年，你會(huì)怎么思考？

布林：我想我會(huì)重新思考大學(xué)意味著什么。我知道這聽(tīng)起來(lái)有點(diǎn)煩人 —— 這是 Larry 會(huì)說(shuō)的那種話，我會(huì)對(duì)他很惱火。但我們有這個(gè)地理上集中的東西，有建筑，有豪華的報(bào)告廳。但現(xiàn)實(shí)是，現(xiàn)在信息傳播非?？?。很多大學(xué)已經(jīng)上線了開(kāi)放課程，任何人都可以上網(wǎng)學(xué)習(xí)，可以和 AI 聊天。

那么擁有一所大學(xué)意味著什么？如果你想最大化影響力，限制在地理位置可能不會(huì)那么有效。當(dāng)然，灣區(qū)是個(gè)特殊的地方。但我不知道在未來(lái)一個(gè)世紀(jì)，工程學(xué)院和大學(xué)的概念是否還會(huì)和以前一樣。人們到處移動(dòng)，遠(yuǎn)程工作，跨地域協(xié)作。這有點(diǎn)矛盾，因?yàn)槲覀冋噲D讓人們回到辦公室，我確實(shí)認(rèn)為他們?cè)谝黄鸸ぷ餍Ч?，但那是在特定?guī)模下。如果你有一百人在那邊，他們不一定要和另外一百人在同一個(gè)地方。

我越來(lái)越看到一些個(gè)人創(chuàng)造新事物，不管有沒(méi)有學(xué)位。雖然我們雇了很多學(xué)術(shù)明星，但我們也雇了大量沒(méi)有學(xué)士學(xué)位的人，他們就是在某個(gè)奇怪的角落自己摸索出來(lái)的。我不認(rèn)為我能神奇地給你新配方，但我覺(jué)得這種形式不太可能是未來(lái)一百年的模式。

大公司基礎(chǔ)研究這么強(qiáng)

學(xué)術(shù)界還能做什么？

學(xué)生提問(wèn) 1：Google 很大程度上源自您在學(xué)術(shù)界完成的 PageRank 研究。而在今天，越來(lái)越多的創(chuàng)新由工業(yè)界主導(dǎo)，您是否仍然認(rèn)為「從學(xué)術(shù)到產(chǎn)業(yè)」的這條路徑依然重要？如果重要，又該如何去強(qiáng)化它？

布林：說(shuō)實(shí)話，我可能只能回答一句：我也不太確定。

我讀研究生的時(shí)候，一個(gè)新想法從被提出，到真正具有商業(yè)價(jià)值，往往要經(jīng)歷幾十年的時(shí)間。在這樣的時(shí)間尺度下，學(xué)術(shù)研究是非常合理的：你有足夠的自由，可以慢慢思考、申請(qǐng)經(jīng)費(fèi)、反復(fù)試驗(yàn)，一個(gè)問(wèn)題可以研究二三十年，最后才慢慢「滲透」到產(chǎn)業(yè)里，可能是被大公司吸收，也可能變成一家創(chuàng)業(yè)公司。

但如果這個(gè)時(shí)間被大幅壓縮呢？如果一個(gè)想法從出現(xiàn)到落地只需要幾年，甚至更短，那這條路徑是否還同樣成立？我覺(jué)得這是一個(gè)值得重新思考的問(wèn)題。

當(dāng)然，有些事情仍然是有意義的。即便是在 AI 領(lǐng)域，我們也會(huì)持續(xù)關(guān)注斯坦福等高校的研究，偶爾招聘一些研究人員，或者展開(kāi)合作。但很多情況下，你很難說(shuō)這些工作一定 “必須” 在學(xué)術(shù)界先醞釀很長(zhǎng)時(shí)間 —— 比如某種新的 attention 機(jī)制，可能在大學(xué)里實(shí)驗(yàn)兩年，隨后就被帶進(jìn)了工業(yè)界。但問(wèn)題是，工業(yè)界本身也在做同樣的事情。所以在這些方面，學(xué)術(shù)界的 “先行期” 未必有特別不可替代的優(yōu)勢(shì)。

也許在更激進(jìn)、更底層的創(chuàng)新上，情況會(huì)不一樣。比如全新的模型架構(gòu)、全新的計(jì)算范式。這類方向，工業(yè)界雖然一旦決定投入就能擴(kuò)展得非?？?，但最初的探索，可能仍然更適合在學(xué)術(shù)環(huán)境中進(jìn)行。

量子計(jì)算就是一個(gè)例子。這個(gè)想法在上世紀(jì)八十年代左右被提出，之后很長(zhǎng)時(shí)間都停留在理論和實(shí)驗(yàn)室階段?，F(xiàn)在，一方面有很多公司在推進(jìn)量子計(jì)算的工程化，另一方面，大學(xué)實(shí)驗(yàn)室仍在嘗試各種完全不同的實(shí)現(xiàn)路徑。這類方向正好處在學(xué)術(shù)和產(chǎn)業(yè)的邊界上。

如果你提出了一種完全不同于主流路線的新方法 —— 比如既不是我們?cè)谧龅某瑢?dǎo)量子比特，也不是很多初創(chuàng)公司在嘗試的離子阱方案 —— 那它可能確實(shí)需要在大學(xué)里慢慢發(fā)酵幾年。這類問(wèn)題非常困難，也很冒險(xiǎn)，放在學(xué)術(shù)環(huán)境中是合理的。但一旦你真的確信它是可行且有前景的，最終你大概率還是會(huì)把它推進(jìn)到商業(yè)化階段，以某種形式進(jìn)入產(chǎn)業(yè)。所以，我很難給你一個(gè)明確、非黑即白的答案。

因?yàn)楝F(xiàn)在的頭部科技公司，確實(shí)也在做大量基礎(chǔ)研究，而且在 AI 領(lǐng)域，我們已經(jīng)開(kāi)始看到這些長(zhǎng)期投入的回報(bào)。這意味著，學(xué)術(shù)與產(chǎn)業(yè)之間的分工比例正在發(fā)生變化。

但我仍然相信，有些研究 —— 那種需要十年甚至更久、以純探索為主的研究 —— 產(chǎn)業(yè)界往往是不愿意承擔(dān)的，因?yàn)樗鼈兊臅r(shí)間跨度實(shí)在太長(zhǎng)，不符合「上市時(shí)間」的邏輯。而這些，可能仍然是學(xué)術(shù)界不可替代的價(jià)值所在。

Google Glass 的教訓(xùn)

別以為自己是下一個(gè)喬布斯

學(xué)生提問(wèn) 2： 隨著 AI 以前所未有的速度加速，像我這樣年輕有抱負(fù)的創(chuàng)業(yè)者應(yīng)該采取什么心態(tài)來(lái)避免重蹈覆轍？

布林：避免重蹈覆轍的心態(tài)？當(dāng)你有很酷的新穿戴設(shè)備想法時(shí)，在做涉及跳傘和飛艇的炫酷特技之前，一定要把它完全打磨好。這是一個(gè)建議。

其實(shí)我喜歡我們當(dāng)年在 Google Glass 上做的事情，但那是一個(gè)以前犯錯(cuò)的例子。我試圖在它足夠成熟之前過(guò)快商業(yè)化，在成本效益和消費(fèi)者體驗(yàn)方面都沒(méi)準(zhǔn)備好。我有點(diǎn)操之過(guò)急，以為自己是下一個(gè)喬布斯，可以搞定這個(gè)東西。

我想說(shuō)的是，每個(gè)人都以為自己是下一個(gè)喬布斯，我肯定犯過(guò)這個(gè)錯(cuò)誤。但他是一個(gè)非常獨(dú)特的人。所以我建議確保你的想法在足夠長(zhǎng)的時(shí)間里得到充分發(fā)展，然后才進(jìn)入那個(gè)必須不斷奔跑的階段 —— 外部期望增加，開(kāi)支增加，你必須在某個(gè)時(shí)間交付。你可能沒(méi)有足夠的時(shí)間做完所有需要做的事情。你會(huì)陷入一種期望滾雪球的狀態(tài)，沒(méi)有給自己足夠的時(shí)間來(lái)處理。這是我會(huì)盡量避免的錯(cuò)誤。

AI 的下一個(gè)前沿方向是什么？

學(xué)生提問(wèn) 3：我們看到很多 AI 公司通過(guò)擴(kuò)展數(shù)據(jù)和計(jì)算來(lái)改進(jìn)大語(yǔ)言模型。一旦數(shù)據(jù)和計(jì)算都用盡了，你認(rèn)為下一個(gè)方向是什么？會(huì)是新的架構(gòu)，transformer 的替代品？還是更好的學(xué)習(xí)方法，比監(jiān)督學(xué)習(xí)或強(qiáng)化學(xué)習(xí)更好的東西？

布林：你提到的這些方向 —— 新架構(gòu)、新訓(xùn)練方法 —— 在我看來(lái)，其實(shí)早就已經(jīng)比單純擴(kuò)算力、擴(kuò)數(shù)據(jù)更重要了。

只是因?yàn)閿U(kuò)算力太顯眼了：建數(shù)據(jù)中心、買(mǎi)芯片，再加上 OpenAI、Anthropic 關(guān)于 scaling law 的那些論文，很容易讓人覺(jué)得一切進(jìn)步都來(lái)自 scaling。但如果你仔細(xì)對(duì)比，會(huì)發(fā)現(xiàn)過(guò)去十年里，算法層面的進(jìn)步，其實(shí)跑得比算力提升還快。

我讀研時(shí)見(jiàn)過(guò)一張關(guān)于 N-body 問(wèn)題的圖 —— 就是引力系統(tǒng)里大量粒子相互作用的計(jì)算。從上世紀(jì)五十年代到九十年代，算力遵循摩爾定律暴漲，但真正讓問(wèn)題可解的，是算法改進(jìn)，而且算法的進(jìn)步幅度遠(yuǎn)遠(yuǎn)超過(guò)了算力增長(zhǎng)。所以我認(rèn)為，像我們這樣的公司當(dāng)然不會(huì)放棄站在算力前沿，但那更像是甜點(diǎn)。真正的主菜，還是算法上的突破。

院長(zhǎng)：我也補(bǔ)充一句。對(duì)算力不夠這件事，我們?cè)诖髮W(xué)里其實(shí)早就非常熟悉了。高校根本不可能擁有和工業(yè)界同量級(jí)的算力，差距非常明顯。但這反而逼著我們?nèi)プ隽硪活悇?chuàng)新：在算力受限的情況下，如何把事情做好，如何用更少的資源做更多的事。這些研究我們已經(jīng)做了很久，而且會(huì)持續(xù)做下去。

什么技術(shù)被嚴(yán)重低估了？

學(xué)生提問(wèn) 4：你們認(rèn)為哪種新興技術(shù)的長(zhǎng)期影響被嚴(yán)重低估了？

布林：顯然我不能回答 AI—— 很難說(shuō)它被低估，即便從某種意義上講它可能仍然被低估，但它已經(jīng)不算是「新興」了。

很多人會(huì)提到量子計(jì)算，討論它最終能帶來(lái)什么。我個(gè)人也很支持量子計(jì)算相關(guān)的研究，但要說(shuō)這是我最有把握的答案，其實(shí)也不是。這里面的不確定性太多了。

從計(jì)算理論上說(shuō)，我們甚至都還不知道 P 是否不等于 NP。整個(gè)計(jì)算領(lǐng)域里，還有大量最基礎(chǔ)的問(wèn)題沒(méi)有答案。而且量子算法通常只對(duì)非常特定、結(jié)構(gòu)性很強(qiáng)的問(wèn)題有效。所以這一方向我很看好，但要精準(zhǔn)回答被低估，其實(shí)不太容易。

如果一定要說(shuō)的話，我可能會(huì)把目光投向材料科學(xué) —— 無(wú)論是 AI 還是量子計(jì)算，在材料領(lǐng)域的應(yīng)用潛力都巨大。

如果我們能創(chuàng)造出性能全面提升的新材料，可能帶來(lái)的變化幾乎是無(wú)限的。

校長(zhǎng)：我其實(shí)也在想材料科學(xué)這個(gè)方向，而且正因?yàn)槟闾岬搅吮坏凸肋@個(gè)詞?，F(xiàn)在關(guān)于技術(shù)創(chuàng)新機(jī)會(huì)的討論非常熱烈，像聚變能源、量子計(jì)算這些方向，其實(shí)已經(jīng)得到了相當(dāng)多的關(guān)注，很難說(shuō)它們被忽視了。AI 更不用說(shuō)。但材料科學(xué)在我看來(lái)，確實(shí)是一個(gè)被低估的方向。此外，還有生物與健康領(lǐng)域 —— 尤其是分子科學(xué)層面的機(jī)會(huì)非常多，正在發(fā)生一場(chǎng)不小的革命，只是它們目前得到的關(guān)注度，明顯不如 AI。

院長(zhǎng)：我正好想說(shuō)同樣的事情。我能明顯感覺(jué)到「聚光燈」在不同領(lǐng)域之間移動(dòng)，而現(xiàn)在，聚光燈幾乎全部打在了 AI 上。但在此之前，它曾經(jīng)照在生物領(lǐng)域，而這束光不應(yīng)該熄滅。合成生物學(xué)里正在發(fā)生很多非常令人興奮的事情。所以我覺(jué)得，我們需要把這束聚光燈稍微拉寬一點(diǎn)。