大模型缺乏目標(biāo)和獎(jiǎng)勵(lì)，RL 才能驅(qū)動(dòng)智能理解。

作者丨劉欣

編輯丨陳彩嫻

在剛剛落幕的 RL China 2025 開幕式上，倫敦大學(xué)學(xué)院（UCL）汪軍教授與圖靈獎(jiǎng)得主、“強(qiáng)化學(xué)習(xí)之父” Richard Sutton 展開了一場跨越地域的思想對話，從強(qiáng)化學(xué)習(xí)（RL）的學(xué)科根基出發(fā)，共探智能的本質(zhì)與未來方向。

汪軍教授深耕智能信息系統(tǒng)領(lǐng)域多年，現(xiàn)任 UCL 計(jì)算機(jī)系教授，Turing Fellow，是華人強(qiáng)化學(xué)習(xí)社區(qū) RL China 的聯(lián)合發(fā)起人。RL China 是由全球華人學(xué)者與強(qiáng)化學(xué)習(xí)相關(guān)從業(yè)者共同發(fā)起的非盈利性學(xué)術(shù)與技術(shù)交流平臺(tái)，致力于推動(dòng)強(qiáng)化學(xué)習(xí)及決策智能領(lǐng)域的研究、應(yīng)用與教育。

Richard Sutton 是強(qiáng)化學(xué)習(xí)領(lǐng)域的奠基者，這位美國計(jì)算機(jī)科學(xué)家現(xiàn)任阿爾伯塔大學(xué)計(jì)算機(jī)學(xué)教授，因提出時(shí)序差分學(xué)習(xí)、策略梯度方法等核心理論，被公認(rèn)為 “現(xiàn)代強(qiáng)化學(xué)習(xí)之父”。2024 年，他斬獲計(jì)算機(jī)領(lǐng)域最高榮譽(yù)——圖靈獎(jiǎng)，這一獎(jiǎng)項(xiàng)不僅是對其在算法創(chuàng)新與基礎(chǔ)研究中突出貢獻(xiàn)的認(rèn)可，更標(biāo)志著強(qiáng)化學(xué)習(xí)作為 AI 核心分支的價(jià)值與影響力，以及整個(gè) RL 研究社區(qū)為人工智能發(fā)展奠定的基礎(chǔ)。

Richard 在對話中坦言：當(dāng)前人工智能行業(yè)的快速擴(kuò)張雖改變了人們從事的工作與生活感知，卻也在一定程度上分散了對基礎(chǔ)科學(xué)的關(guān)注，這對科學(xué)發(fā)展來說并非真正有益。我們必須對此進(jìn)行反擊，努力將目光投向理解思維如何運(yùn)作、智能如何運(yùn)作這一重大目標(biāo)。

在他看來，大模型并非真正理解智能的途徑。LLM 確實(shí)很有用，但它們在運(yùn)行過程中是沒有學(xué)習(xí)能力的，一旦模型被訓(xùn)練完成，它們就不再學(xué)習(xí)了。事實(shí)上，它們也無法學(xué)習(xí)，因?yàn)樗鼈儧]有目標(biāo)，沒有獎(jiǎng)勵(lì)。它們只是在模仿人類，而人類是有目標(biāo)的，但 LLM 本身沒有目標(biāo)，也無法判斷自己說的話是對是錯(cuò)。

人類語境中的目標(biāo)與意圖一般被理解為：對一種名為 “獎(jiǎng)勵(lì)” 的標(biāo)量信號的累積和的期望值進(jìn)行最大化，這是對智能問題一項(xiàng)極具價(jià)值的簡化與提煉。要知道，智能就是與世界交互以達(dá)成目標(biāo)，而你需要某種方式來定義這個(gè)目標(biāo)。所以，在強(qiáng)化學(xué)習(xí)的框架下，Richard 建議：所有目標(biāo)都可以被解讀為 “獎(jiǎng)勵(lì)”，一種單一的標(biāo)量數(shù)值。

正因如此， Richard 非常重視從經(jīng)驗(yàn)中學(xué)習(xí)，他認(rèn)為，從某種意義上來說，RL 的核心在于，它最強(qiáng)大的思維方式來自于從經(jīng)驗(yàn)中學(xué)習(xí)的理念。而且既希望直接從經(jīng)驗(yàn)中學(xué)習(xí)，也希望間接從經(jīng)驗(yàn)中學(xué)習(xí)，讓自己的經(jīng)驗(yàn)?zāi)苄纬梢粋€(gè)世界模型，然后利用這個(gè)模型來規(guī)劃行為上的改進(jìn)。這種規(guī)劃就類似于推理，人們僅憑對世界的認(rèn)知就能想清楚該做什么。

而且智能的基本原則有限，梯度下降在其中至關(guān)重要。但行業(yè)熟練后很容易陷入只用梯度下降，而忽視其他可能性的局限中。實(shí)際上梯度下降、時(shí)序差分學(xué)習(xí)、搜索都是智能的基本原則的其中之一，其中搜索尤為關(guān)鍵。隨機(jī)權(quán)重是搜索的核心要素，它能讓模型探索更多可能性。因此，梯度下降算法中需要融入這種搜索成分，把搜索和梯度下降結(jié)合起來，其威力會(huì)遠(yuǎn)大于梯度下降單獨(dú)使用。

以下是此次對話的精彩分享，AI 科技評論進(jìn)行了不改原意的編輯整理：

01

對智能的思考

汪軍：可以簡單介紹一下你 2023 年創(chuàng)建 Openmind Research Institute（開放思維研究所）的背景嗎？以及你想要實(shí)現(xiàn)的使命是什么？

Richard Sutton：Openmind Research Institute 的使命是理解智能，并與世界分享這種理解。嘗試與世界分享的原因是，人工智能已經(jīng)變得有點(diǎn)地緣政治化，各個(gè)國家都在試圖主導(dǎo)這個(gè)領(lǐng)域。當(dāng)然，許多不同的政治陣營之間存在競爭，尤其是中美。任何一方都不應(yīng)該占據(jù)主導(dǎo)地位。

理解智能是對人類思維理解的根本性探索，每個(gè)人都應(yīng)該參與其中。這主要是一項(xiàng)科學(xué)探索，而不是為了追求產(chǎn)業(yè)發(fā)展。大家都應(yīng)該嘗試面對思維的根本問題，以及如何理解它、如何讓它更好地運(yùn)作，這樣我們才能更好地運(yùn)作，才能理解我們是什么，以及我們在宇宙中扮演什么角色。

Openmind Research Institute 肯定是從小事做起，它是一個(gè)實(shí)驗(yàn)室，中心在加拿大阿爾伯塔省，但之后還會(huì)啟動(dòng)一個(gè)以新加坡為中心的新實(shí)驗(yàn)室。這樣一來，研究范圍就遍布全球了，每個(gè)實(shí)驗(yàn)室都會(huì)有一定數(shù)量的研究員，通常是剛獲得博士學(xué)位但想要從事基礎(chǔ)研究和人工智能的年輕人。

汪軍：這是要必須做的，而且非常及時(shí)，因?yàn)楝F(xiàn)在有些研究社區(qū)甚至不發(fā)表論文。這談不上絕對的好壞，這些算法本質(zhì)上是特定時(shí)期的研究成果，問題在于，我們似乎已經(jīng)丟失了當(dāng)初驅(qū)動(dòng)其誕生的發(fā)展勢頭，這種狀態(tài)對整個(gè)研究學(xué)界來說是極不健康的。（Openmind Research Institute）這個(gè)想法讓一切都變得開放和獨(dú)立，讓科學(xué)回歸到純粹的科學(xué)好奇心，這很關(guān)鍵。我很高興現(xiàn)在一些基礎(chǔ)模型開始開源或開放參數(shù)，情況變得越來越好了，希望 Openmind Research Institute 能在中國設(shè)立分支機(jī)構(gòu)，鼓勵(lì)年輕人，讓年輕的研究人員回歸真正的科學(xué)追求，而不只是追求產(chǎn)業(yè)進(jìn)步。

我在 RL China 舉辦過一些會(huì)議研討會(huì)，已經(jīng)舉辦了好幾年，還有這次夏令營。大多數(shù)參會(huì)者都是年輕的研究員，尤其是在 RL 領(lǐng)域，以及從機(jī)器人技術(shù)到多智能體（Multi-Agent）系統(tǒng)，再到核心領(lǐng)域。你對年輕的研究人員有什么想說的嗎？或者認(rèn)為他們應(yīng)該思考的根本問題是什么？

Richard Sutton：有一點(diǎn)很關(guān)鍵：要著眼于長遠(yuǎn)目標(biāo)。

人工智能不是今年或明年就能實(shí)現(xiàn)的，它可能會(huì)在這個(gè)十年或下個(gè)十年完成，所以這是一個(gè)長遠(yuǎn)目標(biāo)，它就像一場馬拉松，而不是短跑比賽。尤其在人工智能的 RL 領(lǐng)域中，情況比較特殊：一方面，我們面臨著一個(gè)基礎(chǔ)性的科學(xué)難題；但另一方面，這個(gè)領(lǐng)域又已經(jīng)形成了龐大的產(chǎn)業(yè)，有巨額資金源源不斷地投入到各類應(yīng)用中。單看人工智能這個(gè)行業(yè)的確十分龐大，它也確實(shí)改變了人們的感受以及人們可以從事的工作，但同時(shí)也在某種程度上減少了對基礎(chǔ)科學(xué)的關(guān)注。

它更像是一場快速的游戲，你可以很快就賺點(diǎn)錢退出。這對科學(xué)發(fā)展來說并非真正有益。

從宏觀角度來看，科學(xué)取得如此大的成功是件好事，這為該領(lǐng)域帶來了大量資金。但作為一門科學(xué)，它在某種程度上改變了這個(gè)領(lǐng)域的性質(zhì)，我們必須對此進(jìn)行反擊，努力將目光投向理解思維如何運(yùn)作、智能如何運(yùn)作這一重大目標(biāo)，并不斷解決問題。既要著手解決那些我們已經(jīng)知道該怎么做的問題，更要持續(xù)關(guān)注那些我們還不知道該如何解決的問題。工業(yè)界傾向于關(guān)注我們已知的、我們今天能做什么；而科學(xué)界則關(guān)注我們尚不知道如何做的事情，是什么阻礙了我們深入理解。

汪軍：沒錯(cuò)，我認(rèn)為在中國也有類似的情況。產(chǎn)業(yè)方的參與在某些方面確實(shí)非常有益，但另一方面，它在某種程度上會(huì)推動(dòng)甚至是迫使研究 （尤其是學(xué)術(shù)研究）聚焦于一些短期問題，這未必是好事。比如大模型（LLM），需要進(jìn)行預(yù)訓(xùn)練，還需要大量的計(jì)算資源。這確實(shí)是一部分人能做的事，但對于整個(gè)研究界來說，可能無法都投入其中。我們真正應(yīng)該關(guān)注的是超越 Transformer 的東西，超越你之前提出并研究過的重要學(xué)習(xí)領(lǐng)域。

Richard Sutton：讓我再次強(qiáng)調(diào)一下關(guān)于 LLM 的討論，LLM 在人工智能產(chǎn)業(yè)中占據(jù)主導(dǎo)地位，但我確實(shí)覺得它對科學(xué)造成了巨大的干擾。

所以我想對各位說的是，雖然 RL 可以作為 LLM 的一部分——這沒問題，而且 LLM 確實(shí)是一種與互聯(lián)網(wǎng)所有知識(shí)進(jìn)行交互的有效方式，它有很多優(yōu)點(diǎn)——但它在很大程度上分散了我們對理解智能問題的注意力。

我們必須把它放在一邊，不要走這條路。學(xué)生們對 LLM 的關(guān)注和熱情，很難不想在此基礎(chǔ)上繼續(xù)研究，但它（大模型）并非真正理解智能的途徑。雖然 LLM 確實(shí)很有用，但它們在運(yùn)行過程中是沒有學(xué)習(xí)能力的，機(jī)器學(xué)習(xí)確實(shí)被用于創(chuàng)建它們，但一旦模型被訓(xùn)練完成，它們就不再學(xué)習(xí)了。

事實(shí)上，它們也無法學(xué)習(xí)，因?yàn)樗鼈儧]有目標(biāo)，沒有獎(jiǎng)勵(lì)。它們只是在模仿人類，而人類是有目標(biāo)的，但 LLM 本身沒有目標(biāo)，也無法判斷自己說的話是對是錯(cuò)。

我有一句用于人工智能研究的口號，如果在網(wǎng)上搜索“Rich's slogan”之類的詞，就可以找到。其中一個(gè)核心口號就是：你不應(yīng)該要求你的人工智能知道一些它自己都無法判斷正確的事情。Agent（智能體）必須能夠驗(yàn)證它的知識(shí)，LLM 無法驗(yàn)證它們的任何知識(shí)，除了人類會(huì)說它正確之外，但這種正確沒有任何意義。

那么該如何驗(yàn)證你的知識(shí)呢？可能有一種行為方式：如果它沒有得到獎(jiǎng)勵(lì)，你就知道這不是一個(gè)好的行為方式，這就給了你獎(jiǎng)勵(lì)，給了你一個(gè)目標(biāo)，或者你可能有一個(gè)世界的預(yù)測模型，你可能會(huì)預(yù)測某事會(huì)發(fā)生，然后從經(jīng)驗(yàn)中看到它確實(shí)發(fā)生了。但 LLM 不會(huì)這樣做，它們可能會(huì)說我預(yù)測了某事，但大模型無法將其與實(shí)際發(fā)生的事情進(jìn)行比較，因?yàn)?/strong>大模型沒有持續(xù)的經(jīng)驗(yàn)流。

所以我非常重視從經(jīng)驗(yàn)中學(xué)習(xí)，從某種意義上來說，RL 的核心在于，它最強(qiáng)大的思維方式來自于從經(jīng)驗(yàn)中學(xué)習(xí)的理念，這種理念實(shí)際上可以追溯到人工智能誕生之初。

艾倫·圖靈有一篇書面演講提到：我們想要的是一個(gè)能夠在1947年、甚至在人工智能出現(xiàn)之前，從經(jīng)驗(yàn)中學(xué)習(xí)的機(jī)器。我們現(xiàn)在依然渴望這樣的機(jī)器，這仍然是核心，也是我們應(yīng)該努力的方向，這就是 RL 的意義所在，而這一點(diǎn)正是 LLM 所完全缺乏的。

02

強(qiáng)化學(xué)習(xí)的突破路徑

汪軍：你對經(jīng)驗(yàn)（experience）的定義是什么？我認(rèn)為圖靈在撰寫那篇論文時(shí)有著他自己對經(jīng)驗(yàn)的理解；另外，像 AlphaGo 那樣，通過自我對弈生成一系列軌跡數(shù)據(jù)，這也算一種經(jīng)驗(yàn)，而現(xiàn)在情況發(fā)生了什么變化呢？你認(rèn)為如今的經(jīng)驗(yàn)和過去一樣還是有所不同了？

Richard Sutton： 我認(rèn)為經(jīng)驗(yàn)這一概念非常自然，并且隨著時(shí)間推移一直以來都是如此。你的經(jīng)驗(yàn)并非某種怪異、模糊或難以捉摸的東西，它就是你在世界中生存時(shí)接收到的真實(shí)數(shù)據(jù)。你采取行動(dòng)、做各種事情，然后看到結(jié)果——這些就是你的觀察，同時(shí)你也會(huì)感受到獎(jiǎng)勵(lì)。這三組時(shí)間序列共同構(gòu)成了你的經(jīng)驗(yàn)。

實(shí)際上，至少從 agent 的視角以及在 RL 的思維框架下，除了你接收和生成的數(shù)據(jù)之外，再無其他東西。而且，你無法先驗(yàn)地去談?wù)摽臻g、物體、物理規(guī)律或幾何概念，因?yàn)槟銦o法直接接觸到這些東西；你能直接接觸的，只有你的觀察和行動(dòng)。而那些概念，不過是你為了解釋自身經(jīng)驗(yàn)、為經(jīng)驗(yàn)建立模型而編造的故事罷了。

經(jīng)驗(yàn)是根本性的，它是智能的核心。我們有時(shí)會(huì)說從經(jīng)驗(yàn)中學(xué)習(xí)，但同樣重要的是，你的知識(shí)本身就與經(jīng)驗(yàn)相關(guān)。比如，當(dāng)你相信某件事時(shí)，這個(gè)信念本質(zhì)上是關(guān)于未來你會(huì)接收到哪些觀察的預(yù)判。說到底，它就是一種理論：關(guān)于你未來會(huì)收到什么數(shù)據(jù)、會(huì)擁有怎樣的經(jīng)驗(yàn)的理論。

汪軍：你覺得樣本復(fù)雜度是人工智能領(lǐng)域里我們需要解決的一個(gè)問題嗎？還是說，你其實(shí)并不認(rèn)為這是個(gè)問題？

Richard Sutton：我們的算法學(xué)習(xí)效率確實(shí)不夠高，但我并不覺得這是 RL 獨(dú)有的問題。實(shí)際上，我們所有的算法學(xué)習(xí)效率都很低，所以必須解決這個(gè)問題。說到底，或許整個(gè)研究的核心就是要從經(jīng)驗(yàn)中高效學(xué)習(xí)——這正是我們研究者正在做的事，我們在努力尋找能讓我們從經(jīng)驗(yàn)中盡可能高效學(xué)習(xí)的算法。

在某種意義上，從獎(jiǎng)勵(lì)中學(xué)習(xí)比從指令中學(xué)習(xí)更困難，如果世界直接告訴你該做什么，學(xué)習(xí)起來會(huì)簡單得多。但顯然，世界不會(huì)直接給出指令，世界只會(huì)給你拋出一個(gè)問題，你得自己弄明白該怎么做，所以這才是真正的問題所在。因此，我不會(huì)把這種問題看作是一種困難，而是一項(xiàng)挑戰(zhàn)。

汪軍：這兩個(gè)單一的獎(jiǎng)勵(lì)會(huì)是這個(gè)標(biāo)量嗎？要知道，獎(jiǎng)勵(lì)本身也分不同種類的

Richard Sutton：這就是我們所說的“獎(jiǎng)勵(lì)假設(shè)”了。我們所說的目標(biāo)與意圖，都可以被很好地理解為：對一種名為 “獎(jiǎng)勵(lì)” 的標(biāo)量信號的累積和的期望值進(jìn)行最大化，這是對智能問題一項(xiàng)極具價(jià)值的簡化與提煉。要知道，智能就是與世界交互以達(dá)成目標(biāo)，而你需要某種方式來定義這個(gè)目標(biāo)。

在強(qiáng)化學(xué)習(xí)中，我們建議：所有目標(biāo)都可以被解讀為 “獎(jiǎng)勵(lì)”，一種單一的標(biāo)量數(shù)值。

在你們看來，這樣認(rèn)為可能顯得有些淺薄，甚至格局不大。但我認(rèn)為，這恰恰是它極具智慧的部分——它非常清晰，高度簡化，卻又似乎足夠完備。事實(shí)上，像風(fēng)險(xiǎn)考量、多目標(biāo)這類更復(fù)雜的設(shè)定，未必能讓系統(tǒng)變得更強(qiáng)大。阿爾伯塔大學(xué)（也就是我所在的大學(xué)）的幾位研究者發(fā)表過一篇很棒的論文，名為《Settling the Reward Hypothesis》，這篇論文深入探討了這一假說，論證了我們并不需要多目標(biāo)、風(fēng)險(xiǎn)等復(fù)雜設(shè)定，單一獎(jiǎng)勵(lì)信號已足夠。

論文鏈接：https://arxiv.org/pdf/2212.10420

這一點(diǎn)太美妙了，因?yàn)樗馕吨?strong>所有研究智能與學(xué)習(xí)的學(xué)科實(shí)現(xiàn)了統(tǒng)一，時(shí)序差分學(xué)習(xí)的影響力非常深遠(yuǎn)?；氐缴窠?jīng)科學(xué)領(lǐng)域，它為研究者們觀察到的許多動(dòng)物學(xué)習(xí)新結(jié)果、新數(shù)據(jù)提供了合理解釋，如今已成為大腦獎(jiǎng)勵(lì)系統(tǒng)研究中占主導(dǎo)地位的標(biāo)準(zhǔn)模型與理論。我們能看到，人工智能、控制理論、神經(jīng)科學(xué)這些原本截然不同的學(xué)科，正成功地走向融合與交匯。我對此感到非常欣慰，這就像終于觸碰到了智能最根本的東西。

汪軍：我注意到的一點(diǎn)區(qū)別也就是無模型（model-free）和基于模型（model-based）的概念，你能再詳細(xì)解釋一下這個(gè)嗎？

Richard Sutton：首先，我們得明確一點(diǎn)，我們兩者都需要兼顧。我們既希望直接從經(jīng)驗(yàn)中學(xué)習(xí)，也希望間接從經(jīng)驗(yàn)中學(xué)習(xí)，我們希望自己的經(jīng)驗(yàn)?zāi)苄纬梢粋€(gè)世界模型，然后利用這個(gè)模型來規(guī)劃行為上的改進(jìn)。這種規(guī)劃就類似于推理，我們僅憑對世界的認(rèn)知就能想清楚該做什么。這兩者我們都需要，而實(shí)現(xiàn)二者在某種意義上的統(tǒng)一，正是我們追求的“The Holy Grail”（圣杯），就是能夠同時(shí)進(jìn)行規(guī)劃和學(xué)習(xí)，并在某種意義上將它們統(tǒng)一起來。

這種統(tǒng)一的開端是“dyna system”（動(dòng)力系統(tǒng)），在這個(gè)系統(tǒng)中，規(guī)劃的過程本身就帶有學(xué)習(xí)的屬性，不過這種學(xué)習(xí)是通過想象自己可能采取的行動(dòng)來完成的，這一點(diǎn)在心理學(xué)文獻(xiàn)中也有很好的體現(xiàn)，RL 的目標(biāo)正是成為一種涵蓋所有智能形式的宏大理論。

汪軍：您有什么想對中國的 RL 社區(qū)說的嗎？您認(rèn)為這與您正在開展的 Openmind 使命有什么聯(lián)系？

Richard Sutton：我想補(bǔ)充一點(diǎn)我們尚未談及的核心內(nèi)容，得益于摩爾定律以及計(jì)算能力的日益普及，當(dāng)下正是宇宙中一個(gè)極其特殊的時(shí)代，在未來的一二十年里，我們將得以弄明白思維是如何運(yùn)作的。能生活在這樣一個(gè)時(shí)代，實(shí)在太令人驚嘆了。我曾將對智能的理解比作地球上生命的起源，我認(rèn)為這是一件具有同等重大意義的事件。我們將能夠設(shè)計(jì)出與人類自身一樣強(qiáng)大、甚至可能更強(qiáng)大的 agent，這真的是一件無比激動(dòng)人心的大事。如果說我最想表達(dá)什么，那就是我對此抱有極大的樂觀，我認(rèn)為一切都會(huì)變得非常好，這不僅將實(shí)現(xiàn)歷史上知識(shí)分子乃至普通人一直以來追尋的偉大探索目標(biāo)，還將對世界的經(jīng)濟(jì)發(fā)展產(chǎn)生巨大的積極影響。

未來并非全都是一帆風(fēng)順的，肯定會(huì)面臨諸多挑戰(zhàn)，但這并非因?yàn)槿斯ぶ悄軙?huì)帶來什么糟糕的結(jié)果，總的來說，它是一件極具積極意義的事。它將為我們帶來更深入的科學(xué)研究、更透徹的自我認(rèn)知，甚至有可能幫助我們更好地和平共處，而這正是 Openmind 使命的一部分。

每個(gè)人都能參與到這份理解中來，我們會(huì)展開合作，共同去探索人工智能的奧秘，共同收獲它帶來的成果，共同加深對自我的認(rèn)知，而且要明白，并非只有機(jī)器會(huì)變得智能，我們?nèi)祟愖陨硪矔?huì)通過增強(qiáng)手段變得更聰明。其實(shí)我們已經(jīng)在被增強(qiáng)了，電話在增強(qiáng)我們的溝通，眼鏡在增強(qiáng)我們的視力，一支鉛筆、一門能讓彼此交流的語言，這些都是對我們能力的增強(qiáng)，人工智能實(shí)際上就是這一增強(qiáng)過程的延續(xù)，所以人工智能的發(fā)展前景會(huì)非常好。我們應(yīng)當(dāng)為從事這項(xiàng)工作而感到由衷的喜悅，并為了全人類的福祉去推進(jìn)它的發(fā)展。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。