具身智能的長(zhǎng)程任務(wù)天花板，正在被捅破。

就在近日，大模型圈和機(jī)器人圈被一個(gè)名為AtomVLA的模型刷屏了。這個(gè)由原力無(wú)限團(tuán)隊(duì)發(fā)布的最新戰(zhàn)果，不僅直接在 LIBERO 權(quán)威基準(zhǔn)上刷出了97.0%的驚人成功率，更是在真機(jī)演示中，絲滑地完成了疊 T 恤、折毛巾等“地獄級(jí)難度”的柔性物體操作。

圍繞‘為機(jī)器人打造真正理解世界的大腦’這一核心方向，原力無(wú)限當(dāng)前正以端到端 VLA 多模態(tài)大模型與因果世界模型為技術(shù)底座，并以全棧 AI Infra 構(gòu)建數(shù)據(jù)與模型飛輪，推動(dòng)機(jī)器人在虛擬世界學(xué)習(xí)、在真實(shí)世界進(jìn)化。

帶隊(duì)人，正是原力無(wú)限資深研究科學(xué)家——陳佳玉教授。

論文傳送門： https://arxiv.org/pdf/2603.08519 ）

更重要的是，AtomVLA開(kāi)創(chuàng)性地提出了“原子子任務(wù)分解 + 預(yù)測(cè)型世界模型離線評(píng)估 + 離線GRPO后訓(xùn)練”的完整范式，實(shí)現(xiàn)了不依賴昂貴真機(jī)在線交互的高效策略優(yōu)化。

在全球VLA后訓(xùn)練研究競(jìng)爭(zhēng)日趨白熱化的當(dāng)下，這一框架提供了一條兼顧性能、效率與可擴(kuò)展性的全新技術(shù)路徑，標(biāo)志著VLA后訓(xùn)練正在從“依賴真機(jī)試錯(cuò)”走向“世界模型驅(qū)動(dòng)的離線進(jìn)化”新范式。

AtomVLA 的驚艷成績(jī)，源于陳佳玉教授對(duì)“復(fù)雜控制”十余年的深耕。從自動(dòng)駕駛到核聚變等離子體控制，再到如今的具身智能，這位 ISTJ 科學(xué)家始終在追問(wèn)：如何用數(shù)學(xué)和邏輯，讓機(jī)器擁有類人的進(jìn)化能力？

以下是ZF對(duì)于陳佳玉教授的深度訪談實(shí)錄。

Jane：這期節(jié)目我們邀請(qǐng)到了一位非常年輕的科學(xué)家——陳佳玉陳老師。陳老師現(xiàn)在是原力無(wú)限資深研究科學(xué)家，歡迎陳老師！先簡(jiǎn)單一兩句話介紹一下自己吧。

陳佳玉：好的。我是陳佳玉，目前是香港大學(xué)數(shù)據(jù)與系統(tǒng)工程系的助理教授，研究方向是應(yīng)用強(qiáng)化學(xué)習(xí)到復(fù)雜控制，目前專注于具身智能方向的研究。

Jane：陳老師雖然很年輕，但在機(jī)器人、自動(dòng)駕駛、強(qiáng)化學(xué)習(xí)相關(guān)的研究上已經(jīng)非常資深了。那接下來(lái)進(jìn)入我們的快問(wèn)快答環(huán)節(jié)——你的星座和MBTI是什么？

陳佳玉：星座是天秤座，MBTI 好像是一個(gè)叫"物流師"的類型，ISTJ 之類的。

Jane：如果不用"助理教授"和"強(qiáng)化學(xué)習(xí)"這些標(biāo)簽，你一般會(huì)怎么向一個(gè)不懂AI的朋友介紹自己？

陳佳玉：我會(huì)說(shuō)，我做的方向是解決一些比較復(fù)雜的控制問(wèn)題。比如人形機(jī)器人控制，還有核聚變中等離子體的控制?？偨Y(jié)來(lái)說(shuō)，我是一個(gè)專注于復(fù)雜控制問(wèn)題的人，可能用數(shù)學(xué)方法去解，也可能用人工智能方法去解。

Jane：復(fù)雜系統(tǒng)的控制問(wèn)題。最近一兩周你刷得比較多的論文，或者看得最多的相關(guān)項(xiàng)目是什么？

陳佳玉：最近看得比較多的是多模態(tài)大模型，還有基于應(yīng)用的世界模型這一塊。

Jane：如果不做科研，你現(xiàn)在有可能在做什么？

陳佳玉：如果不做科研，我可能做一個(gè)體育新聞?dòng)浾甙伞?/p>

Jane：同行！你覺(jué)得自己最大的非學(xué)術(shù)型能力是什么？

陳佳玉：我覺(jué)得我最強(qiáng)的是邏輯能力，做梳理的工作會(huì)比較好。其實(shí)這個(gè)能力有點(diǎn)類似 AI——你給我一個(gè)問(wèn)題，我大量閱讀相關(guān)的東西，然后把它梳理成一個(gè)像報(bào)告一樣的東西。我最強(qiáng)的是邏輯部分，最強(qiáng)的非學(xué)術(shù)性能力可能就是這種總結(jié)和協(xié)作能力。但這個(gè)好像也偏學(xué)術(shù)，所以我也不太清楚怎么回答這個(gè)問(wèn)題。

第一部分：個(gè)人經(jīng)歷與強(qiáng)化學(xué)習(xí)的十年流變

Jane：好，那我們直接切到個(gè)人經(jīng)歷這塊吧。先聊一下你整個(gè)研究經(jīng)歷，包括小時(shí)候是什么時(shí)候?qū)χ悄軝C(jī)器人這些產(chǎn)生興趣的，最終又是怎么一步步開(kāi)始自己的研究的。

陳佳玉：我的研究經(jīng)歷應(yīng)該具體是從大學(xué)二年級(jí)開(kāi)始。那時(shí)候選擇研究方向，其實(shí)也比較討巧——當(dāng)時(shí) ImageNet 和 AlphaGo 都剛出來(lái)，深度學(xué)習(xí)的一些成果引起了很大的轟動(dòng)，所以我就萌生了做人工智能的想法。

但人工智能涉及很多領(lǐng)域，比如計(jì)算機(jī)視覺(jué)、智能決策、自然語(yǔ)言處理。我比較喜歡那些具象化的東西，所以一開(kāi)始選了自動(dòng)駕駛這個(gè)方向，在北大做自動(dòng)駕駛相關(guān)的研究。剛開(kāi)始做的是感知層的工作，就是怎么讓自動(dòng)駕駛汽車?yán)斫庵車沫h(huán)境——明白它看到的這一塊是灌木叢，那一塊是行人。

后來(lái)我接觸到了自動(dòng)駕駛汽車決策層的東西。決策就是說(shuō)，依據(jù)你的觀測(cè)，你要做自動(dòng)駕駛汽車油門的控制或方向的控制，這涉及到一些決策算法。我漸漸發(fā)現(xiàn)，結(jié)合我在北大和博士期間兩段經(jīng)歷來(lái)看，我其實(shí)更喜歡的是比較抽象的決策算法這一部分。

具體用到的算法是兩大類：一類是模仿學(xué)習(xí)，從示例數(shù)據(jù)中學(xué)習(xí)；一類是強(qiáng)化學(xué)習(xí)，從仿真中學(xué)習(xí)。到了博士階段，我就開(kāi)始研究這種比較抽象的決策算法，不再依賴于具體的應(yīng)用了。做了很多理論研究和算法設(shè)計(jì)，這些算法和理論雖然抽象，但應(yīng)用范圍比較廣，也奠定了我對(duì)這種技術(shù)更深層次的理解。因?yàn)榧夹g(shù)到更深層次的話，其實(shí)就是數(shù)學(xué)——一種依據(jù)數(shù)學(xué)、依據(jù)場(chǎng)景以及一些直覺(jué)所做出來(lái)的東西。這段經(jīng)歷讓我對(duì)決策算法，特別是對(duì)強(qiáng)化學(xué)習(xí)有了更本質(zhì)的認(rèn)識(shí)。

等到做博后的時(shí)候，我又意識(shí)到，純理論的強(qiáng)化學(xué)習(xí)研究已經(jīng)做得七七八八了。從 AlphaGo 之后強(qiáng)化學(xué)習(xí)熱潮就開(kāi)始了，等我2024年畢業(yè)的時(shí)候，其實(shí)都已經(jīng)做得差不多了。大家的研究興趣慢慢轉(zhuǎn)向了強(qiáng)化學(xué)習(xí)在其他領(lǐng)域的應(yīng)用。比較耀眼的應(yīng)用有兩個(gè)：一個(gè)是在大模型上的應(yīng)用，大模型的后訓(xùn)練依賴于強(qiáng)化學(xué)習(xí)；另一個(gè)是在人形機(jī)器人或其他物理過(guò)程上應(yīng)用強(qiáng)化學(xué)習(xí)。

我想，如果我要繼續(xù)做強(qiáng)化學(xué)習(xí)研究，就得給它找一個(gè)應(yīng)用。相比大語(yǔ)言模型，我選擇了物理控制這個(gè)領(lǐng)域，但我并沒(méi)有直接去做人形機(jī)器人，而是選擇了復(fù)雜的物理過(guò)程——具體講就是核聚變里的等離子體控制，應(yīng)用強(qiáng)化學(xué)習(xí)的方法去做。等到博后結(jié)束，開(kāi)始做自己實(shí)驗(yàn)室的時(shí)候，我依然沿著這個(gè)思路——給強(qiáng)化學(xué)習(xí)找一個(gè)應(yīng)用場(chǎng)景?？紤]到現(xiàn)實(shí)條件，我沒(méi)有辦法在香港繼續(xù)做核聚變研究，所以就把研究轉(zhuǎn)向了人形機(jī)器人，或者說(shuō)具身智能上面的應(yīng)用。

總體來(lái)講，我的思路就是：從一個(gè)比較具象的技術(shù)出發(fā)——自動(dòng)駕駛，慢慢找到自己對(duì)決策算法的興趣——強(qiáng)化學(xué)習(xí)。到后期為了讓研究興趣真正有 impact，我開(kāi)始想它具體的應(yīng)用，最終錨定了具身智能。

做具身智能一段時(shí)間之后，我發(fā)現(xiàn)它實(shí)際上是一個(gè)非常綜合的領(lǐng)域。你想把具身智能做好，基本上就要解決 AI 領(lǐng)域所有的大問(wèn)題：你要讓感知做得好，就得做計(jì)算機(jī)視覺(jué)；你想讓它既能聽(tīng)懂語(yǔ)言，又能看懂圖片，還能感受到力，這就涉及多模態(tài)融合；你想讓機(jī)器人比較通用，就得喂給它很多數(shù)據(jù)并用大模型，這涉及大模型的問(wèn)題；你想讓機(jī)器人很敏捷，又涉及機(jī)械工程的問(wèn)題。所以具身智能這個(gè)領(lǐng)域包含了人工智能基本上所有大的挑戰(zhàn)，我就越來(lái)越覺(jué)得它有意思，也想把它做一個(gè)長(zhǎng)期攻堅(jiān)的方向。

最后一點(diǎn)，它不僅是多項(xiàng)技術(shù)的集合，更代表著一個(gè)未來(lái)——給人工智能裝一個(gè)身體。它不僅在思維上更像人，在行為上也更像人。以具身智能為載體，你會(huì)研究很多與類人智能相關(guān)的問(wèn)題。從長(zhǎng)遠(yuǎn)來(lái)看，這是一個(gè)非常有前景的方向。

陳佳玉：對(duì)。

Jane：你大概是16年入學(xué)，那一年AlphaGo基本上點(diǎn)燃了整個(gè)第一波中國(guó)自動(dòng)駕駛公司和地平線等公司，就是那個(gè)時(shí)候誕生的。你經(jīng)歷了整個(gè)強(qiáng)化學(xué)習(xí)不斷融入先自動(dòng)駕駛、后來(lái)又融入機(jī)器人的過(guò)程。你覺(jué)得強(qiáng)化學(xué)習(xí)這么多年，過(guò)程中那些關(guān)鍵的問(wèn)題，所謂的"真問(wèn)題"，究竟在發(fā)生什么變化？

陳佳玉：這是一個(gè)好問(wèn)題。我這么來(lái)回答吧——強(qiáng)化學(xué)習(xí)的研究大概分為幾派。

第一派是理論派。大家研究你需要多少采樣才能學(xué)到最終的 policy，在數(shù)學(xué)上進(jìn)行推演。其實(shí)相關(guān)的研究在上個(gè)世紀(jì)就開(kāi)始了，只不過(guò)那時(shí)大家依賴比較強(qiáng)的假設(shè)以及不太切實(shí)際的 policy，研究的更多是有限的狀態(tài)和動(dòng)作空間。這一波理論研究的話，大家就越來(lái)越把它推向無(wú)限的狀態(tài)動(dòng)作空間下采樣效率的問(wèn)題。但整體上會(huì)發(fā)現(xiàn)，數(shù)學(xué)結(jié)果越漂亮的那些算法，離實(shí)際就越遠(yuǎn)。

第二派是以DeepMind為代表的算力派。他們?cè)谕扑懔?duì)強(qiáng)化學(xué)習(xí)算法的影響，代表成果就是 AlphaGo、AlphaZero——把強(qiáng)化學(xué)習(xí)里的值學(xué)習(xí)和蒙特卡洛樹(shù)搜索（MCTS）結(jié)合在一起，用來(lái)解決非常復(fù)雜的決策問(wèn)題，用算力來(lái)堆。這肯定是非常有用的，他們已經(jīng)造出了那種超越人類智能的系統(tǒng)——AlphaGo、AlphaFold、AlphaChip 等等，用算力結(jié)合強(qiáng)化學(xué)習(xí)堆出了很多實(shí)際上很有用的東西。但問(wèn)題是他們的研究不太適合學(xué)術(shù)界，因?yàn)閷W(xué)術(shù)界沒(méi)那么多算力。

第三派是以學(xué)術(shù)界和伯克利為代表的深度強(qiáng)化學(xué)習(xí)派。沒(méi)那么理論，對(duì)算力要求也沒(méi)那么大，但做出了很多有代表性的深度強(qiáng)化學(xué)習(xí)算法。比如 Soft Actor-Critic（SAC），這是在線強(qiáng)化學(xué)習(xí)的代表性算法。然后慢慢做到了離線強(qiáng)化學(xué)習(xí)（Offline RL），代表算法有 CQL，也是他們這些組做出來(lái)的。再后來(lái)，大家又開(kāi)始基于生成模型來(lái)做強(qiáng)化學(xué)習(xí)算法，代表性工作就是 Decision Transformer 和 Diffusion Policy?？偟膩?lái)說(shuō)，這一派沒(méi)那么理論，也不像 DeepMind 那樣依賴強(qiáng)算力，但誕生了一系列非常有代表性的深度強(qiáng)化學(xué)習(xí)算法。

大概在2022到2023年這個(gè)區(qū)間，大家就發(fā)現(xiàn)你再做更多的純強(qiáng)化學(xué)習(xí)算法，也比不了 PPO 有用，所以單純的強(qiáng)化學(xué)習(xí)算法研究遇到了瓶頸。大家逐漸轉(zhuǎn)向了強(qiáng)化學(xué)習(xí)的應(yīng)用。這時(shí)候特別是強(qiáng)化學(xué)習(xí)在大模型的后訓(xùn)練上有了非常好的效果，也就是我們說(shuō)的RLHF。第四波就起來(lái)了，以大模型公司為代表，做 RLHF 取得了很好的進(jìn)展。又過(guò)了一兩年，幾乎是同時(shí)，大家發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)算法，特別是 PPO，在人形機(jī)器人的控制上有非常好的效果，具體案例就像宇樹(shù)科技的那些跳舞或打太極的展示，大部分都是基于 RL 做出來(lái)的。所以我認(rèn)為現(xiàn)在更像是一個(gè)強(qiáng)化學(xué)習(xí)的應(yīng)用時(shí)代。

如果再展望一下，之后強(qiáng)化學(xué)習(xí)會(huì)怎么樣？我認(rèn)為有一個(gè)特別關(guān)鍵的點(diǎn)——持續(xù)性的強(qiáng)化學(xué)習(xí)。就是你如何在學(xué)習(xí)新任務(wù)的時(shí)候不忘掉舊的任務(wù)，在學(xué)習(xí)新任務(wù)時(shí)能基于舊任務(wù)中學(xué)到的知識(shí)快速學(xué)習(xí)。這實(shí)際上很重要。另一個(gè)點(diǎn)是，你在進(jìn)行強(qiáng)化學(xué)習(xí)的時(shí)候如何利用 Foundation Model 已有的知識(shí)進(jìn)行高效的強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)是一個(gè)很本質(zhì)的技術(shù)——你給它一個(gè)獎(jiǎng)勵(lì)信號(hào)，然后期待它把完成那個(gè)獎(jiǎng)勵(lì)信號(hào)的最好策略學(xué)出來(lái)。它的缺陷在于太本質(zhì)了、太像人了，以至于我們想真正發(fā)揮出它的威力，就得做出那種類人智能來(lái)，才能很好地應(yīng)用強(qiáng)化學(xué)習(xí)。這需要我們?cè)谒惴ㄔO(shè)計(jì)上有新的突破。

Jane：你剛說(shuō)了強(qiáng)化學(xué)習(xí)接下來(lái)值得繼續(xù)研究的問(wèn)題，一個(gè)是持續(xù)性的學(xué)習(xí)，一個(gè)是把知識(shí)利用做得更有效率，這有點(diǎn)像大語(yǔ)言模型的記憶問(wèn)題，殊途同歸。

陳佳玉：對(duì)。人也是基于獎(jiǎng)勵(lì)信號(hào)在學(xué)習(xí)我們的策略——比如你的獎(jiǎng)勵(lì)信號(hào)是考上一個(gè)大學(xué)，然后我們每天調(diào)整自己的行為。強(qiáng)化學(xué)習(xí)大致也是這樣，你給它一個(gè)目標(biāo)，比如走出迷宮，然后它不斷探索，直到學(xué)到那個(gè)行為。

但人和 Agent 的不同點(diǎn)在于，我們?nèi)耸且粋€(gè)持續(xù)學(xué)習(xí)的過(guò)程。完成上大學(xué)的目標(biāo)之后，還有讀研究生、讀博士或找好工作這一系列的目標(biāo)。而且我們?cè)趯W(xué)新任務(wù)的時(shí)候，實(shí)際上是依賴過(guò)去知識(shí)的，我們?cè)谔剿鞯臅r(shí)候也不是無(wú)目的的探索，是有先驗(yàn)知識(shí)來(lái)指導(dǎo)的。但這些先驗(yàn)知識(shí)和持續(xù)學(xué)習(xí)的過(guò)程，在當(dāng)今主流的 RL 算法中都還沒(méi)有做到。這是之后需要攻克的點(diǎn)。

Jane：回到你個(gè)人研究的話，我看你發(fā)的論文涉及逆強(qiáng)化學(xué)習(xí)、Offline RL等等，都屬于深度強(qiáng)化學(xué)習(xí)里的一些分支，是不是？

陳佳玉：是的，深度強(qiáng)化學(xué)習(xí)。我也做一些強(qiáng)化學(xué)習(xí)理論相關(guān)的東西，也做過(guò)強(qiáng)化學(xué)習(xí)在大語(yǔ)言模型中的應(yīng)用，還做過(guò)強(qiáng)化學(xué)習(xí)在人形機(jī)器人上的應(yīng)用。整體思路就是隨著強(qiáng)化學(xué)習(xí)社區(qū)的遷移，從理論到算法，再?gòu)乃惴ǖ綉?yīng)用。

Jane：你剛說(shuō)到你從理論最后還是想做具體的應(yīng)用，你還記得是哪一刻覺(jué)得不想停留在理論階段了，想把它真正放到機(jī)器人身上或一些具體的事情來(lái)看到效果？

陳佳玉：要說(shuō)具體哪一刻，應(yīng)該很難講。我做過(guò)一些理論工作，每次做理論工作的時(shí)候，不僅要推數(shù)學(xué)，還要把算法寫成代碼，然后在實(shí)驗(yàn)上去跑。就發(fā)現(xiàn)你推出來(lái)數(shù)學(xué)結(jié)構(gòu)好的，寫成代碼運(yùn)行起來(lái)效果不一定好；反而是一些理論直覺(jué)上更差的東西，實(shí)際表現(xiàn)反而更好。這是一個(gè)點(diǎn)。

另一個(gè)點(diǎn)是，在做理論的過(guò)程中，你為了得到結(jié)果要引入一些假設(shè)，但那些假設(shè)隱隱約約會(huì)感覺(jué)到與實(shí)際非常不相符。所以你可能花了很大精力做數(shù)學(xué)推導(dǎo)，得到的結(jié)果可能沒(méi)太大實(shí)際意義。我覺(jué)得這是最大的一個(gè) pain point。

而且還有一個(gè) pain point——PPO 是2017年做出來(lái)的，現(xiàn)在大家用得最多的算法，無(wú)論在大語(yǔ)言模型還是機(jī)器人本體上，還是 PPO。所以我們應(yīng)該比較清晰地意識(shí)到這個(gè)問(wèn)題：你再做出新的算法來(lái)，可能也不太會(huì)有人用。

Jane：你其實(shí)是想看到更多真正落到實(shí)際上有意義和有價(jià)值的東西，這在你做的事情上是非常重要的一個(gè)衡量維度。

陳佳玉：對(duì)，因?yàn)槟慊ê芏鄷r(shí)間在做研究，總希望自己的研究能真的用在社會(huì)中的某一個(gè)角落里。把技術(shù)應(yīng)用到一個(gè)具體的領(lǐng)域里邊，這是非常重要的。我覺(jué)得對(duì)于做科研、做技術(shù)來(lái)講，這是非常重要的一個(gè)成就。

Jane：然后講一下你在CMU機(jī)器人研究所的經(jīng)歷吧，它其實(shí)就是完全跟機(jī)器人相關(guān)的？

陳佳玉：是跟控制相關(guān)的。具體來(lái)說(shuō)，我們跟美國(guó)的通用原子公司進(jìn)行合作，他們有核聚變?cè)O(shè)施。核聚變是要在一個(gè)裝置里，以水為燃料，產(chǎn)生一個(gè)比太陽(yáng)里還要熱、壓強(qiáng)還要高的運(yùn)行環(huán)境。在那個(gè)環(huán)境里，會(huì)有一團(tuán)溫度和壓強(qiáng)都極高的等離子體。你要控制那個(gè)等離子體，不讓它接觸裝置壁，因?yàn)橐坏┙佑|到壁，就相當(dāng)于失敗了。所以這是一個(gè)難度非常大的控制問(wèn)題。

由于它是非常極端的條件——高溫高壓——物理過(guò)程不完全清楚。一方面物理過(guò)程不清楚，另一方面控制問(wèn)題又很難。所以我們的解決方法就是用他們提供的大量數(shù)據(jù)，去學(xué)一個(gè)控制策略出來(lái)。

主要的技術(shù)棧就是強(qiáng)化學(xué)習(xí)。這也是強(qiáng)化學(xué)習(xí)吸引我的點(diǎn)——幾乎所有的決策問(wèn)題，不管是離散的還是連續(xù)的，不管是過(guò)程控制問(wèn)題還是機(jī)器人控制問(wèn)題，只要它能被建模成一個(gè)馬爾可夫過(guò)程，就可以用強(qiáng)化學(xué)習(xí)去求解一個(gè)好的策略。

Jane：我理解它是一個(gè)物理系統(tǒng)，強(qiáng)化學(xué)習(xí)是一套軟件系統(tǒng)，中間是通過(guò)軟件操控硬件，把這個(gè)用在上面。如果用通俗的方式來(lái)講，怎么能讓讀者更具象地感受到這件事？

陳佳玉：強(qiáng)化學(xué)習(xí)要學(xué)到的是一個(gè)策略，具體來(lái)講就是一個(gè)神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)的輸入是當(dāng)前的觀測(cè)，輸出是控制量。在核聚變裝置里，輸入是等離子體的速度、角度、壓強(qiáng)等，輸出是怎么用那些中子束去控制等離子體。如果放到人形機(jī)器人上面，仍然是一個(gè)神經(jīng)網(wǎng)絡(luò)，輸入可能是機(jī)器人看到的東西和接受的指令，輸出是機(jī)器人的關(guān)節(jié)角度。

也就是說(shuō)，強(qiáng)化學(xué)習(xí)學(xué)的就是一個(gè)神經(jīng)網(wǎng)絡(luò)，但這個(gè)神經(jīng)網(wǎng)絡(luò)根據(jù)應(yīng)用場(chǎng)景，可以改變它的輸入和輸出。

Jane：它其實(shí)是一個(gè)元技術(shù)。核聚變是一個(gè)具體范疇的東西，但不管什么領(lǐng)域，都可能涉及到?jīng)Q策。

陳佳玉：對(duì)，強(qiáng)化學(xué)習(xí)的應(yīng)用場(chǎng)景就是持續(xù)決策和控制。

Jane：具體到場(chǎng)景的話，自動(dòng)駕駛你早期研究過(guò)，還有機(jī)器人。這兩類系統(tǒng)在決策和控制方面，有哪些共性的難題，又有哪些不一樣的地方？

陳佳玉：共性難題是它們都是一個(gè) Sensory-Motor System。都有傳感器去獲取觀測(cè)——比如汽車有視覺(jué)攝像頭、RGB-D 攝像頭，有的還有激光雷達(dá)去感知周圍的公路、草叢、行人；輸出可能就是當(dāng)前的速度和轉(zhuǎn)向。機(jī)器人本質(zhì)上也是這樣，只不過(guò)需要控制的維度更多——不是簡(jiǎn)單控制速度和轉(zhuǎn)向，而是要控制每一個(gè)關(guān)節(jié)。

區(qū)別在于，我認(rèn)為可以把自動(dòng)駕駛當(dāng)成是機(jī)器人問(wèn)題中的一個(gè)子集。城市場(chǎng)景下的自動(dòng)駕駛是一個(gè)結(jié)構(gòu)化或半結(jié)構(gòu)化場(chǎng)景中的問(wèn)題——馬路的形狀是可以事先獲取的，交通規(guī)則是固定的，車道線也是固定的。但機(jī)器人的范圍很廣，比如家居場(chǎng)景的機(jī)器人要處理的是非結(jié)構(gòu)化的環(huán)境——每個(gè)人家都不一樣，沒(méi)有統(tǒng)一化的規(guī)則。所以我更傾向于把自動(dòng)駕駛看作是機(jī)器人問(wèn)題中的一個(gè)子問(wèn)題，相對(duì)于通用機(jī)器人來(lái)講，是一個(gè)稍微簡(jiǎn)單一些的問(wèn)題。

Jane：確實(shí)，從機(jī)器人場(chǎng)景適應(yīng)的復(fù)雜性上來(lái)說(shuō)，確實(shí)要比自動(dòng)駕駛完全不是一個(gè)量級(jí)。

陳佳玉：對(duì)，因?yàn)闄C(jī)器人范圍很廣。工廠里有機(jī)械臂，深海探測(cè)有深海探測(cè)機(jī)器人，靶向用藥有納米機(jī)器人。機(jī)器人范疇很廣，自動(dòng)駕駛可能就是機(jī)器人中的一個(gè)問(wèn)題，它們并不是并列關(guān)系。

Jane：現(xiàn)在你覺(jué)得在研究也好、產(chǎn)業(yè)也好，發(fā)展通用機(jī)器人的技術(shù)路徑上還有哪些非共識(shí)的地方？

陳佳玉：我認(rèn)為在發(fā)展通用機(jī)器人的路徑上，看似收斂，但方向?qū)Σ粚?duì)大家還不知道。

看似收斂是因?yàn)榇蠹液孟穸荚谟?VLA 在做。這可以理解，有兩個(gè)原因：第一，VLA 這個(gè)路徑本質(zhì)上是對(duì)大語(yǔ)言模型路徑的一個(gè)復(fù)制——用大數(shù)據(jù)、大算力、大模型得到一個(gè)通用的 Foundation Model。大家看到了大語(yǔ)言模型的成功，所以想走 VLA 這條路。第二，國(guó)外有一些領(lǐng)先的公司，比如 Physical Intelligence，確實(shí)做出了很好的 VLA 模型，導(dǎo)致特別是國(guó)內(nèi)公司基本上都在做 VLA，把精力放在采大量數(shù)據(jù)、堆算力、訓(xùn) VLA 模型、做 demo。

但實(shí)際上，正確的路是什么，大家現(xiàn)在還不知道。因?yàn)楝F(xiàn)在 VLA 還走不出 demo——任何一個(gè)公司發(fā)布了一個(gè) VLA 之后，如果讓大家隨便去試，很容易發(fā)現(xiàn)它泛化性的問(wèn)題。

VLA 成立的假設(shè)是你有無(wú)限多的數(shù)據(jù)，就能學(xué)到一個(gè)像大語(yǔ)言模型那樣無(wú)所不能的東西。但這不太成立，因?yàn)榇笳Z(yǔ)言模型之所以成功，是因?yàn)樗幚淼恼Z(yǔ)言是單一模態(tài)。而 VLA 是一個(gè)多模態(tài)的問(wèn)題，所需的數(shù)據(jù)要遠(yuǎn)遠(yuǎn)高于大語(yǔ)言模型，但我們擁有的視覺(jué)、觸覺(jué)數(shù)據(jù)以及包含 action 的數(shù)據(jù)非常少，采集成本非常高。也就是說(shuō)，VLA 相比大語(yǔ)言模型需要更多的數(shù)據(jù)，但采集成本更高。所以這個(gè)模式聽(tīng)起來(lái)不太 work——你照搬了大語(yǔ)言模型的路，但照搬得不太對(duì)。

那如果不走這條路，我們?cè)趺醋呦蛲ㄓ弥悄荏w？就像我剛才講的，它是一個(gè)非常復(fù)合的技術(shù)，大家對(duì)這方面的技術(shù)路線還沒(méi)有形成共識(shí)。從我自己來(lái)講，我認(rèn)為要真走到那一步，就得真的去做類人智能的研究——持續(xù)性的強(qiáng)化學(xué)習(xí)以及很好地融合先驗(yàn)知識(shí)的強(qiáng)化學(xué)習(xí)過(guò)程，是很必要的。

第二部分：職業(yè)選擇與產(chǎn)學(xué)研合作

Aaron：陳老師，我們現(xiàn)在聊一下職業(yè)選擇上的變化吧。你在港大之外，其實(shí)也加入了原力無(wú)限。我們比較好奇的是，從助理教授到正教授基本上已經(jīng)是大多數(shù)人覺(jué)得非常好的路徑了，特別是在港大這個(gè)平臺(tái)上。您為什么沒(méi)有走一條完全純學(xué)術(shù)的道路，而是選擇加入一家創(chuàng)業(yè)公司呢？

陳佳玉：因?yàn)槲覀円龅臇|西——通用的具身智能，實(shí)際上是一個(gè)需要很多很多資源的事情。比如你需要大量的研發(fā)資金來(lái)購(gòu)買機(jī)器人和招學(xué)生，同時(shí)也需要很多算力來(lái)訓(xùn)那些基礎(chǔ)模型。最重要的是你得有做實(shí)驗(yàn)的場(chǎng)地。但作為一個(gè) Junior Faculty 來(lái)講，在經(jīng)費(fèi)、算力和場(chǎng)地上都是非常窘迫的狀態(tài)。這是一個(gè)共有的問(wèn)題，特別是場(chǎng)地問(wèn)題——在港大，我們沒(méi)有實(shí)驗(yàn)的 space，基本上做不了任何真機(jī)的 Robot 實(shí)驗(yàn)，這是一個(gè)現(xiàn)實(shí)的困境。

其實(shí)在接觸到原力無(wú)限之前，我就已經(jīng)給香港政府寫了一個(gè) proposal 要做通用型家務(wù)機(jī)器人，但心里也有 concern，就是經(jīng)費(fèi)、算力和場(chǎng)地的問(wèn)題。和原力無(wú)限合作的話，他們可以提供算力、場(chǎng)地以及研究經(jīng)費(fèi)。相當(dāng)于雙方在資源稟賦與研究能力上形成了互補(bǔ)，這使很多原本難以推進(jìn)的真機(jī)研究得以加速展開(kāi)。我覺(jué)得更像是一種產(chǎn)學(xué)研結(jié)合，不是說(shuō)對(duì)港大這個(gè)平臺(tái)不滿意，而是我們確實(shí)需要更多資源來(lái)推進(jìn)我們想做的研究。

Aaron：明白。這種算力和資源的稀缺，應(yīng)該是現(xiàn)在學(xué)術(shù)界一個(gè)非常普遍的狀況。不管是大語(yǔ)言模型的研發(fā)還是具身智能的研發(fā)，其實(shí)是由產(chǎn)業(yè)界來(lái)主導(dǎo)的，因?yàn)樗麄兗扔兴懔σ灿绣X也有人。學(xué)術(shù)界可能反而稍微滯后了一些，所以就會(huì)采用這種產(chǎn)學(xué)合作的模式。

陳佳玉：對(duì)，是這樣。

陳佳玉：我覺(jué)得在于雙方合作中互相表現(xiàn)出的誠(chéng)意。我認(rèn)為最重要的一點(diǎn)是愿景一致——我在接觸他們之前就寫了做家務(wù)機(jī)器人、通用機(jī)器人的 proposal，而他們想做的正好是具身大腦，以及商業(yè)、制造、文旅、家庭等多場(chǎng)景落地，這與我長(zhǎng)期關(guān)注的通用機(jī)器人和家務(wù)場(chǎng)景研究方向能夠形成很好銜接。第二是他們的商業(yè)化做得很好，有充足的資金來(lái)支持研究，能給我們實(shí)驗(yàn)室提供比較穩(wěn)定的支持。第三是大家互相表現(xiàn)出誠(chéng)意——公司給了我很大的信任，讓我去主導(dǎo)一個(gè)聯(lián)合實(shí)驗(yàn)室，投入了很多資源，讓我去探索我想探索的方向。愿景一致，又給了很多的支持和信任，Why not？

Aaron：我比較好奇，從PhD階段在導(dǎo)師實(shí)驗(yàn)室里，到博后階段，到現(xiàn)在作為獨(dú)立faculty建立自己的實(shí)驗(yàn)室并主動(dòng)選擇和產(chǎn)業(yè)界合作，這里面最大的變化是什么？

陳佳玉：做 PhD 期間主要就是埋頭研究，鍛煉獨(dú)立研究的能力，這是最大的 focus。到博后階段，就多了一些寫 proposal 和指導(dǎo)學(xué)生的經(jīng)歷，在為做 faculty 做準(zhǔn)備。到真正開(kāi)始做獨(dú)立 faculty，我發(fā)現(xiàn)最重要的是能夠有自己的研究哲學(xué)——清楚自己可能很長(zhǎng)的一段研究生涯要解決一個(gè)什么大問(wèn)題。然后圍繞這些大問(wèn)題去搭建自己的團(tuán)隊(duì)：最根本的是拿到足夠的研究經(jīng)費(fèi)，基于經(jīng)費(fèi)去布置實(shí)驗(yàn)室的硬件，招相關(guān)方向的人。簡(jiǎn)單來(lái)講就是拿錢，還有構(gòu)建自己的實(shí)驗(yàn)室，和做 PhD 以及做 PostDoc 還是蠻不一樣的。

Aaron：您剛也提過(guò)有自己的研究哲學(xué)，跟原力無(wú)限之間有非常匹配的mission。能展開(kāi)講一下嗎？包括你提到要做家務(wù)場(chǎng)景機(jī)器人，這是你們未來(lái)發(fā)展的方向？

陳佳玉：對(duì)的。最大的 match 是，我們都希望去解決通用機(jī)器人的核心問(wèn)題。對(duì)公司而言，是圍繞具身大腦做多場(chǎng)景落地；對(duì)我個(gè)人而言，家庭/家務(wù)場(chǎng)景是其中一個(gè)最具挑戰(zhàn)也最有長(zhǎng)期價(jià)值的方向。技術(shù)路線上，他們給了我比較大的信任，支持我做我本來(lái)就想做的技術(shù)路線。具體來(lái)說(shuō)就是研究基于 VLA 的一個(gè)持續(xù)學(xué)習(xí)過(guò)程，以及融合世界模型、VLA 和一些多模態(tài)知識(shí)庫(kù)的類人智能。這是在探索一個(gè)和當(dāng)前大家做的都不太一樣的、但更接近類人智能的方向。我們想做的東西一致，研究方向上他們也給了很大的支持和信任。

Aaron：那陳老師，在你眼里，目前具身智能領(lǐng)域最被高估的一類問(wèn)題是什么？哪些問(wèn)題可能被誤以為是核心問(wèn)題，但實(shí)際上對(duì)行業(yè)本質(zhì)發(fā)展的貢獻(xiàn)是有限的？

陳佳玉：我認(rèn)為現(xiàn)在大家對(duì)具身智能最高估的一點(diǎn)，就是把Scaling Law從大語(yǔ)言模型搬到 VLA 上。因?yàn)?Scaling Law 在大語(yǔ)言模型上得到了驗(yàn)證——更多的數(shù)據(jù)、更大的模型、更多的 test-time computation，效果就更好?，F(xiàn)在大家想把那一套搬到 VLA 里，覺(jué)得采更多數(shù)據(jù)效果就會(huì)更好。

但我認(rèn)為這個(gè)東西非常貴——采數(shù)據(jù)貴，算力也貴，關(guān)鍵是它還沒(méi)那么 promising。你看現(xiàn)在 GPT-4o 和 GPT-5 的研發(fā)周期非常長(zhǎng)，但效果不明顯。這說(shuō)明即使在大語(yǔ)言模型這種有海量數(shù)據(jù)、單一模態(tài)的建模問(wèn)題上，Scaling 都不會(huì)是最終解決方案。應(yīng)用到 VLA 上大概率也不是，因?yàn)?VLA 是非常多模態(tài)的、數(shù)據(jù)非常稀少的、采集成本非常高的。

我認(rèn)為大家應(yīng)該想一想——人工智能怎么在數(shù)據(jù)有限的情況下進(jìn)行學(xué)習(xí)？這才是一個(gè)性價(jià)比更高的方向?，F(xiàn)在大家都做 Data-Driven Research，一個(gè)方向是拼命搞更多的數(shù)據(jù)，但大家普遍比較忽視的是怎么在數(shù)據(jù)有限的情況下更高效地學(xué)習(xí)，也就是在學(xué)習(xí)機(jī)制上的研究。我認(rèn)為這是一個(gè) misleading 的點(diǎn)。

陳佳玉：而且具身智能和大語(yǔ)言模型不一樣的另一個(gè)點(diǎn)是——大語(yǔ)言模型即便犯再離譜的錯(cuò)誤，它也只是生成文本，用不用還是由人來(lái)決定。而具身智能如果在部署過(guò)程中出現(xiàn)大的錯(cuò)誤，比如在工廠里或家里，實(shí)際上是很危險(xiǎn)的。也就是說(shuō)，它必須有可保證的泛化性、魯棒性和安全性。但目前這條路線要 copy 大語(yǔ)言模型，是沒(méi)辦法給出這種保證的。

Aaron：明白。那你覺(jué)得長(zhǎng)期被低估的硬核問(wèn)題又是哪些？

陳佳玉：我認(rèn)為被低估的問(wèn)題是——做更類人的智能。大家要去想人是怎么學(xué)習(xí)的，然后把它搬到機(jī)器上。這是一個(gè)非常被低估的方向，也是一個(gè)特有意思的方向。你去觀察那些嬰兒，他們接觸到很少很少的數(shù)據(jù)就能表現(xiàn)得非常 robust 和 general。人類比機(jī)器好的點(diǎn)就是——它的 robustness 和 generalization 都非常好，而且只依賴非常少的數(shù)據(jù)。

所以我認(rèn)為一個(gè)真正投入不足的點(diǎn)，就是怎么更類人地去學(xué)習(xí)。大家現(xiàn)在也在做類人——做人形機(jī)器人，但做的內(nèi)容是像人的形態(tài)一樣。大家沒(méi)有去考慮類人的學(xué)習(xí)機(jī)制。這是一個(gè)被低估的方向。類人不能只是形態(tài)上的類人，我們必須要有學(xué)習(xí)機(jī)制上的類人。

Aaron：你怎么理解現(xiàn)在具身智能的發(fā)展階段？如果用GPT來(lái)類比，現(xiàn)在算是GPT-3、GPT-4還是能到GPT-5這個(gè)階段了？

陳佳玉：我覺(jué)得還遠(yuǎn)遠(yuǎn)沒(méi)到 ChatGPT 那個(gè)程度，我覺(jué)得大概是 GPT-1、GPT-2 差不多。因?yàn)?ChatGPT 剛出來(lái)的時(shí)候就已經(jīng)比較 capable 了，我當(dāng)時(shí)還試了一下，讓它證明數(shù)學(xué)分析里的一些定理，它出來(lái)之后一度引起 OpenAI 服務(wù)器宕機(jī)——說(shuō)明它是真的有用了，而且能經(jīng)得住大家的測(cè)試。但現(xiàn)在的具身智能都走不出 demo，甚至 demo 都是精心剪輯才能做出來(lái)，更不要說(shuō)能經(jīng)得住大家的測(cè)試了。

Aaron：那你覺(jué)得具身智能的ChatGPT時(shí)刻還有多久？

陳佳玉：我不知道，但我之前看了楊立昆的一個(gè) talk，他的愿景就是更類人，和我很一致。他給主持人的答復(fù)是五到二十年。我認(rèn)為要想真正做出可以用的具身智能，在算法方面還需要另一層突破——得更類人，達(dá)到像人那樣的數(shù)據(jù)效率、泛化性和魯棒性。這需要算法上的突破，我不知道需要多少年，但楊立昆說(shuō)是五到二十年，所以 let's see。

Aaron：你剛也提到很多機(jī)器人走不出demo場(chǎng)景。很多機(jī)器人在視頻里可能看起來(lái)非?？苹茫B衣服或者跳舞，但真正在一個(gè)陌生場(chǎng)景里就基本不太能function了。你怎么理解這種巨大的落差？到底是算法的問(wèn)題，還是工程的問(wèn)題？

陳佳玉：是算法上的問(wèn)題。當(dāng)前算法依賴大量的數(shù)據(jù)，但跨場(chǎng)景的數(shù)據(jù)需求是指數(shù)級(jí)增長(zhǎng)的。當(dāng)前算法最大的弊病就是得有非常海量的數(shù)據(jù)才會(huì)有泛化性，數(shù)據(jù)不足就自然不會(huì)有泛化性。所以肯定是算法上的問(wèn)題。

Aaron：你想做的是家庭場(chǎng)景機(jī)器人，為什么選擇這個(gè)方向？你覺(jué)得現(xiàn)在很多機(jī)器人場(chǎng)景中，什么場(chǎng)景在短期內(nèi)比較promising？

陳佳玉：其實(shí)分三類場(chǎng)景——工業(yè)、商業(yè)和家庭。短期內(nèi)我認(rèn)為最好做的是商業(yè)場(chǎng)景。我們分析一下：工業(yè)場(chǎng)景要引入機(jī)器人，得有非常高的效率，有一個(gè)效率門檻；家庭場(chǎng)景有一個(gè) safety 的問(wèn)題——機(jī)器人不能出問(wèn)題，撞壞家具是小事，撞壞人就是大事了。商業(yè)場(chǎng)景反而是對(duì)效率要求不高、對(duì)安全性要求也不高的，所以實(shí)際上最有可能率先落地。

從公司實(shí)踐來(lái)看，原力無(wú)限已經(jīng)在商業(yè)、制造、文旅等場(chǎng)景形成多類機(jī)器人產(chǎn)品和解決方案落地，短期更容易跑通的是結(jié)構(gòu)更清晰、容錯(cuò)更高的商業(yè)化場(chǎng)景。

但我們之所以做家庭場(chǎng)景，是從長(zhǎng)期來(lái)看。我們?cè)谶x場(chǎng)景的時(shí)候得想，最希望機(jī)器人部署在哪？如果讓機(jī)器人部署在流水線上或工廠里替代藍(lán)領(lǐng)工作，實(shí)際上是一件非常殘酷的事情。我們更希望機(jī)器人出現(xiàn)在危險(xiǎn)的場(chǎng)景下，或者出現(xiàn)在家庭場(chǎng)景下——假如人們都不需要做家務(wù)了，那就是一個(gè)非常大的 relief。做家庭機(jī)器人是從我們自身的愿景出發(fā)，并不是單純認(rèn)為它短期內(nèi)好落地。

Aaron：所以工業(yè)場(chǎng)景在你的理解中，是處于商業(yè)場(chǎng)景和家庭場(chǎng)景中間？最難的是家庭場(chǎng)景，因?yàn)榘踩宰罡撸?/strong>

陳佳玉：也不能這么說(shuō)。工業(yè)場(chǎng)景對(duì)效率要求比較高，這是它的難點(diǎn)；家庭場(chǎng)景對(duì)安全性要求比較高，這是另一個(gè)難點(diǎn)。但它們?cè)趺幢?，不好比?/p>

第三部分：具身大腦、世界模型與產(chǎn)業(yè)格局

Aaron：在你看來(lái)，機(jī)器人要真正變得足夠能干，或者跟人一樣能干，最重要需要的能力項(xiàng)是什么？是需要更好的感知、更強(qiáng)的世界理解，還是真正的決策能力？

陳佳玉：我覺(jué)得它得更好地理解這個(gè)世界，理解這個(gè)世界的一些基礎(chǔ)因果?，F(xiàn)在的學(xué)習(xí)方法更像是——你給它一個(gè)視頻，你拿著杯子，突然撒手，杯子掉了。它很容易就學(xué)習(xí)到：你拿一個(gè)杯子，如果撒手就會(huì)掉。但如果它學(xué)到因果，它就會(huì)明白這個(gè)杯子掉是因?yàn)橛兄亓?，如果沒(méi)有一個(gè)向上的力，它就會(huì)掉。如果它學(xué)到因果，就可以很好地泛化——你把杯子換成一個(gè)壺，它也明白如果撒手也會(huì)掉。

也就是說(shuō)，機(jī)器人如果真的理解了這個(gè)世界，就往類人方向進(jìn)了一大步?；谶@個(gè)理解，再連接它的小腦部分——更敏捷、更精確的控制，這個(gè)實(shí)際上是相對(duì)好做的。我認(rèn)為比較難做的是大腦這部分，就是真的有那種類人的、對(duì)世界的理解。

Aaron：具有這種世界理解能力的世界模型，大概發(fā)展到什么階段了？

陳佳玉：世界模型比較特殊，它和 VLA 不一樣——世界模型的技術(shù)路線還沒(méi)有收斂。

比較有代表性的一派是**楊立昆（Yann LeCun）**之前在 Meta 做的JEPA（Joint Embedding Predictive Architecture），他認(rèn)為訓(xùn)練過(guò)程中不能有生成的部分——學(xué)術(shù)上講就是只能用 encoder，不能用 decoder。由于不能用 decoder，它就不能是一個(gè)監(jiān)督學(xué)習(xí)，而是一個(gè)自監(jiān)督學(xué)習(xí)。這是一派。

另一派像李飛飛做視覺(jué)這一派，或者 OpenAI 做的Sora那種視頻生成模型，他們是用海量的視頻數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)來(lái)訓(xùn)世界模型。

兩派各自有自己的成果，但只能說(shuō)技術(shù)路線還沒(méi)有收斂。而且比較成功的世界模型 demo，基本上就是用世界模型去生成視頻，或者用世界模型生成一個(gè)模擬器。它的邏輯和大語(yǔ)言模型沒(méi)有什么區(qū)別——給它輸入、給它輸出，做監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)本質(zhì)上就是一個(gè) regression 問(wèn)題，那它仍然會(huì)和大語(yǔ)言模型面臨一樣的問(wèn)題：對(duì)數(shù)據(jù)依賴很強(qiáng)，方法沒(méi)有保證。

我認(rèn)為現(xiàn)在世界模型還得再問(wèn)深一點(diǎn)——有沒(méi)有一種學(xué)習(xí)機(jī)制，讓世界模型真的明白這個(gè)世界的一些物理定律或者因果？大家對(duì)這方面的研究還不深，我認(rèn)為這也是技術(shù)目前還沒(méi)有收斂的原因。

Aaron：所以世界模型現(xiàn)在也跟大語(yǔ)言模型一樣，還在大力出奇跡的階段，算法也沒(méi)有特別有效率的出現(xiàn)。

陳佳玉：對(duì)。我認(rèn)為具身智能的下一步，絕對(duì)需要不同于 VLA 或世界模型的技術(shù)出現(xiàn)。而且研究重點(diǎn)應(yīng)該在大腦這一塊。

Aaron：說(shuō)回到?jīng)Q策上面，現(xiàn)在很多多模態(tài)大模型已經(jīng)能看懂很多東西了，但你覺(jué)得"看懂"和"會(huì)決定"之間大概是什么樣的差距？

陳佳玉：看懂和會(huì)決定，實(shí)際上就差一個(gè)策略——你得依據(jù)你看懂的東西，得出當(dāng)前應(yīng)該執(zhí)行的一個(gè)動(dòng)作。這個(gè)策略可以通過(guò)模仿學(xué)習(xí)去學(xué)，也可以通過(guò)強(qiáng)化學(xué)習(xí)去學(xué)。問(wèn)題在于：如果用模仿學(xué)習(xí)，你就得提供專家示例，那就是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的方法，依賴很多數(shù)據(jù)；如果用強(qiáng)化學(xué)習(xí)，就還是我剛才說(shuō)的問(wèn)題——當(dāng)前的強(qiáng)化學(xué)習(xí)算法每學(xué)一個(gè)新任務(wù)都要從頭學(xué)，不是一個(gè)持續(xù)學(xué)習(xí)的過(guò)程。它不能應(yīng)用以前學(xué)到的知識(shí)，什么都得從頭學(xué)，導(dǎo)致采樣效率非常低。

所以從能讀懂這個(gè)世界到能做出好的決策之間，我們其實(shí)還需要一個(gè)好的持續(xù)強(qiáng)化學(xué)習(xí)的算法。

Jane：現(xiàn)在機(jī)器學(xué)習(xí)的能力還是沒(méi)有辦法做到快速遷移、適應(yīng)不同環(huán)境，對(duì)吧？

陳佳玉：還不能。遷移就是泛化。泛化的話，大語(yǔ)言模型已經(jīng)做得很好了，因?yàn)樗鼣?shù)據(jù)量夠大，而且是單一模態(tài)的任務(wù)。但具身智能的泛化性還是很差，因?yàn)閳D片包含的信息比文字要多得多。這意味著你要實(shí)現(xiàn)很好的泛化性，就要提供比文本數(shù)據(jù)多得多的視頻數(shù)據(jù)。但視覺(jué)數(shù)據(jù)又恰恰比文本數(shù)據(jù)更難獲取。所以泛化很難，以現(xiàn)在的算法途徑來(lái)看，遷移或適應(yīng)也很難。

Jane：好，前面世界模型跟VLA是密不可分的，而且我覺(jué)得這兩個(gè)在定義層面都是極其非共識(shí)的地方。你怎么理解所謂的世界模型？有人甚至覺(jué)得它就是一個(gè)理論名詞。以及它和VLA之間的關(guān)系到底是什么？

陳佳玉：VLA 是依據(jù)當(dāng)前觀測(cè)得到當(dāng)前的動(dòng)作；世界模型是依據(jù)當(dāng)前的觀測(cè)和當(dāng)前的動(dòng)作，得到下一個(gè)時(shí)刻狀態(tài)的預(yù)測(cè)。

我這么解釋吧：你觀察到面前有一個(gè)杯子，然后你把它舉起來(lái)——這是一個(gè)從觀測(cè)到動(dòng)作的過(guò)程，可以用 VLA 來(lái)實(shí)現(xiàn)。然后你想知道，把杯子舉起來(lái)之后它會(huì)是什么狀態(tài)？得到這個(gè)預(yù)測(cè)是通過(guò)世界模型來(lái)實(shí)現(xiàn)的。

也就是說(shuō)，它們是兩個(gè)函數(shù)，功能不一樣。

Jane：現(xiàn)在各家公司都在做這塊，但背后各自的算法技術(shù)其實(shí)完全不一樣吧？

陳佳玉：我認(rèn)為恰恰相反。大家的算法其實(shí)是很相似的，不一樣的是數(shù)據(jù)和工程上的一些 tricks，但算法上相似度極高。

Jane：你之前提到你們做的類人智能研究，它是哪個(gè)part的事情？

陳佳玉：實(shí)際上就是怎么去訓(xùn) VLA。大家現(xiàn)在訓(xùn) VLA 就是給它輸入數(shù)據(jù)、輸出數(shù)據(jù)，做一個(gè)擬合——得到大量數(shù)據(jù)，像訓(xùn)練大語(yǔ)言模型一樣訓(xùn)練一個(gè) VLA。我們不一樣的點(diǎn)是，我們想用一種持續(xù)學(xué)習(xí)的機(jī)制來(lái)訓(xùn) VLA。他們用監(jiān)督學(xué)習(xí)方法來(lái)訓(xùn)，我們想用持續(xù)學(xué)習(xí)方法來(lái)訓(xùn)，這是區(qū)別點(diǎn)。

我們做的另一個(gè)不同點(diǎn)是，怎么去用世界模型。我們是把世界模型作為機(jī)器人知識(shí)庫(kù)的一部分，來(lái)輔助 VLA 的訓(xùn)練。

總結(jié)一下：第一，我們 VLA 的訓(xùn)練方式不一樣——大家普遍用監(jiān)督學(xué)習(xí)，我們?cè)谔剿饕环N持續(xù)學(xué)習(xí)的方式。第二，怎么用世界模型來(lái)訓(xùn) VLA，我們和大家做的也不太一樣?，F(xiàn)在大家用世界模型訓(xùn) VLA 基本上兩個(gè)路徑：一個(gè)是用世界模型去生成數(shù)據(jù)，然后用生成數(shù)據(jù)去訓(xùn) VLA；另一個(gè)是把世界模型當(dāng)做一個(gè)模擬器，在模擬器里訓(xùn) VLA。我們則是要建立一個(gè)知識(shí)庫(kù)，知識(shí)庫(kù)里包含實(shí)體之間的聯(lián)系以及層次抽象，我們把世界模型作為層次抽象的一部分，用來(lái)訓(xùn) VLA。

Jane：你自己的研究方向堅(jiān)定會(huì)認(rèn)為這條路是有效的？

陳佳玉：對(duì)，因?yàn)楦惾?。我們?nèi)瞬痪褪且粋€(gè)持續(xù)學(xué)習(xí)的過(guò)程嘛——你今天學(xué)數(shù)學(xué)物理，明天學(xué) Robotics，學(xué) Robotics 的時(shí)候就是在應(yīng)用你學(xué)的數(shù)學(xué)和物理。人就是一個(gè)持續(xù)學(xué)習(xí)的過(guò)程，那你想做出一個(gè)類人的機(jī)器人來(lái)，為什么不用一個(gè)持續(xù)學(xué)習(xí)的過(guò)程呢？

Jane：你們已經(jīng)在這條路上看到一些泛化能力的變化了嗎？

陳佳玉：對(duì)，我們?cè)谕瑫r(shí)進(jìn)行好幾項(xiàng)關(guān)于持續(xù)學(xué)習(xí)的研究，后面會(huì)陸陸續(xù)續(xù)出來(lái)。因?yàn)槲覀冞@個(gè)合作其實(shí)也剛剛開(kāi)始。

Jane：還有一個(gè)數(shù)據(jù)的問(wèn)題。大家堅(jiān)持不同的數(shù)據(jù)路線，可能導(dǎo)致規(guī)?；怀闪⒌狞c(diǎn)是什么？每條路線的問(wèn)題是什么？你們的選擇又是什么？

陳佳玉：數(shù)據(jù)方面，大家現(xiàn)在確實(shí)存在分歧。

以Physical Intelligence為代表的一派認(rèn)為真實(shí)數(shù)據(jù)為王——必須給模型足夠多的真實(shí)數(shù)據(jù)，才可能訓(xùn)出來(lái)比較好的 VLA。

以英偉達(dá)為代表的一派認(rèn)為仿真數(shù)據(jù)為王——因?yàn)椴杉鎸?shí)數(shù)據(jù)成本太高，得依賴高度可信的仿真來(lái)并行化、低成本地產(chǎn)生大量數(shù)據(jù)。

還有一類，像李飛飛為代表的，認(rèn)為數(shù)據(jù)應(yīng)該是世界模型生成的——生成的環(huán)境更可控，給一個(gè) text prompt 就能立刻生成一個(gè)環(huán)境，然后在里面生成數(shù)據(jù)。

大家這方面還沒(méi)有形成共識(shí)。目前來(lái)看最有效的是用真實(shí)數(shù)據(jù)，以及真實(shí)數(shù)據(jù)和仿真數(shù)據(jù)聯(lián)合訓(xùn)練。

我們目前不太做 data-centric research，我們會(huì)觀察哪種數(shù)據(jù)的成功率更好，follow 他們的研究用一樣的數(shù)據(jù)。因?yàn)槲覀兊难芯恐攸c(diǎn)不在于用什么數(shù)據(jù)，而是采用什么樣的學(xué)習(xí)機(jī)制，可以更有效地應(yīng)用這些數(shù)據(jù)。

Jane：關(guān)于真實(shí)數(shù)據(jù)，之前有人提出一個(gè)質(zhì)疑——如果真實(shí)數(shù)據(jù)是真機(jī)采集的，一旦機(jī)器迭代，那些數(shù)據(jù)可能就完全沒(méi)用了，數(shù)據(jù)規(guī)?；浅ｋy實(shí)現(xiàn)。

陳佳玉：對(duì)，所以你在采數(shù)據(jù)的時(shí)候，數(shù)據(jù)的形式要比較 general 一些，不能和采集設(shè)備綁得太死。比如你的輸入是圖片，輸出是歸一化之后的關(guān)節(jié)位置，這種通用格式的數(shù)據(jù)是可以遷移、甚至遷移到不同本體上的。

但我認(rèn)為大家還得想清楚一個(gè)問(wèn)題：能不能在采數(shù)據(jù)之前，對(duì)需要采集的數(shù)據(jù)量進(jìn)行一個(gè)估算？如果估算出來(lái)采多少數(shù)據(jù)都不會(huì)達(dá)到最終目的，那你還要不要采這個(gè)數(shù)據(jù)？這是一個(gè) question mark。

Jane：而且不同機(jī)型的數(shù)據(jù)采集出來(lái)，也不是行業(yè)可以共用的，因?yàn)楝F(xiàn)在機(jī)型差別太大——身高大小、有沒(méi)有臂、輪子還是腳。

陳佳玉：對(duì)，你可以做一些 retargeting——比如兩個(gè)人形機(jī)器人大小不一樣，但參數(shù)你都有，比如臂長(zhǎng)、身高，你可以用 retargeting 把小機(jī)器人的數(shù)據(jù) retarget 到大機(jī)器人身上，這是可以做到的。但如果跨得再厲害一些，比如人形機(jī)器人和機(jī)器狗之間，就不太好共用了。不過(guò)如果是同一類型的機(jī)器人只是大小不一樣，是可以做到一定程度的共用的。

Jane：目前你們最缺的是哪種類型的數(shù)據(jù)？

陳佳玉：最缺的是那些真的需要人去采集、不能通過(guò)仿真來(lái)生成的數(shù)據(jù)。比如疊衣服、系鞋帶、擰螺絲這種——必須得用人來(lái)采，很難通過(guò)仿真或者生成的方式獲得。

Jane：我突然意識(shí)到，遙操作作為一個(gè)商業(yè)模式產(chǎn)品，在這個(gè)時(shí)候其實(shí)非常成立。

陳佳玉：對(duì)，因?yàn)榫褪菫榱瞬蓴?shù)據(jù)。邏輯是這樣的：大語(yǔ)言模型驗(yàn)證了 Scaling Law 成立——從模型到 Scaling，從 Scaling 到數(shù)據(jù)，從數(shù)據(jù)再到遙操作，它這個(gè)需求鏈條就是這樣的。

Jane：然后原力無(wú)限是"一腦多身多場(chǎng)景"，為什么選擇這個(gè)范式？

陳佳玉：因?yàn)橐鐾ㄓ脵C(jī)器人，最難的部分就是做大腦——對(duì)世界的理解。如果你想做的是一個(gè)大腦，你就沒(méi)有必要限制它的應(yīng)用場(chǎng)景。只不過(guò)在具體的商業(yè)計(jì)劃中會(huì)一個(gè)一個(gè)場(chǎng)景地攻克——比如先做家居場(chǎng)景，再做商業(yè)場(chǎng)景，再做工業(yè)場(chǎng)景。但如果大腦做得很成熟了，就沒(méi)有必要限制應(yīng)用場(chǎng)景，它的應(yīng)用范圍會(huì)是非常廣的。這也是原力無(wú)限當(dāng)前‘聚焦具身大腦、賦能多形態(tài)本體、驅(qū)動(dòng)場(chǎng)景規(guī)?；暮诵倪壿嫛?/p>

Jane：現(xiàn)在大家錨定某個(gè)場(chǎng)景的核心原因，是因?yàn)榇_實(shí)大腦也只能用在那個(gè)場(chǎng)景中。

陳佳玉：是的。你做出來(lái)的模型只能用于一個(gè)場(chǎng)景，但你用來(lái)訓(xùn)那個(gè)模型的方法是可以跨場(chǎng)景應(yīng)用的。另外，如果你針對(duì)每一個(gè)場(chǎng)景都訓(xùn)練了模型，把它們分別部署到所屬的場(chǎng)景，它們就會(huì)日夜產(chǎn)生數(shù)據(jù)，你就擁有了大量跨場(chǎng)景的數(shù)據(jù)。那你能不能運(yùn)用這些跨場(chǎng)景的數(shù)據(jù)去得到一個(gè)跨場(chǎng)景的模型呢？這是第二階段的問(wèn)題了。

Jane：現(xiàn)在大家都還在第一階段。

陳佳玉：對(duì)，先做出單場(chǎng)景好用的模型，部署下去產(chǎn)生數(shù)據(jù)，然后再把一個(gè)多場(chǎng)景的模型做出來(lái)。這是第一階段和第二階段的關(guān)系。

Jane：這個(gè)底層變化會(huì)不會(huì)有一個(gè)類似Transformer級(jí)別的技術(shù)架構(gòu)，能突然讓這件事變成一個(gè)可以統(tǒng)一的事情？

陳佳玉：架構(gòu)和學(xué)習(xí)方法還是兩種東西。架構(gòu)的話，就是你用 Diffusion 還是 Transformer，這是架構(gòu)選擇上的問(wèn)題。我倒覺(jué)得這個(gè)不是那么本質(zhì)。本質(zhì)的還是說(shuō)，你怎么去學(xué)——你是用監(jiān)督學(xué)習(xí)、還是強(qiáng)化學(xué)習(xí)、還是一種持續(xù)性的學(xué)習(xí)？我認(rèn)為學(xué)習(xí)機(jī)制是一個(gè)比架構(gòu)更本質(zhì)的問(wèn)題。

Jane：那你覺(jué)得整個(gè)產(chǎn)業(yè)格局大概會(huì)走向什么樣的形態(tài)？

陳佳玉：我覺(jué)得最終可能會(huì)走向大公司做大腦，小公司做場(chǎng)景化的小腦。為什么？因?yàn)樽龃竽X需要大量的算力和數(shù)據(jù)投入，這不是小公司能承受的。小公司做什么呢？針對(duì)具體場(chǎng)景去落地——做場(chǎng)景化的小腦，用大公司的基礎(chǔ)大腦去適配特定場(chǎng)景。有點(diǎn)類似大語(yǔ)言模型的格局：OpenAI 做基礎(chǔ)模型，然后大量的應(yīng)用公司在上面做各種應(yīng)用。

Jane：所以你覺(jué)得具身智能最終也會(huì)形成這種分層的格局？

陳佳玉：我覺(jué)得是有可能的。但也有可能不一樣——因?yàn)榫呱碇悄苌婕暗接布幌翊笳Z(yǔ)言模型純粹是軟件。硬件上的差異化可能導(dǎo)致小公司也有機(jī)會(huì)，因?yàn)槟阍谔囟ǖ挠布倔w上積累了足夠多的數(shù)據(jù)和經(jīng)驗(yàn)，這本身就是壁壘。

Jane：好。然后聊一下海外，你了解到的海外一些做具身智能的同行，他們現(xiàn)在在做什么？

陳佳玉：海外比較有意思的公司，除了 Physical Intelligence 之外，還有一些比較小但很有追求的公司。比如有一些公司是從前 OpenAI 的人出來(lái)創(chuàng)立的，他們的追求不是做一個(gè)產(chǎn)品，而是追求算法上的突破——希望做出真正的類人智能。這種公司在海外還是有一些的。

Jane：比如？

陳佳玉：比如SSI（Safe Superintelligence Inc.），雖然他們主要是做大語(yǔ)言模型方向，但他們的追求就是純粹做算法突破。在具身智能領(lǐng)域也有一些類似的公司，雖然規(guī)模不大，但追求的是真正的算法創(chuàng)新而不是快速商業(yè)化。

Jane：你怎么看中美在具身智能方面的差異？

陳佳玉：中美差異還是比較明顯的。美國(guó)的優(yōu)勢(shì)在于算力和學(xué)術(shù)驅(qū)動(dòng)——他們有最強(qiáng)的算力資源，也有最好的高校和研究機(jī)構(gòu)在推動(dòng)基礎(chǔ)研究。中國(guó)的優(yōu)勢(shì)在于本體和數(shù)據(jù)成本——中國(guó)有非常好的機(jī)器人本體制造能力，比如宇樹(shù)科技在本體上做得非常好，硬件成本也比較低。另外，中國(guó)的數(shù)據(jù)采集成本也比較低，因?yàn)槿肆Τ杀鞠鄬?duì)較低。

所以如果你要做大腦這種需要大算力的研究，美國(guó)可能更有優(yōu)勢(shì)。但如果你要做硬件或者做場(chǎng)景化落地，中國(guó)的供應(yīng)鏈和成本優(yōu)勢(shì)是很明顯的。

Jane：波士頓動(dòng)力現(xiàn)在的定位你怎么看？

陳佳玉：波士頓動(dòng)力是一家非常有特點(diǎn)的公司。它的控制做得非常好，但在 AI 這一塊，至少?gòu)墓_(kāi)信息來(lái)看，還沒(méi)有特別多的成果。它更像是一家以機(jī)械控制見(jiàn)長(zhǎng)的公司，而不是以 AI 見(jiàn)長(zhǎng)的公司。

Jane：我們來(lái)聊一下人形機(jī)器人。你覺(jué)得人形是通用機(jī)器人的最佳載體嗎？

陳佳玉：人形這個(gè)事情有兩面。一面是它確實(shí)有一些獨(dú)特的優(yōu)勢(shì)——人類的生活環(huán)境都是為人體設(shè)計(jì)的，門的高度、椅子的高度、樓梯的尺寸，所以一個(gè)人形的機(jī)器人可以更自然地適應(yīng)人類的生活環(huán)境。這是一個(gè)很好的愿景。

但另一面是，現(xiàn)在的人形機(jī)器人和人的差距實(shí)在太大了。你看那些人形機(jī)器人，它的靈巧手跟人的差距非常大，它的運(yùn)動(dòng)能力跟人的差距也很大。所以通用本體是一個(gè)好愿景，但現(xiàn)在和人差太遠(yuǎn)。

我的看法是，你不一定非要用人形——取決于你的場(chǎng)景。如果你在家庭場(chǎng)景里，人形可能確實(shí)有優(yōu)勢(shì)。但如果在工廠里，一個(gè)機(jī)械臂可能比人形機(jī)器人效率高得多。所以本體的選擇應(yīng)該是跟場(chǎng)景匹配的，而不是一刀切地認(rèn)為人形就是最好的。

Jane：你之前有提到一個(gè)觀點(diǎn)——大家不應(yīng)該只在形態(tài)上追求類人，學(xué)習(xí)機(jī)制上的類人可能更重要。

陳佳玉：對(duì)，這是我一直強(qiáng)調(diào)的。你的外表像人不代表你的智能像人。真正要像人的地方，是你的學(xué)習(xí)過(guò)程——能持續(xù)學(xué)習(xí)、能遷移、能從很少的數(shù)據(jù)中學(xué)到東西。這才是類人智能的核心。形態(tài)上的類人當(dāng)然有它的價(jià)值，但如果你的學(xué)習(xí)機(jī)制不類人，那你就只是一個(gè)外觀像人的傳統(tǒng)機(jī)器人。

Aaron：最后一個(gè)比較大的問(wèn)題——你覺(jué)得未來(lái)人和機(jī)器人的關(guān)系會(huì)走向什么樣的狀態(tài)？

陳佳玉：我覺(jué)得未來(lái)機(jī)器人會(huì)更可見(jiàn)地融入我們的日常生活?，F(xiàn)在你在日常生活中很少能看到機(jī)器人——除了掃地機(jī)器人。但未來(lái)可能你去商場(chǎng)、去酒店、去停車場(chǎng)，都會(huì)看到各種各樣的機(jī)器人在工作。再遠(yuǎn)一點(diǎn)的話，家庭里可能也會(huì)有機(jī)器人。

我不覺(jué)得機(jī)器人會(huì)取代人，更像是人和機(jī)器人的一種共生。機(jī)器人做那些人不愿意做的、危險(xiǎn)的、重復(fù)性的工作，人做更有創(chuàng)造性的、需要情感和社交的工作。這是一個(gè)比較理想的狀態(tài)。

但這個(gè)過(guò)程是漸進(jìn)的。不會(huì)突然有一天你家里就出現(xiàn)一個(gè)人形機(jī)器人在做飯。它是一步一步來(lái)的——先是簡(jiǎn)單場(chǎng)景，再到復(fù)雜場(chǎng)景，先是輔助角色，再到更獨(dú)立的角色。

收尾：給年輕人的建議

Jane：最后我們來(lái)做一個(gè)收尾。如果現(xiàn)在有年輕人想進(jìn)入具身智能領(lǐng)域，不管是做學(xué)術(shù)研究還是做產(chǎn)業(yè)，你會(huì)給什么樣的建議？

陳佳玉：首先我覺(jué)得要聚焦真問(wèn)題。不要跟風(fēng)做別人做的東西，要去想什么是這個(gè)領(lǐng)域真正的瓶頸，然后聚焦在那個(gè)瓶頸上。比如現(xiàn)在大家都在做 VLA，你再去跟著做 VLA 可能已經(jīng)晚了，但如果你能看到 VLA 之后的問(wèn)題——比如怎么做持續(xù)學(xué)習(xí)、怎么做更好的泛化——這才是有價(jià)值的方向。

第二是要大膽探索。這個(gè)領(lǐng)域還非常早期，很多方向都還沒(méi)有被充分探索。不要被現(xiàn)有的框架限制住，要敢于去試不同的東西。

Jane：那你覺(jué)得具體哪些細(xì)分方向比較值得年輕研究者去投入？

陳佳玉：我推薦三個(gè)方向。第一個(gè)是Manipulation——靈巧操作，就是怎么讓機(jī)器人的手像人一樣靈活。這是一個(gè)非常難但也非常重要的問(wèn)題，現(xiàn)在做得好的人還不多。

第二個(gè)是多模態(tài)大模型——怎么把視覺(jué)、語(yǔ)言、觸覺(jué)等多種信息融合在一起，讓機(jī)器人有更全面的感知和理解。

第三個(gè)是我一直在說(shuō)的——Robo Brain，就是機(jī)器人的大腦。怎么做出一個(gè)真正理解世界的、能持續(xù)學(xué)習(xí)的大腦。這個(gè)方向可能需要更長(zhǎng)的時(shí)間才能看到成果，但它的價(jià)值也是最大的。

Aaron：非常感謝陳老師今天的分享，信息量非常大。

陳佳玉：謝謝，很開(kāi)心。

Jane：謝謝陳老師！

加入ZF討論群，請(qǐng)先添加小助手微信

我們相信認(rèn)知能夠跨越階層，

致力于為年輕人提供高質(zhì)量的科技和財(cái)經(jīng)內(nèi)容。

稿件經(jīng)采用可獲邀進(jìn)入Z Finance內(nèi)部社群，優(yōu)秀者將成為簽約作者，00后更有機(jī)會(huì)成為Z Finance的早期共創(chuàng)成員。

我們正在招募新一期的實(shí)習(xí)生