機(jī)器之心編輯部

你可能覺得今年人形機(jī)器人的 demo 已經(jīng)看麻了。但 Ted Xiao 說，哪怕是最粗糙的那一條，放在兩年前都能讓全場研究者驚掉下巴，因為那時候沒人相信這事真能成。

Ted Xiao曾任 Google DeepMind Staff Research Scientist 及技術(shù)負(fù)責(zé)人，一待就是 8 年，參與了RT-1、RT-2、SayCan 以及 Open X-Embodiment等具有行業(yè)定義意義的機(jī)器人基礎(chǔ)模型項目。如今，他已加入由亞馬遜創(chuàng)始人杰夫?貝佐斯親自掌舵的新型 AI 初創(chuàng)公司 —— Project Prometheus，致力于突破具身智能在大規(guī)模環(huán)境下的推理與控制難題。

在最近的一次訪談中（來自 RoboPapers），Ted Xiao 以親歷者視角，系統(tǒng)回顧了過去近十年來具身智能領(lǐng)域的變革，復(fù)盤了每個關(guān)鍵決策背后的思考過程 —— 那些在論文里看不到的猶豫、轉(zhuǎn)折與頓悟時刻。

視頻鏈接：http://youtube.com/watch?v=etPqBphTgmE&t=1101s

這篇文章整理了 Ted 講的機(jī)器人學(xué)習(xí)三個時代：存在性證明時代、基礎(chǔ)模型時代、Scaling 時代

Ted 會告訴你，為什么他們團(tuán)隊曾經(jīng)陷入「Code Yellowish」?fàn)顟B(tài)，一年半不發(fā)論文，只悶頭收集數(shù)據(jù)；在強化學(xué)習(xí)被寄予厚望的時期，為什么他們會大膽推進(jìn)當(dāng)時不被看好的模仿學(xué)習(xí)；以及為什么把視覺語言模型直接當(dāng)機(jī)器人策略骨架的 VLA 路線，他們本可以早至少一年動手，卻硬是晚了一步？

如果你關(guān)心 AI，關(guān)心機(jī)器人，或者只是好奇「這波浪潮是怎么起來并持續(xù)演進(jìn)的」，這個故事值得細(xì)讀。

存在性證明時代：

端到端學(xué)習(xí)，真的能行嗎？

2015、2016 年，DQN（Deep Q-Networks）和 AlphaGo 相繼問世，證明了端到端數(shù)據(jù)驅(qū)動方法的驚人普適性。與此同時，機(jī)器人硬件其實早已成熟 —— 斯坦福幾十年前的雙臂移動操作系統(tǒng)已能完成各種家務(wù)，瓶頸始終是背后那個必須介入的人類智能。

于是一個聽起來很瘋狂的問題出現(xiàn)了：將強化學(xué)習(xí)等數(shù)據(jù)驅(qū)動方法直接應(yīng)用于真實機(jī)器人系統(tǒng)，會發(fā)生什么？

Ted 就是被這個問題吸引進(jìn)來的。他加入了當(dāng)時不到 20 人的 Google Brain 機(jī)器人團(tuán)隊，做一件聽起來很枯燥的事：把一批 KUKA 機(jī)械臂擺進(jìn)房間，讓它們 24 小時不間斷抓取物體，跑在線強化學(xué)習(xí)。

這件事的難點，比想象中要大得多。

Atari 和 Go 的成功，依賴于清晰離散的動作空間 —— 游戲手柄上那幾個按鍵，棋盤上有限的落子位置。而真實機(jī)械臂面對的，是一個高維、連續(xù)的動作空間：六七個關(guān)節(jié)的角度、末端執(zhí)行器的位姿、夾爪的力度…… 加上從攝像頭以較高頻率傳入的圖像觀測，無論是狀態(tài)空間還是動作空間的維度，都遠(yuǎn)超游戲場景。直接套用為 Atari 設(shè)計的 value-based RL 方法，是行不通的。

團(tuán)隊提出的解法是QT-Opt—— 用交叉熵方法（CEM）來近似求解 Bellman 更新中的 Q 值最大化問題，從而處理機(jī)器人連續(xù)動作空間。QT-Opt 不僅僅是算法創(chuàng)新，還需要構(gòu)建一整套系統(tǒng)：24 小時運行的機(jī)械臂農(nóng)場（arm farm）、評估系統(tǒng)、控制棧等。例如，他們實現(xiàn)了「并發(fā) RL」（concurrent RL），讓機(jī)器人在執(zhí)行動作的同時進(jìn)行推理，而不是「停頓 - 觀察 - 推理 - 執(zhí)行」的串行模式。為了縮小仿真與真實環(huán)境的域差異，他們訓(xùn)練了 CycleGAN 將仿真圖像轉(zhuǎn)換為逼真的真實風(fēng)格圖像，使策略能在仿真中訓(xùn)練后較好地遷移到真實世界。

這套「機(jī)械臂農(nóng)場」系統(tǒng)最終證明了一件事：端到端機(jī)器人學(xué)習(xí)在真實世界里不是玩具，它能 work。

抓取跑通之后，下一個問題自然來了：能不能同時學(xué)會多個任務(wù)？

這一時期團(tuán)隊展開了一批方向各異的探索：

BC-Z是其中一項代表工作 —— 第一個大規(guī)模、多任務(wù)、語言條件化的模仿學(xué)習(xí)策略。

MT-OPT則是 QT-Opt 的多任務(wù)擴(kuò)展，嘗試把大量技能壓縮進(jìn)同一套神經(jīng)網(wǎng)絡(luò)權(quán)重里，探索一個網(wǎng)絡(luò)能否同時「記住」多種行為。

另一條更有野心的路線是Learning from Play。它的出發(fā)點是：能不能讓人類隨心所欲地操作機(jī)器人，不設(shè)定明確目標(biāo)，只是「玩」—— 然后用 Hindsight Experience Relabeling 從這些無結(jié)構(gòu)的軌跡中提取有意義的經(jīng)驗？Ted 形容這個方向在當(dāng)時非常好玩。

探索越多，一個問題變得越來越清晰：強化學(xué)習(xí)這條路正在遭遇收益遞減

Ted 展示了一張學(xué)習(xí)曲線圖：RL 線確實在往右上爬，但背后是整個分布式系統(tǒng)的運維噩夢 —— 一部分?jǐn)?shù)據(jù)來自仿真，一部分來自真實機(jī)器人，策略 checkpoint 會過期，控制器代碼一旦改了某個 bug，之前采的數(shù)據(jù)就可能報廢。「RL is Painful」。與此同時，模仿學(xué)習(xí)雖然開箱即用，但準(zhǔn)確率始終卡在 60%、70%、80%，死活上不去。

兩條路都不對勁。團(tuán)隊進(jìn)入了一種被稱為「Code Yellowish」的狀態(tài) —— 不是危及存亡的 Code Red，而是「研究方向出問題了，得停下來還研究債」。

于是，團(tuán)隊做了一個在當(dāng)時看來極其反主流的決定：停掉所有論文發(fā)表，花一年半時間，什么都不做，只攢數(shù)據(jù)。 他們雇了近 10 名專業(yè)操作員，用遠(yuǎn)程操控（teleop）方式，在微型廚房環(huán)境里收集了幾百種不同任務(wù)的高質(zhì)量專家演示，最終攢下約 87,000 條軌跡。這在今天看來或許規(guī)模不大，但在當(dāng)時是一個孤注一擲的賭注 —— 賭的是「離線高質(zhì)量數(shù)據(jù) + 監(jiān)督學(xué)習(xí)」這條被整個領(lǐng)域視為「第一章玩具」的路，能不能在真實機(jī)器人上 scale。

之所以說反主流，是因為當(dāng)時的學(xué)術(shù)信仰很明確。Ted 回憶，2016 年伯克利的第一門機(jī)器人學(xué)習(xí)課上，老師首先講 BC，然后就是「為什么 BC 不行」——compounding errors、分布偏移，結(jié)論是：BC 只能解決玩具問題， 其余都得靠 RL。這種「BC 到 70%，RL 才能帶你到 90%」的信念，幾乎就是當(dāng)時的鐵律。

但就在那段「Code Yellowish」的沉寂期里，團(tuán)隊的一位基礎(chǔ)設(shè)施大神 Yao Lu 把整個訓(xùn)練器從底層重寫了一遍。重寫之后，BC 突然不再撞墻了 —— 它從 80% 的天花板一路沖到 90%、95%，而且隨著真實世界數(shù)據(jù)的增加，還在繼續(xù)提升。

那一刻，數(shù)據(jù)說話了。大規(guī)模模仿學(xué)習(xí)不僅能 work，而且就是他們要的那張「配方」（recipe）。 團(tuán)隊由此退出 Code Yellowish，帶著信心把 teleop 數(shù)據(jù)規(guī)模再推一個數(shù)量級，目標(biāo)是在微型廚房里解決數(shù)千種任務(wù)。

這個階段可以被總結(jié)為「slowing down to speed up」：放慢發(fā) paper 的速度，還清技術(shù)債，反而為后面的爆發(fā)攢下了最稀缺的資產(chǎn) —— 不是某個算法，而是高質(zhì)量、可 scale 的真實機(jī)器人數(shù)據(jù)。

至此，第一個時代「存在性證明」完成了它的使命。它證明了端到端學(xué)習(xí)在真實機(jī)械臂上能跑通，也證明了數(shù)據(jù)才是當(dāng)時的真正瓶頸。這個認(rèn)知，直接把機(jī)器人學(xué)習(xí)推進(jìn)了下一個時代：基礎(chǔ)模型時代。

基礎(chǔ)模型時代：

借 LLM 的東風(fēng)

2022 年前后，機(jī)器人學(xué)習(xí)領(lǐng)域遭遇了一場來自外部的「完美風(fēng)暴」—— 大語言模型和視覺語言模型開始展現(xiàn)出真正的通用性與涌現(xiàn)能力。對機(jī)器人研究者而言，這是一類「外星技術(shù)」—— 前所未有，但顯然可以利用。

與此同時，機(jī)器人學(xué)習(xí)本身也正在完成一次范式遷移：從在線強化學(xué)習(xí)（機(jī)器人邊運行邊積累經(jīng)驗）轉(zhuǎn)向離線大規(guī)模模仿學(xué)習(xí)（人類示范 → 監(jiān)督學(xué)習(xí)）。這兩個趨勢的疊加，創(chuàng)造了將基礎(chǔ)模型引入機(jī)器人領(lǐng)域的歷史性窗口。

率先發(fā)布的工作是SayCan—— 語言模型與機(jī)器人的第一次正式「握手」。

核心思路是將語言模型用作規(guī)劃器：給定一個指令（比如「把蘋果放到桌上」），語言模型負(fù)責(zé)生成合理的高層計劃，而機(jī)器人則通過一個習(xí)得的價值函數(shù)來評估哪些子步驟在當(dāng)前環(huán)境下實際可行。兩者的輸出相互加權(quán)：語言模型提供常識推理，價值函數(shù)提供落地約束，最終產(chǎn)出「既合理又可執(zhí)行」的行動計劃。

這篇論文在時機(jī)上堪稱絕佳 —— 它在 ChatGPT 發(fā)布前幾個月內(nèi)落地，正逢 LLM 熱潮席卷公眾視野。SayCan 演示視頻（由團(tuán)隊成員 Fei Xia 親自拍攝）精良，整個辦公室把它打印出來貼在墻上。這是第一個信號：基礎(chǔ)模型或許真的能為機(jī)器人帶來質(zhì)變。

如果說 SayCan 是「用語言模型輔助機(jī)器人」，RT-1則是邁出了更大的一步：讓機(jī)器人策略本身也變成一個 Transformer。

設(shè)計邏輯簡潔而激進(jìn) —— 將語言指令和圖像觀測全部 tokne 化，輸出同樣是離散化的機(jī)器人動作詞元，整個系統(tǒng)以 3Hz 頻率運行，參數(shù)量約為 5000 萬。在這 8.7 萬條軌跡（覆蓋約 500 種任務(wù)）的數(shù)據(jù)集上訓(xùn)練后，RT-1 輕松超越了此前所有基于 ResNet-18 的行為克隆基線。

RT-1 的意義不僅是性能，更是一套可復(fù)用的研究基礎(chǔ)設(shè)施：有了這個穩(wěn)定的起點，后續(xù)的新想法可以快速接入、快速驗證。

既然 VLM 可以用來規(guī)劃，那能不能用來造數(shù)據(jù)？團(tuán)隊接下來做了 DIAL：用視覺語言模型給那八萬七千條軌跡重新打標(biāo)簽，把幾百個任務(wù)的語言描述擴(kuò)展到數(shù)百萬條，讓模型在語言泛化上更進(jìn)一步。這有點像當(dāng)年 hindsight relabeling 的思路，只不過這次是在語言空間里做。

將語言模型用作規(guī)劃器，或用作數(shù)據(jù)標(biāo)注工具，這只是外圍的整合。更激進(jìn)的問題是：能否直接把視覺語言模型當(dāng)作策略骨干本身？

這正是RT-2（視覺 - 語言 - 動作模型，VLA） 所做的事。研究團(tuán)隊將機(jī)器人動作預(yù)測重構(gòu)為視覺問答（VQA）任務(wù)，將 VLM 從外部工具變成核心引擎，訓(xùn)練了從 5B 到 55B 參數(shù)規(guī)模的一系列模型。結(jié)果是驚人的：相比 RT-1，涌現(xiàn)出大量此前從未見過的推理能力和泛化行為。

回頭來看，這一跳躍本可以更早發(fā)生。Ted Xiao 坦承，在 RT-1 階段，大量精力花在了從零搭建各種模塊（視覺編碼器、token 壓縮、條件注意力……）上，而 RT-2 的邏輯其實是相反的 —— 直接信任 VLM，做最小化的適配。這種「全部拿來，最小改動」的思路，可能本可提前一年付諸實施。

嘗到規(guī)模化的甜頭之后，團(tuán)隊開始思考更激進(jìn)的擴(kuò)展方向：數(shù)據(jù)不僅可以跨任務(wù)，能不能跨機(jī)器人形態(tài)？

Open X-Embodiment項目聯(lián)合了全球 34 家研究機(jī)構(gòu)，將各自收集的機(jī)器人數(shù)據(jù)整合進(jìn)統(tǒng)一格式并開源。訓(xùn)練結(jié)果表明，在一種機(jī)器人上習(xí)得的技能，確實可以遷移到另一種機(jī)器人上 —— 尤其是那些與語言描述相關(guān)的行為（「推到旁邊」、「放入容器」……）。這是跨本體泛化的早期存在性證明。

有了 RT1 和 RT2 這樣的基座，后續(xù)研究像搭積木一樣快。團(tuán)隊很快嘗試了各種動作表征：邊界框、分割掩碼、思維鏈、affordance、第一人稱姿態(tài)追蹤…… 以前需要從零造輪子的算法探索，現(xiàn)在可以基于一個扎實基線快速迭代。Ted 說，這就是「臨界質(zhì)量」的魔力 —— 一旦起點足夠好，新想法的驗證速度會指數(shù)級加快?；A(chǔ)模型的時代，本質(zhì)上是用外部的智能放大器，解了機(jī)器人學(xué)里「從零造一切」的困局。

從 8.7 萬條人工示范軌跡，到 VLA 的涌現(xiàn)推理，再到跨形態(tài)的知識遷移 —— 基礎(chǔ)模型時代的核心洞見，是停止把機(jī)器人當(dāng)作一個孤立系統(tǒng)來精心調(diào)教，而是開始借用語言與視覺領(lǐng)域一切可用的智識積累，以最小的代價將其對接到物理世界。

這個時代留下的問題，正是下一個時代 —— 規(guī)?；瘯r代 —— 試圖回答的：當(dāng)數(shù)據(jù)和模型都足夠大，機(jī)器人能學(xué)到什么？

Scaling 時代：

all in scaling

進(jìn)入第三個時代，導(dǎo)火索是 VLA 證明了這條路能走通，但天花板還遠(yuǎn)。于是世界開始超大規(guī)模 Scaling—— 參數(shù)、數(shù)據(jù)、本體復(fù)雜度，同時爆發(fā)。

Ted 把這一階段稱為 Scaling。如果說上一個時代是借別人的智能放大器，這個時代就是往各個維度瘋狂加碼，直到涌現(xiàn)出新東西。

這一時代，DeepMind 的第一個標(biāo)志性工作是 2025 年 3 月發(fā)布的Gemini Robotics。從 RT-2 到 Gemini Robotics，中間隔了一年半，但外部生態(tài)已經(jīng)天翻地覆。Physical Intelligence、Generalist AI 等創(chuàng)業(yè)公司成立，資本涌入，所有人都意識到：VLA 是范式，現(xiàn)在該拼的是誰能把它 scale 到物理極限。

硬件端首先變了。斯坦福的 ALOHA 平臺帶來了關(guān)鍵洞察：真正高頻、高質(zhì)量的數(shù)據(jù)，才能解鎖靈巧操作的極限。 雙臂系統(tǒng)、高頻率控制、直覺式遙操作，能做到以前單臂移動平臺根本想象不到的動作。Google DeepMind 團(tuán)隊很快擁抱了更復(fù)雜的本體 —— 從 ALOHA 到人形機(jī)器人，動作空間的復(fù)雜度遠(yuǎn)超當(dāng)年的 Kuka。

Gemini Robotics 的主干直接 fork 自 Gemini 2.0。Ted 評價，Gemini 在多模態(tài)理解上一直很強，而機(jī)器人團(tuán)隊這次拿到的數(shù)據(jù)量，已經(jīng)遠(yuǎn)超當(dāng)年一年半攢下的八萬七千條軌跡。規(guī)模一上來，第一件事就是突破 RT-2 的「黑箱」思路。

RT-2 時代，團(tuán)隊把 VLM 當(dāng)黑箱搬進(jìn)來，沒有細(xì)看內(nèi)部。但 Gemini Robotics 團(tuán)隊有機(jī)會直接看「香腸廠里面是怎么做的」—— 他們發(fā)現(xiàn)，外界抱怨 VLM 缺乏物理常識、空間推理、時間推理，這些問題在 Gemini 內(nèi)部是可以被定向解決的。

于是有了Gemini Robotics ER（Embodied Reasoning）。這不是一個機(jī)器人策略，而是一個被專門增強過具身推理能力的 VLM：它能做 3D 物體檢測、2D 指向、預(yù)測抓取角度。先把視覺語言模型的具身推理能力補齊，再把它喂給下游的 VLA 策略，機(jī)器人的泛化性和靈巧度自然上了一個臺階。

隨后發(fā)布的Gemini Robotics 1.5則將推理時代的紅利引入具身智能。彼時，DeepSeek R1、OpenAI o1等模型已讓業(yè)界意識到：在推理階段引入「思考」過程，能夠顯著提升語言模型的表現(xiàn)。Gemini Robotics 1.5 將這一范式移植到機(jī)器人領(lǐng)域：策略在執(zhí)行前先用自然語言「想一想」，將長時域任務(wù)分解為短時域指令，再逐步執(zhí)行。

更值得關(guān)注的是動作遷移（Motion Transfer） 能力：同一個神經(jīng)網(wǎng)絡(luò)，可以將在某種機(jī)器人上采集的運動經(jīng)驗，零樣本遷移到運動學(xué)截然不同的其他平臺 —— 包括仿人機(jī)器人、Franka 機(jī)械臂和 Aloha 雙臂系統(tǒng)。這與早期「跨具身訓(xùn)練」時代將多個形態(tài)相近的單臂機(jī)器人數(shù)據(jù)合并訓(xùn)練，已是本質(zhì)上的不同。

Scaling 時代并非單一方向的線性推進(jìn)，而是多個維度并行爆發(fā)。

模型性能維度，以 Pi 0.6 為代表的后訓(xùn)練（Post-training）范式逐漸成形：先訓(xùn)練一個泛化能力強的通用策略，再針對長時域、高精度任務(wù)進(jìn)行專項微調(diào)。

評估體系維度，隨著模型聲稱的能力日益寬泛，評估本身成為一大挑戰(zhàn)。當(dāng)前涌現(xiàn)出多種解法：基于仿真的 Sim-to-Real 評估、以 RoboArena 為代表的分布式跨機(jī)構(gòu)評估，以及利用世界模型進(jìn)行策略驗證的方法。

數(shù)據(jù)維度，Generalist AI 放出五十萬小時交互數(shù)據(jù)做預(yù)訓(xùn)練，第一人稱人類數(shù)據(jù)（egocentric）成了「當(dāng)紅炸子雞」，NVIDIA、Pi 、Georgia Tech 都在卷。這些工作表明：大規(guī)模采集人類第一視角操作數(shù)據(jù)，并設(shè)計能夠消化此類數(shù)據(jù)的訓(xùn)練方法，是突破機(jī)器人數(shù)據(jù)瓶頸的重要路徑。

商業(yè)化與數(shù)據(jù)飛輪維度，特斯拉式的閉環(huán)邏輯開始在機(jī)器人領(lǐng)域隱現(xiàn)：當(dāng)機(jī)器人真正部署到真實場景，數(shù)據(jù)采集的成本由服務(wù)價值本身來攤薄，長尾罕見場景的數(shù)據(jù)也隨之自然積累。

Ted 認(rèn)為，這個時代最迷人的不是某個單一突破，而是研究熵的暴漲。社區(qū)不再擠在一條漏斗里，而是多路并進(jìn)：

• World Models / Video Action Models：用生成式模型理解物理；
• 人類數(shù)據(jù)與不依賴機(jī)器人本體的數(shù)據(jù)：egocentric 視頻、傳感器化的人類操作；
• 可驗證獎勵訓(xùn)練：把 NLP 里的 RLHF/verifiable reward 邏輯搬進(jìn)物理世界；
• Locomotion vs. Manipulation 的哲學(xué)分野。

盡管今天大多數(shù)討論集中在操控（Manipulation），運動控制（Locomotion）領(lǐng)域同樣經(jīng)歷了一場靜悄悄的革命。會跳舞、能后空翻的機(jī)器人已近乎「商品化」，背后是一套與操控截然不同的方法論：零樣本 Sim-to-Real 遷移 + 在線強化學(xué)習(xí) + 小型網(wǎng)絡(luò)。

這一對比催生了一個深刻的隱喻：操控更像是大腦皮層的工作 —— 需要示例學(xué)習(xí)、專家數(shù)據(jù)、監(jiān)督信號；而運動控制更像是小腦或脊髓的工作 —— 反射性的、本能的。如何將兩者融合，進(jìn)而與長時域推理能力三者合一，是當(dāng)前機(jī)器人學(xué)習(xí)領(lǐng)域最核心的開放問題之一。

機(jī)器人的 ChatGPT 時刻還沒到

但拼圖正在完整

訪談最后，主持人問：機(jī)器人的 ChatGPT 時刻什么時候來

Ted 把它拆成兩半。產(chǎn)品層面，它不會是一個 demo，而是一個真正通用、消費級的操作系統(tǒng)，像當(dāng)年的 ChatGPT 一樣，讓普通人覺得「好用、驚喜、離不開」。他認(rèn)為這可能在一兩年內(nèi)發(fā)生，也可能需要更久 —— 更像自動駕駛從爆發(fā)到落地的那十年。

技術(shù)層面，沒有單一突破，而是多個拼圖同時到位：架構(gòu)、視頻動作模型、高級全身反應(yīng)系統(tǒng)、后訓(xùn)練、數(shù)據(jù)飛輪。Ted 的個人賭注押在視頻動作模型和第一人稱人類數(shù)據(jù)上。

更多內(nèi)容請參見原視頻。