點(diǎn)擊輸入圖片描述（最多30字）圖片來源@視覺中國(guó)文 | 甲子光年科技產(chǎn)業(yè)智庫，作者｜劉楊楠，編輯｜趙健一臺(tái)人形機(jī)器人在人行道、混凝土、瀝青、廣場(chǎng)和沙路上“散步”，這不是科幻電影的場(chǎng)景，而是已經(jīng)發(fā)生在舊金山街頭的真實(shí)事件。這一人形機(jī)器人項(xiàng)目也引起了Sora團(tuán)隊(duì)的注意?！安豢伤甲h的成果！”Sora負(fù)責(zé)人之一Bill Peebles在 X 轉(zhuǎn)發(fā)了這條內(nèi)容，難掩驚訝。另一位核心作者Tim Brooks也評(píng)論道：“Ilija Radosavovic的驚人成果把AI帶入了真實(shí)世界。”點(diǎn)擊輸入圖片描述（最多30字）Ilija Radosavovic（伊利亞·拉多薩沃維奇）是該人形機(jī)器人項(xiàng)目的負(fù)責(zé)人之一，他是加州大學(xué)伯克利分校博士生，曾在Meta的AI實(shí)驗(yàn)室FAIR做研究工程師。這篇論文名為《Humanoid Locomotion as Next Token Prediction》。Ilija Radosavovic表示，論文的核心思想，就是把OpenAI訓(xùn)練ChatGPT時(shí)所用到的“預(yù)測(cè)下一個(gè)token”的思路，用在人形機(jī)器人的運(yùn)動(dòng)控制中。這被稱為“自回歸生成式”路線，最大的特色是可以根據(jù)“Scaling Law”——擴(kuò)大模型的參數(shù)、數(shù)據(jù)、算力來提升模型的效果，也被稱為“暴力美學(xué)”。不過，對(duì)于“暴力美學(xué)”的前景，目前在業(yè)內(nèi)存在一定的爭(zhēng)議。目前來看，Scaling Law已經(jīng)先后突破了文本生成和視頻生成，接下來又會(huì)突破人形機(jī)器人的運(yùn)動(dòng)控制嗎？“暴力美學(xué)”解鎖人形機(jī)器人？這篇論文中，作者提出的核心問題是：過去十年，深度學(xué)習(xí)浪潮下，大型神經(jīng)網(wǎng)絡(luò)已經(jīng)在互聯(lián)網(wǎng)多樣化的數(shù)據(jù)集上有了大量訓(xùn)練成果，我們能否以類似的方式來學(xué)習(xí)強(qiáng)化大的感官和運(yùn)動(dòng)表示模型？回溯機(jī)器人的發(fā)展歷程，傳統(tǒng)機(jī)器人的運(yùn)動(dòng)高度依賴于人工輸入準(zhǔn)確的預(yù)測(cè)接觸點(diǎn)和執(zhí)行器方向等信息?！澳帽印边@個(gè)動(dòng)作對(duì)人類而言看似簡(jiǎn)單，但對(duì)機(jī)器人而言卻是一個(gè)“大工程”。人類需要拆解動(dòng)作，再告訴機(jī)器人每一個(gè)動(dòng)作的具體細(xì)節(jié)，像這個(gè)動(dòng)作的起點(diǎn)在哪里、手臂要如何移動(dòng)等。這種方法帶來的問題是，機(jī)器人只能在人類規(guī)定的路徑中較好地運(yùn)動(dòng)和控制肢體動(dòng)作，但跳出模擬世界后，機(jī)器人在真實(shí)世界就手足無措了，這個(gè)問題可簡(jiǎn)單歸類到學(xué)術(shù)領(lǐng)域所討論的“泛化性”較差，不夠通用等問題。不只機(jī)器人，在人工智能符號(hào)主義學(xué)派的研究中，“泛化性”也是一個(gè)老大難的問題。而OpenAI發(fā)布的ChatGPT之所以驚艷，有一個(gè)核心原因就是其用暴力美學(xué)——疊加大量數(shù)據(jù)、算力、參數(shù)量，就讓模型對(duì)新事物表現(xiàn)出了泛化性極佳的“智能涌現(xiàn)”。如今，Ilija Radosavovic團(tuán)隊(duì)試圖借鑒OpenAI在語言領(lǐng)域的做法，將現(xiàn)實(shí)世界中的仿人機(jī)器人控制視為一個(gè)“下一個(gè)token預(yù)測(cè)”問題，類似于語言中預(yù)測(cè)下一個(gè)單詞，來實(shí)現(xiàn)人形機(jī)器人的運(yùn)動(dòng)控制。該模型是一個(gè)通過自回歸預(yù)測(cè)訓(xùn)練的causal transformer（因果轉(zhuǎn)換器）。由于訓(xùn)練數(shù)據(jù)的多模態(tài)特性，該研究以模態(tài)對(duì)齊的方式進(jìn)行預(yù)測(cè)，對(duì)于每個(gè)輸token，模型能夠預(yù)測(cè)相同模態(tài)的下一個(gè)token。這個(gè)方法讓模型更加通用，能夠利用缺失模態(tài)的數(shù)據(jù)，比如沒有動(dòng)作的視頻軌跡。在視頻中，一個(gè)仿人形的雙足機(jī)器人已經(jīng)實(shí)現(xiàn)“零樣本學(xué)習(xí)”，正在舊金山“閑逛”。該模型即使只在27小時(shí)的行走數(shù)據(jù)上訓(xùn)練，也能轉(zhuǎn)移到現(xiàn)實(shí)世界，并且能夠泛化到訓(xùn)練期間未見過的命令，比如向后行走。這些發(fā)現(xiàn)為通過生成模型學(xué)習(xí)具有挑戰(zhàn)性的現(xiàn)實(shí)世界控制任務(wù)提供了一個(gè)有希望的路徑。仿人運(yùn)動(dòng)作為下一個(gè)標(biāo)記預(yù)測(cè)該研究將現(xiàn)實(shí)世界中的仿人控制視為一個(gè)大型傳感器運(yùn)動(dòng)軌跡數(shù)據(jù)建模問題。與語言類似，研究人員訓(xùn)練了一個(gè)通用的Transformer模型來自回歸地預(yù)測(cè)移位的輸入序列。與語言不同，機(jī)器人數(shù)據(jù)是高維的，包含多個(gè)感官模態(tài)和動(dòng)作。研究人員將輸入軌跡token化，并訓(xùn)練一個(gè)causal transformer（因果轉(zhuǎn)換器）模型來預(yù)測(cè)移位的標(biāo)記（shifted token）。重要的是，模型能夠預(yù)測(cè)完整的輸入序列，包括感官和動(dòng)作標(biāo)記。該團(tuán)隊(duì)是在建模聯(lián)合數(shù)據(jù)分布，而不是條件動(dòng)作分布。點(diǎn)擊輸入圖片描述（最多30字）收集軌跡數(shù)據(jù)集，通過自回歸預(yù)測(cè)訓(xùn)練Transformer模型，并將其部署在舊金山零樣本中一個(gè)通用的缺失數(shù)據(jù)處理框架該研究假設(shè)每個(gè)軌跡都是觀察和動(dòng)作的序列，論文展示了該模型如何泛化到具有缺失模態(tài)的序列，比如從沒有動(dòng)作的人類視頻中提取的軌跡。假設(shè)已經(jīng)獲取一個(gè)沒有動(dòng)作的觀察軌跡，該團(tuán)隊(duì)的關(guān)鍵洞察是，可以將沒有動(dòng)作的軌跡視為帶有動(dòng)作遮蔽的常規(guī)軌跡。這個(gè)軌跡具有與常規(guī)動(dòng)作軌跡相同的格式，因此可以統(tǒng)一處理。該方法忽略了對(duì)應(yīng)于輸入遮蔽部分的預(yù)測(cè)的損失。點(diǎn)擊輸入圖片描述（最多30字）該方法能夠統(tǒng)一地利用有或沒有動(dòng)作的軌跡構(gòu)建軌跡數(shù)據(jù)集該團(tuán)隊(duì)構(gòu)建了一個(gè)軌跡數(shù)據(jù)集用于訓(xùn)練模型，有四大數(shù)據(jù)來源：先前的神經(jīng)網(wǎng)絡(luò)策略，基于模型的控制器，人類運(yùn)動(dòng)捕捉，以及YouTube上的人類視頻。不同數(shù)據(jù)源的插圖如下：該團(tuán)隊(duì)構(gòu)建了一個(gè)來自四個(gè)不同來源的軌跡數(shù)據(jù)集不同來源的數(shù)據(jù)會(huì)提供不同維度的信息：點(diǎn)擊輸入圖片描述（最多30字）按照上述策略訓(xùn)練的機(jī)器人已經(jīng)可以行走在不同的路面上，包括人行道、混凝土、瀝青、廣場(chǎng)和沙土路。有沒有實(shí)現(xiàn)ScalingLaw？論文中也提到了“Scaling”（擴(kuò)展或縮放）相關(guān)的內(nèi)容，提到模型性能會(huì)隨著訓(xùn)練數(shù)據(jù)集的大小、上下文長(zhǎng)度以及模型大小的增加而變化。作者們發(fā)現(xiàn)，使用更多軌跡進(jìn)行訓(xùn)練可以減少位置跟蹤誤差，這是一個(gè)積極的信號(hào)，表明在更大的數(shù)據(jù)集上訓(xùn)練可以提高性能。他們還研究了在Transformer的上下文窗口中使用不同數(shù)量的tokens對(duì)模型性能的影響。結(jié)果表明，更大的上下文窗口可以產(chǎn)生更好的策略，這表明生成策略在規(guī)模上進(jìn)行一種上下文適應(yīng)，隨著規(guī)模的增加而改善。此外，在參數(shù)規(guī)模方面，研究結(jié)果顯示，跟蹤誤差隨著模型參數(shù)規(guī)模增大而逐漸減少。點(diǎn)擊輸入圖片描述（最多30字）這些擴(kuò)展研究的結(jié)果均表明，人形機(jī)器人模型可以從更大規(guī)模的數(shù)據(jù)集、更長(zhǎng)的上下文窗口以及更大的模型中受益。人形機(jī)器人風(fēng)暴?人形機(jī)器人正在硅谷刮起風(fēng)暴，包括OpenAI、英偉達(dá)在內(nèi)的科技巨頭都在積極布局。2024年2月24日，英偉達(dá)宣布成立通用智能體研究實(shí)驗(yàn)室（GEAR）。GEAR由英偉達(dá)高級(jí)科學(xué)家Jim Fan博士和Yuke Zhu教授領(lǐng)導(dǎo)，旨在虛擬和現(xiàn)實(shí)世界中構(gòu)建具身智能體基礎(chǔ)模型。GEAR的研究議程分為四個(gè)方面：（1）多模態(tài)基礎(chǔ)模型（2）通用機(jī)器人（3）虛擬世界中的基礎(chǔ)智能體（4）模擬和仿真數(shù)據(jù)的研究。英偉達(dá)CEO黃仁勛近日在采訪中表示，機(jī)器人基礎(chǔ)模型可能即將出現(xiàn)，或許是明年，“從那時(shí)起，五年后，將看到一些非常令人驚奇的事情”。Jim Fan也表示：“我們相信，在未來，每一臺(tái)移動(dòng)的機(jī)器都將是自主的，機(jī)器人和模擬智能體將像iPhone一樣無處不在。我們正在構(gòu)建基礎(chǔ)智能體：一個(gè)具有通用能力的AI，可以在許多虛擬和現(xiàn)實(shí)的世界中學(xué)習(xí)如何熟練地行動(dòng)。”同時(shí)，英偉達(dá)也開始通過投資延展其在人形機(jī)器人領(lǐng)域的觸角。2月29日，開發(fā)通用人形機(jī)器人的AI機(jī)器人公司Figure AI宣布，已在B輪融資中籌集了6.75億美元，估值為26億美元，投資方包括微軟、OpenAI Startup Fund、NVIDIA、Jeff Bezos（通過 Bezos Expeditions）、Parkway Venture Capital、Intel Capital、Align Ventures和ARK Invest。Figure AI成立于2022年，去年5月完成Parkway Venture Capital領(lǐng)投的7000萬美元融資；兩個(gè)月后，又獲英特爾900萬美元投資。從融資情況來看，這家成立僅一年多的機(jī)器人公司已經(jīng)成為硅谷創(chuàng)投圈一顆搶手的新星。此次，英偉達(dá)和OpenAI同時(shí)加碼，再一次印證了Figure AI的火爆。Figure AI同樣是一家野心勃勃的公司?！癋igure AI的愿景是盡快將人形機(jī)器人引入商業(yè)運(yùn)營(yíng)，”該初創(chuàng)公司創(chuàng)始人兼首席執(zhí)行官布雷特·阿德科克 (Brett Adcock) 在最新一輪融資的聲明中表示。除投資外，F(xiàn)igure AI和OpenAI還達(dá)成了一項(xiàng)合作協(xié)議。此次合作旨在通過增強(qiáng)人形機(jī)器人處理和推理語言的能力，幫助加快Figure AI的商業(yè)化進(jìn)程。布雷特·阿德科克表示，F(xiàn)igure AI開發(fā)的人工智能模型將基于OpenAI最新的GPT模型，并根據(jù)Figure AI收集的機(jī)器人動(dòng)作數(shù)據(jù)進(jìn)行專門訓(xùn)練，以便其人形機(jī)器人能夠與人交談、看到事物并執(zhí)行物理任務(wù)。合作消息公布后，OpenAI CEO Greg Brokman也在 X 上轉(zhuǎn)發(fā)表示，OpenAI正在將多模態(tài)模型拓展到機(jī)器人上。點(diǎn)擊輸入圖片描述（最多30字）OpenAI 產(chǎn)品和合作伙伴關(guān)系副總裁Peter Welinder 表示：“我們一直計(jì)劃回歸機(jī)器人技術(shù)，我們通過Figure AI看到了一條探索人形機(jī)器人在高性能多模式模型支持下可以實(shí)現(xiàn)的目標(biāo)的道路?！痹缭?022年，OpenAI便開始在人形機(jī)器人領(lǐng)域有所動(dòng)作。OpenAI曾投資一家挪威類人機(jī)器人公司1X Technologies，雙方于2022年達(dá)成合作，使用AI模型為機(jī)器人添加智能。去年3月，1X Technologies獲得了由OpenAI創(chuàng)業(yè)基金領(lǐng)投的2350萬美元融資。今年年初，1X Technologies完成超1億美元的B輪融資，EQT Ventures、三星NEXT、Nistad集團(tuán)、Sandwater、Skagerak Capital等參投。在國(guó)內(nèi)，也陸續(xù)有團(tuán)隊(duì)試圖將LLM與機(jī)器人控制相融合。此前，「甲子光年」獨(dú)家獲悉，北京大學(xué)前沿計(jì)算機(jī)研究中心助理教授、博士生導(dǎo)師董豪團(tuán)隊(duì)發(fā)布的最新具身大模型研究成果——ManipLLM的論文已被計(jì)算機(jī)視覺領(lǐng)域頂會(huì)CVPR 2024接收。“我們的大模型重點(diǎn)是為了解決可泛化的物體操作?！倍栏嬖V「甲子光年」。簡(jiǎn)單來說，ManipLLM能讓機(jī)械臂等機(jī)器人聽懂人下達(dá)的任務(wù)命令，并根據(jù)其看到的圖像，做出相應(yīng)的動(dòng)作完成任務(wù)。同時(shí)，國(guó)內(nèi)人形機(jī)器人領(lǐng)域的融資消息也接連不斷。1月，星動(dòng)紀(jì)元獲得超億元天使輪融資；2月，宇樹科技拿下近10億元B2輪融資，刷新賽道紀(jì)錄。不過，長(zhǎng)久以來，人形機(jī)器人似乎一直都是“概念的高地，落地的洼地”——一邊是技術(shù)暢想高舉高打，一邊是產(chǎn)業(yè)落地上無聲無息。人們印象中關(guān)于人形機(jī)器人的畫面，似乎就是在全球各大高校的實(shí)驗(yàn)室里奔跑、跳躍、翻跟頭、搬箱子......某種意義上，“落地難”似乎成為這條賽道所有創(chuàng)業(yè)者的“原罪”。歸根結(jié)底，人形機(jī)器人雖然乘著大模型、具身智能的新浪潮一路繁花似錦，但真正從實(shí)驗(yàn)室走向產(chǎn)線的過程中，人形機(jī)器人依然逃不過減速器、執(zhí)行器、電機(jī)等機(jī)械結(jié)構(gòu)的掣肘。機(jī)械結(jié)構(gòu)的迭代并不遵守“摩爾定律”和Scaling law，更多是緩慢的線性變化。不過，作為人工智能在現(xiàn)實(shí)世界的終極體現(xiàn)，人形機(jī)器人的未來依然值得期待，正如Figure AI所說：“我們公司的征程將需要幾十年的時(shí)間，我們面臨著很高的風(fēng)險(xiǎn)和極低的成功機(jī)會(huì)。然而，如果我們成功了，我們有可能對(duì)人類產(chǎn)生積極影響，并建立地球上最大的公司。”克利團(tuán)隊(duì)發(fā)布最新論文，用訓(xùn)練GPT的方法訓(xùn)練人形機(jī)器人

一臺(tái)人形機(jī)器人在人行道、混凝土、瀝青、廣場(chǎng)和沙路上“散步”，這不是科幻電影的場(chǎng)景，而是已經(jīng)發(fā)生在舊金山街頭的真實(shí)事件。

這一人形機(jī)器人項(xiàng)目也引起了Sora團(tuán)隊(duì)的注意。

“不可思議的成果！”Sora負(fù)責(zé)人之一Bill Peebles在 X 轉(zhuǎn)發(fā)了這條內(nèi)容，難掩驚訝。另一位核心作者Tim Brooks也評(píng)論道：“Ilija Radosavovic的驚人成果把AI帶入了真實(shí)世界?！?/p>

Ilija Radosavovic（伊利亞·拉多薩沃維奇）是該人形機(jī)器人項(xiàng)目的負(fù)責(zé)人之一，他是加州大學(xué)伯克利分校博士生，曾在Meta的AI實(shí)驗(yàn)室FAIR做研究工程師。

這篇論文名為《Humanoid Locomotion as Next Token Prediction》。Ilija Radosavovic表示，論文的核心思想，就是把OpenAI訓(xùn)練ChatGPT時(shí)所用到的“預(yù)測(cè)下一個(gè)token”的思路，用在人形機(jī)器人的運(yùn)動(dòng)控制中。

這被稱為“自回歸生成式”路線，最大的特色是可以根據(jù)“Scaling Law”——擴(kuò)大模型的參數(shù)、數(shù)據(jù)、算力來提升模型的效果，也被稱為“暴力美學(xué)”。不過，對(duì)于“暴力美學(xué)”的前景，目前在業(yè)內(nèi)存在一定的爭(zhēng)議。

目前來看，Scaling Law已經(jīng)先后突破了文本生成和視頻生成，接下來又會(huì)突破人形機(jī)器人的運(yùn)動(dòng)控制嗎？

“暴力美學(xué)”解鎖人形機(jī)器人？

這篇論文中，作者提出的核心問題是：

過去十年，深度學(xué)習(xí)浪潮下，大型神經(jīng)網(wǎng)絡(luò)已經(jīng)在互聯(lián)網(wǎng)多樣化的數(shù)據(jù)集上有了大量訓(xùn)練成果，我們能否以類似的方式來學(xué)習(xí)強(qiáng)化大的感官和運(yùn)動(dòng)表示模型？

回溯機(jī)器人的發(fā)展歷程，傳統(tǒng)機(jī)器人的運(yùn)動(dòng)高度依賴于人工輸入準(zhǔn)確的預(yù)測(cè)接觸點(diǎn)和執(zhí)行器方向等信息?！澳帽印边@個(gè)動(dòng)作對(duì)人類而言看似簡(jiǎn)單，但對(duì)機(jī)器人而言卻是一個(gè)“大工程”。人類需要拆解動(dòng)作，再告訴機(jī)器人每一個(gè)動(dòng)作的具體細(xì)節(jié)，像這個(gè)動(dòng)作的起點(diǎn)在哪里、手臂要如何移動(dòng)等。

這種方法帶來的問題是，機(jī)器人只能在人類規(guī)定的路徑中較好地運(yùn)動(dòng)和控制肢體動(dòng)作，但跳出模擬世界后，機(jī)器人在真實(shí)世界就手足無措了，這個(gè)問題可簡(jiǎn)單歸類到學(xué)術(shù)領(lǐng)域所討論的“泛化性”較差，不夠通用等問題。

不只機(jī)器人，在人工智能符號(hào)主義學(xué)派的研究中，“泛化性”也是一個(gè)老大難的問題。而OpenAI發(fā)布的ChatGPT之所以驚艷，有一個(gè)核心原因就是其用暴力美學(xué)——疊加大量數(shù)據(jù)、算力、參數(shù)量，就讓模型對(duì)新事物表現(xiàn)出了泛化性極佳的“智能涌現(xiàn)”。

如今，Ilija Radosavovic團(tuán)隊(duì)試圖借鑒OpenAI在語言領(lǐng)域的做法，將現(xiàn)實(shí)世界中的仿人機(jī)器人控制視為一個(gè)“下一個(gè)token預(yù)測(cè)”問題，類似于語言中預(yù)測(cè)下一個(gè)單詞，來實(shí)現(xiàn)人形機(jī)器人的運(yùn)動(dòng)控制。

該模型是一個(gè)通過自回歸預(yù)測(cè)訓(xùn)練的causal transformer（因果轉(zhuǎn)換器）。

由于訓(xùn)練數(shù)據(jù)的多模態(tài)特性，該研究以模態(tài)對(duì)齊的方式進(jìn)行預(yù)測(cè)，對(duì)于每個(gè)輸token，模型能夠預(yù)測(cè)相同模態(tài)的下一個(gè)token。這個(gè)方法讓模型更加通用，能夠利用缺失模態(tài)的數(shù)據(jù)，比如沒有動(dòng)作的視頻軌跡。

在視頻中，一個(gè)仿人形的雙足機(jī)器人已經(jīng)實(shí)現(xiàn)“零樣本學(xué)習(xí)”，正在舊金山“閑逛”。

該模型即使只在27小時(shí)的行走數(shù)據(jù)上訓(xùn)練，也能轉(zhuǎn)移到現(xiàn)實(shí)世界，并且能夠泛化到訓(xùn)練期間未見過的命令，比如向后行走。這些發(fā)現(xiàn)為通過生成模型學(xué)習(xí)具有挑戰(zhàn)性的現(xiàn)實(shí)世界控制任務(wù)提供了一個(gè)有希望的路徑。

• 仿人運(yùn)動(dòng)作為下一個(gè)標(biāo)記預(yù)測(cè)

該研究將現(xiàn)實(shí)世界中的仿人控制視為一個(gè)大型傳感器運(yùn)動(dòng)軌跡數(shù)據(jù)建模問題。

與語言類似，研究人員訓(xùn)練了一個(gè)通用的Transformer模型來自回歸地預(yù)測(cè)移位的輸入序列。與語言不同，機(jī)器人數(shù)據(jù)是高維的，包含多個(gè)感官模態(tài)和動(dòng)作。

研究人員將輸入軌跡token化，并訓(xùn)練一個(gè)causal transformer（因果轉(zhuǎn)換器）模型來預(yù)測(cè)移位的標(biāo)記（shifted token）。

重要的是，模型能夠預(yù)測(cè)完整的輸入序列，包括感官和動(dòng)作標(biāo)記。該團(tuán)隊(duì)是在建模聯(lián)合數(shù)據(jù)分布，而不是條件動(dòng)作分布。

收集軌跡數(shù)據(jù)集，通過自回歸預(yù)測(cè)訓(xùn)練Transformer模型，并將其部署在舊金山零樣本中

• 一個(gè)通用的缺失數(shù)據(jù)處理框架

該研究假設(shè)每個(gè)軌跡都是觀察和動(dòng)作的序列，論文展示了該模型如何泛化到具有缺失模態(tài)的序列，比如從沒有動(dòng)作的人類視頻中提取的軌跡。

假設(shè)已經(jīng)獲取一個(gè)沒有動(dòng)作的觀察軌跡，該團(tuán)隊(duì)的關(guān)鍵洞察是，可以將沒有動(dòng)作的軌跡視為帶有動(dòng)作遮蔽的常規(guī)軌跡。這個(gè)軌跡具有與常規(guī)動(dòng)作軌跡相同的格式，因此可以統(tǒng)一處理。該方法忽略了對(duì)應(yīng)于輸入遮蔽部分的預(yù)測(cè)的損失。

該方法能夠統(tǒng)一地利用有或沒有動(dòng)作的軌跡

• 構(gòu)建軌跡數(shù)據(jù)集

該團(tuán)隊(duì)構(gòu)建了一個(gè)軌跡數(shù)據(jù)集用于訓(xùn)練模型，有四大數(shù)據(jù)來源：先前的神經(jīng)網(wǎng)絡(luò)策略，基于模型的控制器，人類運(yùn)動(dòng)捕捉，以及YouTube上的人類視頻。

不同數(shù)據(jù)源的插圖如下：

該團(tuán)隊(duì)構(gòu)建了一個(gè)來自四個(gè)不同來源的軌跡數(shù)據(jù)集

不同來源的數(shù)據(jù)會(huì)提供不同維度的信息：

按照上述策略訓(xùn)練的機(jī)器人已經(jīng)可以行走在不同的表面上，包括人行道、混凝土、瀝青、廣場(chǎng)和沙土路。

• 有沒有實(shí)現(xiàn)ScalingLaw？

論文中也提到了“Scaling”（擴(kuò)展或縮放）相關(guān)的內(nèi)容，提到模型性能會(huì)隨著訓(xùn)練數(shù)據(jù)集的大小、上下文長(zhǎng)度以及模型大小的增加而變化。

作者們發(fā)現(xiàn)，使用更多軌跡進(jìn)行訓(xùn)練可以減少位置跟蹤誤差，這是一個(gè)積極的信號(hào)，表明在更大的數(shù)據(jù)集上訓(xùn)練可以提高性能。

他們還研究了在Transformer的上下文窗口中使用不同數(shù)量的tokens對(duì)模型性能的影響。結(jié)果表明，更大的上下文窗口可以產(chǎn)生更好的策略，這表明生成策略在規(guī)模上進(jìn)行一種上下文適應(yīng)，隨著規(guī)模的增加而改善。

此外，在參數(shù)規(guī)模方面，研究結(jié)果顯示，跟蹤誤差隨著模型參數(shù)規(guī)模增大而逐漸減少。

這些擴(kuò)展研究的結(jié)果均表明，人形機(jī)器人模型可以從更大規(guī)模的數(shù)據(jù)集、更長(zhǎng)的上下文窗口以及更大的模型中受益。

人形機(jī)器人風(fēng)暴?

人形機(jī)器人正在硅谷刮起風(fēng)暴，包括OpenAI、英偉達(dá)在內(nèi)的科技巨頭都在積極布局。

2024年2月24日，英偉達(dá)宣布成立通用智能體研究實(shí)驗(yàn)室（GEAR）。

GEAR由英偉達(dá)高級(jí)科學(xué)家Jim Fan博士和Yuke Zhu教授領(lǐng)導(dǎo)，旨在虛擬和現(xiàn)實(shí)世界中構(gòu)建具身智能體基礎(chǔ)模型。GEAR的研究議程分為四個(gè)方面：

（1）多模態(tài)基礎(chǔ)模型

（2）通用機(jī)器人

（3）虛擬世界中的基礎(chǔ)智能體

（4）模擬和仿真數(shù)據(jù)的研究。

英偉達(dá)CEO黃仁勛近日在采訪中表示，機(jī)器人基礎(chǔ)模型可能即將出現(xiàn)，或許是明年，“從那時(shí)起，五年后，將看到一些非常令人驚奇的事情”。

Jim Fan也表示：“我們相信，在未來，每一臺(tái)移動(dòng)的機(jī)器都將是自主的，機(jī)器人和模擬智能體將像iPhone一樣無處不在。我們正在構(gòu)建基礎(chǔ)智能體：一個(gè)具有通用能力的AI，可以在許多虛擬和現(xiàn)實(shí)的世界中學(xué)習(xí)如何熟練地行動(dòng)?！?/p>

同時(shí)，英偉達(dá)也開始通過投資延展其在人形機(jī)器人領(lǐng)域的觸角。

2月29日，開發(fā)通用人形機(jī)器人的AI機(jī)器人公司Figure AI宣布，已在B輪融資中籌集了6.75億美元，估值為26億美元，投資方包括微軟、OpenAI Startup Fund、NVIDIA、Jeff Bezos（通過 Bezos Expeditions）、Parkway Venture Capital、Intel Capital、Align Ventures和ARK Invest。

Figure AI成立于2022年，去年5月完成Parkway Venture Capital領(lǐng)投的7000萬美元融資；兩個(gè)月后，又獲英特爾900萬美元投資。

從融資情況來看，這家成立僅一年多的機(jī)器人公司已經(jīng)成為硅谷創(chuàng)投圈一顆搶手的新星。此次，英偉達(dá)和OpenAI同時(shí)加碼，再一次印證了Figure AI的火爆。

Figure AI同樣是一家野心勃勃的公司?！癋igure AI的愿景是盡快將人形機(jī)器人引入商業(yè)運(yùn)營(yíng)，”該初創(chuàng)公司創(chuàng)始人兼首席執(zhí)行官布雷特·阿德科克 (Brett Adcock) 在最新一輪融資的聲明中表示。

除投資外，F(xiàn)igure AI和OpenAI還達(dá)成了一項(xiàng)合作協(xié)議。此次合作旨在通過增強(qiáng)人形機(jī)器人處理和推理語言的能力，幫助加快Figure AI的商業(yè)化進(jìn)程。

布雷特·阿德科克表示，F(xiàn)igure AI開發(fā)的人工智能模型將基于OpenAI最新的GPT模型，并根據(jù)Figure AI收集的機(jī)器人動(dòng)作數(shù)據(jù)進(jìn)行專門訓(xùn)練，以便其人形機(jī)器人能夠與人交談、看到事物并執(zhí)行物理任務(wù)。

合作消息公布后，OpenAI CEO Greg Brokman也在 X 上轉(zhuǎn)發(fā)表示，OpenAI正在將多模態(tài)模型拓展到機(jī)器人上。

OpenAI 產(chǎn)品和合作伙伴關(guān)系副總裁Peter Welinder 表示：“我們一直計(jì)劃回歸機(jī)器人技術(shù)，我們通過Figure AI看到了一條探索人形機(jī)器人在高性能多模式模型支持下可以實(shí)現(xiàn)的目標(biāo)的道路?！?/p>

早在2022年，OpenAI便開始在人形機(jī)器人領(lǐng)域有所動(dòng)作。OpenAI曾投資一家挪威類人機(jī)器人公司1X Technologies，雙方于2022年達(dá)成合作，使用AI模型為機(jī)器人添加智能。去年3月，1X Technologies獲得了由OpenAI創(chuàng)業(yè)基金領(lǐng)投的2350萬美元融資。

今年年初，1X Technologies完成超1億美元的B輪融資，EQT Ventures、三星NEXT、Nistad集團(tuán)、Sandwater、Skagerak Capital等參投。

在國(guó)內(nèi)，也陸續(xù)有團(tuán)隊(duì)試圖將LLM與機(jī)器人控制相融合。

此前，「甲子光年」獨(dú)家獲悉，北京大學(xué)前沿計(jì)算機(jī)研究中心助理教授、博士生導(dǎo)師董豪團(tuán)隊(duì)發(fā)布的最新具身大模型研究成果——ManipLLM的論文已被計(jì)算機(jī)視覺領(lǐng)域頂會(huì)CVPR 2024接收。

“我們的大模型重點(diǎn)是為了解決可泛化的物體操作。”董豪告訴「甲子光年」。簡(jiǎn)單來說，ManipLLM能讓機(jī)械臂等機(jī)器人聽懂人下達(dá)的任務(wù)命令，并根據(jù)其看到的圖像，做出相應(yīng)的動(dòng)作完成任務(wù)。

同時(shí)，國(guó)內(nèi)人形機(jī)器人領(lǐng)域的融資消息也接連不斷。1月，星動(dòng)紀(jì)元獲得超億元天使輪融資；2月，宇樹科技拿下近10億元B2輪融資，刷新賽道紀(jì)錄。

不過，長(zhǎng)久以來，人形機(jī)器人似乎一直都是“概念的高地，落地的洼地”——一邊是技術(shù)暢想高舉高打，一邊是產(chǎn)業(yè)落地上無聲無息。人們印象中關(guān)于人形機(jī)器人的畫面，似乎就是在全球各大高校的實(shí)驗(yàn)室里奔跑、跳躍、翻跟頭、搬箱子......

某種意義上，“落地難”似乎成為這條賽道所有創(chuàng)業(yè)者的“原罪”。

歸根結(jié)底，人形機(jī)器人雖然乘著大模型、具身智能的新浪潮一路繁花似錦，但真正從實(shí)驗(yàn)室走向產(chǎn)線的過程中，人形機(jī)器人依然逃不過減速器、執(zhí)行器、電機(jī)等機(jī)械結(jié)構(gòu)的掣肘。機(jī)械結(jié)構(gòu)的迭代并不遵守“摩爾定律”和Scaling law，更多是緩慢的線性變化。

不過，作為人工智能在現(xiàn)實(shí)世界的終極體現(xiàn)，人形機(jī)器人的未來依然值得期待，正如Figure AI所說：

“我們公司的征程將需要幾十年的時(shí)間，我們面臨著很高的風(fēng)險(xiǎn)和極低的成功機(jī)會(huì)。然而，如果我們成功了，我們有可能對(duì)人類產(chǎn)生積極影響，并建立地球上最大的公司?！?/p>