6萬+分鐘數(shù)據(jù)、六大真實作業(yè)場景全覆蓋！

作者 |程茜

編輯 |漠影

機器人前瞻11月24日報道，近日，國內(nèi)規(guī)模最大的全尺寸人形機器人數(shù)據(jù)集LET數(shù)據(jù)集正式發(fā)布，開源首批6w+分鐘真機數(shù)據(jù)，其還為開發(fā)者提供了一套數(shù)據(jù)轉(zhuǎn)換、模型訓練、仿真測試與真機部署的全流程數(shù)據(jù)工具鏈。

▲機器人真機實采與仿真數(shù)據(jù)

這一數(shù)據(jù)集是國內(nèi)最大的面向真實作業(yè)場景的全尺寸人形機器人真機數(shù)據(jù)集，發(fā)布并開源首批6w+分鐘數(shù)據(jù)，由樂聚機器人、國家地方共建人形機器人創(chuàng)新中心、北京數(shù)聚通啟、吳江智訓未來聯(lián)合主導構建。

目前，其6萬多分鐘數(shù)據(jù)已被捐獻至開放原子開源基金會，在Openloong開源社區(qū)官網(wǎng)上線。

數(shù)據(jù)采集是人形機器人從實驗室走向規(guī)?；瘧玫暮诵那疤幔鋽?shù)據(jù)質(zhì)量與有效性直接決定了機器人具身智能的智能化水平上限。但目前這一領域仍面臨諸多現(xiàn)實瓶頸，如數(shù)據(jù)采集難度高、數(shù)據(jù)價值挖掘不充分、行業(yè)標準化缺失等問題尤為突出。

此次LET數(shù)據(jù)集的開源，不僅為行業(yè)提供了高質(zhì)量數(shù)據(jù)解決方案，更構建了全流程技術支撐體系，加速人形機器人技術落地進程。

01.

統(tǒng)一真機實采

可應對復雜多場景需求

數(shù)據(jù)獲取難度大、標注流程復雜等問題已成為人形機器人研發(fā)的核心瓶頸，再加上可用的高質(zhì)量數(shù)據(jù)稀缺，也直接制約了其模型訓練效果與跨場景泛化能力的提升。

業(yè)界主流的數(shù)據(jù)采集方式涵蓋仿真生成、數(shù)據(jù)合成與真機實采等，其中真機實采因能獲取真實場景下的高保真多模態(tài)數(shù)據(jù)，是突破仿真和現(xiàn)實之間“域差”、確保模型訓練質(zhì)量與泛化能力的最有效方式。

真機實采的優(yōu)勢在于，其數(shù)據(jù)直接源自真實環(huán)境中的物理交互，能精準還原力覺反饋、環(huán)境干擾等仿真數(shù)據(jù)難以模擬的細節(jié)，還能同步采集視覺、視覺、運動、語音等多維度數(shù)據(jù)。如下面LET數(shù)據(jù)集中的物流場景，機器人可還原拿取、掃描、放置快遞全流程。

▲機器人真機實采與仿真數(shù)據(jù)

LET數(shù)據(jù)集正是當下國內(nèi)開源領域規(guī)模最大全尺寸人形機器人數(shù)據(jù)集，其完全基于真機實采。

LET數(shù)據(jù)集是基于樂聚夸父系列全尺寸人形機器人進行統(tǒng)一采集。這一人形機器人具備40多個自由度，身高約1.66米、體重約55公斤，同時搭配頭部立體相機與腕部RGB-D相機，可有效避免因機器人形態(tài)差異導致的數(shù)據(jù)偏差問題。

一方面，這一人形機器人的形態(tài)參數(shù)貼合實際應用需求，另一方面，相機的協(xié)同感知能提升數(shù)據(jù)采集精度。如下面對日用品的擺放，其可以通過頭部和腕部相機協(xié)同，將物品放置到正確位置。

除了技術層面，人形機器人產(chǎn)業(yè)發(fā)展仍面臨一大核心短板，那就是相關國家標準的缺位，技術路線碎片化、資源浪費等都會為未來人形機器人規(guī)?；慨a(chǎn)造成風險。

因此，LET數(shù)據(jù)集從一開始就做到了標準化。

該數(shù)據(jù)集以國家地方共建人形機器人創(chuàng)新中心規(guī)范為基準，從源頭確保數(shù)據(jù)的高質(zhì)量、專業(yè)合規(guī)性與可用性，通過統(tǒng)一流程與標準化處理，破解數(shù)據(jù)多源異構、數(shù)據(jù)格式不一、質(zhì)量參差不齊等痛點，實現(xiàn)規(guī)?；⒏哔|(zhì)量的數(shù)據(jù)生產(chǎn)。

據(jù)了解，樂聚機器人與國家地方共建人形機器人創(chuàng)新中心還在聯(lián)合開展國家及行業(yè)標準研制，推動國家級標準化試點標準驗證與實施應用，從根源上破解數(shù)據(jù)采集標準化難題。

綜上可以看出，以真機采集為核心數(shù)據(jù)來源，并且建立在統(tǒng)一基準之上的LET數(shù)據(jù)集，或成為推動具身智能高質(zhì)量訓練與規(guī)?；涞氐年P鍵之一。

02.

多模態(tài)數(shù)據(jù)＋六大真實作業(yè)場景

精準匹配數(shù)據(jù)需求痛點

結合當前人形機器人從實驗室走向多場景落地、行業(yè)亟需真實場景高質(zhì)量數(shù)據(jù)破解域差與泛化難題的背景，當我們聚焦于其數(shù)據(jù)本身會發(fā)現(xiàn)，LET數(shù)據(jù)集正以多模態(tài)數(shù)據(jù)深度融合與六大貼合工業(yè)、服務等實際需求的真實作業(yè)場景為支撐，精準匹配行業(yè)數(shù)據(jù)需求痛點。

首先在多模態(tài)數(shù)據(jù)方面，人形機器人往往需要模擬人類的感知、決策、執(zhí)行的類人化交互邏輯，而單一模態(tài)數(shù)據(jù)無法覆蓋真實場景中復雜的環(huán)境認知與物理交互需求，因此需要多模態(tài)數(shù)據(jù)的協(xié)同。

LET數(shù)據(jù)集融合了機器人頭部和雙腕視角的清晰、穩(wěn)定視頻流，并同步采集RGB圖像、深度圖、關節(jié)狀態(tài)及末端執(zhí)行器狀態(tài)等關鍵模態(tài)信息，全方位捕捉人形機器人的操作細節(jié)，使得最后的數(shù)據(jù)有較高完整度。

為了進一步提高數(shù)據(jù)質(zhì)量，該數(shù)據(jù)集還采用了一套系統(tǒng)的多模態(tài)對齊標注體系，通過任務標注細化與多維度語義標簽，使得機器人能更精準地學習類人化交互邏輯。

其次在真實場景方面，人形機器人最終需要在多樣化真實環(huán)境中實現(xiàn)實用化落地，因此需要不同場景的真實作業(yè)數(shù)據(jù)，以讓機器人模型學習適配不同環(huán)境特征、任務邏輯與突發(fā)情況。

LET數(shù)據(jù)集涵蓋了工業(yè)、商業(yè)零售及日常生活3大領域中，汽車工廠、快消場景、3C工廠、酒店服務、生活服務及物流場景6大場景，以及涵蓋抓取放置、工具使用、搬運、協(xié)作等典型任務，覆蓋移動平臺、機械臂單臂抓取，多臂協(xié)作等多種操作形態(tài)的31項任務、117種原子技能。

如在日化生產(chǎn)場景，其數(shù)據(jù)案例就包括日化產(chǎn)品的定姿擺放：

在汽車制造場景，應用案例會涉及SPS零件分揀：

在物流場景，LET數(shù)據(jù)集會包含快遞分揀的應用：

在3C場景，其有傳送帶物料分揀應用：

該數(shù)據(jù)集目前汽車工廠的占比較大，這也契合當下人形機器人率先在汽車工廠落地的行業(yè)趨勢。

可以看出，這一數(shù)據(jù)集的場景基本覆蓋了當下人形機器人的應用場景，且圍繞率先規(guī)?；涞氐木唧w場景完成定向優(yōu)化。其既能夠為機器人算法提供多樣化真實場景的實戰(zhàn)數(shù)據(jù)支撐，還可以提升泛化能力，為機器人之后學習復雜技能鋪路。

多模態(tài)數(shù)據(jù)融合與多場景真實作業(yè)，這樣的雙重優(yōu)勢疊加，既可以解決高質(zhì)量數(shù)據(jù)稀缺的行業(yè)痛點，又通過精準感知、場景適配的組合，降低企業(yè)研發(fā)階段的樣本采集與模型調(diào)優(yōu)成本。

03.

以硬件、算法、流程組合方案

突破數(shù)據(jù)采集瓶頸

要實現(xiàn)這樣的全棧式數(shù)據(jù)集構建，首要攻克的便是數(shù)據(jù)實采環(huán)節(jié)的技術壁壘。對于人形機器人數(shù)據(jù)實采而言，真實環(huán)境的不可預測性與硬件部署、流程銜接的協(xié)同復雜性，是繞不開的核心挑戰(zhàn)。

在此基礎上，LET數(shù)據(jù)集通過數(shù)采鏈路實現(xiàn)了三大技術創(chuàng)新。

一是構建視覺伺服閉環(huán)數(shù)據(jù)。一般而言機器人本體與傳感器存在固有制造誤差、校準偏差，且不同設備的硬件參數(shù)存在異構性，其將有誤差的機器人本體和傳感器，轉(zhuǎn)變?yōu)橐蕾囈粋€統(tǒng)一的、抽象的坐標系或特征，可有效解決多設備數(shù)據(jù)一致性難題，使數(shù)據(jù)質(zhì)量一致性達到90%以上。

如下面復雜場景中，機器人可以準確拿取物品，并通過轉(zhuǎn)身、走路等運動將其放置到固定位置。

二是采用高效的組幀技術。傳感器數(shù)據(jù)傳輸、處理過程中的延遲會導致多源數(shù)據(jù)時序脫節(jié)，使得模型無法學習到精準的動作時序控制規(guī)律。其將多傳感器數(shù)據(jù)幀的時間戳誤差與延遲嚴格控制在10ms以內(nèi)，顯著提升數(shù)據(jù)層時序同步的準確性。

三是建立自動化Benchmark評測體系。數(shù)據(jù)集缺乏對數(shù)據(jù)收斂度的系統(tǒng)性評估時，采集數(shù)據(jù)與目標應用場景的適配性可能無法量化，因此其對數(shù)據(jù)收斂度、樣本效率與穩(wěn)定性進行全面評估，可確保數(shù)據(jù)遷移的有效性和泛化能力。

這種通過硬件校準、算法優(yōu)化、流程標準化的組合方案正是其系統(tǒng)性提升數(shù)據(jù)質(zhì)量、對齊精度與模型可驗證性的關鍵。

04.

結語：為人形機器人研發(fā)注入數(shù)據(jù)動力

人形機器人實采需要面對高成本、低效率、規(guī)?；c數(shù)據(jù)質(zhì)量難以兼顧的現(xiàn)實制約，而其核心意義在于能夠突破仿真數(shù)據(jù)與現(xiàn)實世界的域差瓶頸，獲取高保真、強適配的真實場景多模態(tài)數(shù)據(jù)，為機器人具身智能模型提供貼近實際應用的訓練樣本。

此次由樂聚機器人主導開源的國內(nèi)規(guī)模最大真機實采數(shù)據(jù)集，可以進一步提升機器人動作精度、環(huán)境適應能力與跨場景泛化能力，最終破解行業(yè)落地適配難題，加速人形機器人從實驗室研發(fā)走向規(guī)?；虡I(yè)應用的進程。