ROBOT INDUSTRY

以人形機(jī)器人為代表的具身智能在實驗室中的“場景理解”與“任務(wù)規(guī)劃”上進(jìn)展顯著，但面對真實的工業(yè)產(chǎn)線任務(wù)時，往往面臨“想得到但抓不準(zhǔn)、算得出但跟不上”的困境。這背后，是長期橫亙在實驗室環(huán)境與真實應(yīng)用場景之間的鴻溝：人形機(jī)器人在空間層面的度量失準(zhǔn)與時間層面的響應(yīng)遲滯。優(yōu)必選開發(fā)的具身智能大模型Thinker，旨在打造一個能為工業(yè)人形機(jī)器人提供快速反應(yīng)與精準(zhǔn)空間感知的下一代具身智能大腦，以應(yīng)對動態(tài)工業(yè)場景的挑戰(zhàn)。Thinker將作為智能基座，為優(yōu)必選的群腦網(wǎng)絡(luò)和協(xié)作智能體Co-Agent提供認(rèn)知與決策支持，進(jìn)而驅(qū)動單機(jī)自主與群體智能的協(xié)同進(jìn)化。

1

視覺語言模型需求與現(xiàn)狀剖析

近年來，大型視覺-語言模型（VLM）在廣泛領(lǐng)域取得了顯著成果，這促使眾多研究人員將VLM應(yīng)用于機(jī)器人領(lǐng)域。雖然VLM在場景理解方面表現(xiàn)出色，但它們在規(guī)劃方面面臨著重大挑戰(zhàn)。特別是，它們難以根據(jù)當(dāng)前和過去的觀測來預(yù)測機(jī)器人的未來狀態(tài)。大多數(shù)VLM主要是在視覺問答（VQA）和圖像描述數(shù)據(jù)集上進(jìn)行訓(xùn)練的，這些數(shù)據(jù)集中的場景通常是從第三人稱視角描述的。缺乏針對機(jī)器人的訓(xùn)練數(shù)據(jù)，從根本上限制了當(dāng)前模型實現(xiàn)有效機(jī)器人任務(wù)規(guī)劃的能力。

當(dāng)前，機(jī)器人領(lǐng)域大模型表現(xiàn)欠佳，尤其在空間理解、視覺感知等關(guān)鍵任務(wù)上精度不足；且模型參數(shù)量普遍較大，難以滿足機(jī)器人對實時性的高要求；互聯(lián)網(wǎng)上雖有海量數(shù)據(jù)，但質(zhì)量參差不齊，制約了模型通過Data Scaling實現(xiàn)性能有效提升。

圖1 優(yōu)必選具身智能大模型Thinker在9項權(quán)威基準(zhǔn)評測中排名全球第一

優(yōu)必選具身智能大模型Thinker以“小參數(shù)、高性能、全開源”突破具身大腦領(lǐng)域限制。如圖1所示，在涵蓋10B以下具身智能大腦模型的權(quán)威基準(zhǔn)評測中，Thinker一舉拿下9項第一，重新定義了該領(lǐng)域的性能標(biāo)桿。這些基準(zhǔn)全面評估了具身智能的兩大核心能力：一是機(jī)器人第一視角下的場景認(rèn)知與任務(wù)規(guī)劃能力；二是支撐物理交互的精準(zhǔn)感知與空間理解能力。

具身智能的核心競爭力根植于高質(zhì)量數(shù)據(jù)的支撐，但行業(yè)普遍面臨原始數(shù)據(jù)噪聲大、多模態(tài)對齊困難、標(biāo)注成本高、小樣本泛化難等痛點。優(yōu)必選以數(shù)據(jù)為核心，構(gòu)建了覆蓋“精煉提純-自動化標(biāo)注-數(shù)據(jù)驅(qū)動訓(xùn)練”的全鏈路解決方案，通過極致的技術(shù)優(yōu)化破解行業(yè)難題，為輕量化具身大模型的高性能表現(xiàn)筑牢數(shù)據(jù)基座。

2

Thinker模型技術(shù)解析

· 多樣化的數(shù)據(jù)

如圖2所示，Thinker在大規(guī)模和多樣化的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，這些數(shù)據(jù)集增強(qiáng)了其在具身環(huán)境中的能力。具體來說，優(yōu)必選精心制作了四類數(shù)據(jù)集，涵蓋空間和時間理解、第一人稱視角推理、規(guī)劃，以及優(yōu)必選的內(nèi)部工業(yè)數(shù)據(jù)集，該數(shù)據(jù)集專注于工業(yè)環(huán)境中的多對象操作和運(yùn)輸任務(wù)。

圖2 該圖展示了制作的訓(xùn)練數(shù)據(jù)集的分布情況，將其分為四類：視覺定位、第一人稱視角、路徑規(guī)劃、工業(yè)場景

視覺定位數(shù)據(jù)

為了發(fā)展強(qiáng)大的空間感知能力，優(yōu)必選為邊界框和點級別的目標(biāo)定位構(gòu)建了視覺定位數(shù)據(jù)集。對于邊界框定位，優(yōu)必選構(gòu)建了Lvis-520K，其中包含由GPT-4o生成的關(guān)于物體功能的問答對。優(yōu)必選還利用Sharerobot-affordance-6.5K訓(xùn)練模型學(xué)習(xí)可抓取區(qū)域。對于點定位，優(yōu)必選使用了Pixmopoint-570K和Robopoint-667K的精煉版本，去除了包含超過10個點的實例和室外場景。這些數(shù)據(jù)集共同支持了精確空間感知和指令理解的發(fā)展。

第一人稱視角推理數(shù)據(jù)

優(yōu)必選通過仔細(xì)篩選和精煉Egoplan-it構(gòu)建了Egoplan-it-100K，旨在推進(jìn)時間推理和以自我為中心的任務(wù)規(guī)劃。每個項目包括一個視頻剪輯和最后一幀。優(yōu)必選設(shè)計了兩種任務(wù)格式：開放式和多項選擇題。優(yōu)必選使用標(biāo)注的動作作為正確選項，并從其他序列中隨機(jī)抽樣至少三個動作作為多項選擇題的干擾項。

機(jī)器人操作規(guī)劃數(shù)據(jù)

優(yōu)必選構(gòu)建了一個大規(guī)模的機(jī)器人規(guī)劃數(shù)據(jù)集Robovideo-1.8M。Robovqa是一個大規(guī)模數(shù)據(jù)集，包含超過800K個問答對，涵蓋了多種具身形態(tài)，包括機(jī)器人、人類和工具輔助的人類交互。相比之下，Sharerobot包含1M個問答對，專為機(jī)器人操作任務(wù)中的細(xì)粒度規(guī)劃而設(shè)計，涵蓋了源自O(shè)pen-x-embodiment的102種不同場景和12種機(jī)器人形態(tài)。通過在Robovideo-1.8M上進(jìn)行訓(xùn)練，Thinker獲得了在機(jī)器人任務(wù)場景中自發(fā)執(zhí)行復(fù)雜推理的能力。

工業(yè)任務(wù)規(guī)劃數(shù)據(jù)

為了進(jìn)一步加強(qiáng)在現(xiàn)實世界場景中的長程推理能力，優(yōu)必選構(gòu)建了Industroplan-200K數(shù)據(jù)集，該數(shù)據(jù)集專注于涉及多對象操作和運(yùn)輸?shù)墓I(yè)環(huán)境中的任務(wù)規(guī)劃。每個實例包括視頻演示、任務(wù)目標(biāo)和思維鏈注釋，涵蓋了多樣的布局、對象類型和動作序列。Industroplan明確為長程任務(wù)而設(shè)計，使其適用于訓(xùn)練和評估復(fù)雜工廠環(huán)境中的機(jī)器人感知和規(guī)劃。

· THINKER模型

模型架構(gòu)

優(yōu)必選開發(fā)了Thinker基礎(chǔ)模型，這是一個具有百億參數(shù)級別的大型視覺語言模型。架構(gòu)如圖3所示。Thinker包含四個模塊：文本分詞器、視覺編碼器、用于對齊視覺和語言空間的多層感知機(jī)，以及語言模型主干。這種設(shè)計實現(xiàn)了跨視覺、語言和時間的統(tǒng)一表示。這使得Thinker能夠準(zhǔn)確捕捉視覺細(xì)節(jié)，理解任務(wù)指令，并在多種場景下進(jìn)行推理，從而為具身智能提供可靠的基礎(chǔ)。

圖3 模型支持圖像、視頻和復(fù)雜的語言指令

訓(xùn)練策略

Thinker采用兩步訓(xùn)練策略，以發(fā)展在復(fù)雜場景下的穩(wěn)健任務(wù)規(guī)劃能力。在第一階段，優(yōu)必選專注于建立模型的基礎(chǔ)感知和推理能力。在第二階段，優(yōu)必選對下游規(guī)劃任務(wù)進(jìn)行監(jiān)督微調(diào)，使其推理能力與任務(wù)特定目標(biāo)對齊。這種策略使模型能夠?qū)⑵渫评砟芰U(kuò)展到多樣化的場景，適應(yīng)下游任務(wù)，并最終在現(xiàn)實世界環(huán)境中生成可執(zhí)行的計劃。

第一階段：專注于建立Thinker的基礎(chǔ)具身能力。優(yōu)必選在通用數(shù)據(jù)集、空間理解數(shù)據(jù)集和大規(guī)模規(guī)劃數(shù)據(jù)集的組合上對Thinker進(jìn)行微調(diào)，這使其具備了強(qiáng)大的空間感知和推理技能，從而為下游任務(wù)對齊和復(fù)雜場景下的長程規(guī)劃提供了堅實基礎(chǔ)。此外，在視頻理解訓(xùn)練期間，優(yōu)必選將每個視頻剪輯的最后一幀作為輔助輸入，這進(jìn)一步增強(qiáng)了模型的性能。

第二階段：專注于將Thinker的推理能力與復(fù)雜的工業(yè)規(guī)劃任務(wù)對齊。優(yōu)必選在Industroplan-200K數(shù)據(jù)集上進(jìn)行監(jiān)督微調(diào)。這個過程使模型能夠?qū)⑵鋸牡谝浑A段繼承的推理能力適應(yīng)于序列依賴關(guān)系、多樣的對象布局和糾正性反饋。因此，Thinker能夠在現(xiàn)實工業(yè)場景中生成可執(zhí)行的計劃，有效地將空間理解與實際任務(wù)執(zhí)行連接起來。

· 基礎(chǔ)設(shè)施

優(yōu)必選建立了支持Thinker訓(xùn)練、微調(diào)和推理的基礎(chǔ)設(shè)施。該技術(shù)棧旨在（i）在異構(gòu)數(shù)據(jù)集上聯(lián)合訓(xùn)練，（ii）在優(yōu)必選提出的模型之一Thinker-7B上執(zhí)行參數(shù)高效的微調(diào)，以及（iii）在基準(zhǔn)測試協(xié)議下以可靠性和可觀測性進(jìn)行部署。

大規(guī)模多任務(wù)訓(xùn)練基礎(chǔ)設(shè)施

優(yōu)必選解決了多任務(wù)、多模態(tài)訓(xùn)練中的三個實際挑戰(zhàn)：（1）數(shù)據(jù)源間的異構(gòu)性（帶時間上下文的視頻 vs. 單圖像VQA）；（2）從大型預(yù)訓(xùn)練主干高效且可復(fù)現(xiàn)地初始化；（3）大規(guī)模下的穩(wěn)定吞吐量。優(yōu)必選采用統(tǒng)一的采樣模式，將所有示例規(guī)范化到一個任務(wù)感知的結(jié)構(gòu)中，涵蓋視覺輸入、文本輸入、監(jiān)督目標(biāo)和任務(wù)類型。通過一個根據(jù)驗證反饋進(jìn)行調(diào)整的動態(tài)采樣器實現(xiàn)了平衡的任務(wù)混合，確保所有數(shù)據(jù)集在訓(xùn)練過程中都能有意義地貢獻(xiàn)。此外，優(yōu)必選采用分片加載和選擇性凍結(jié)來最小化內(nèi)存壓力和預(yù)熱時間。

微調(diào)模型的推理基礎(chǔ)設(shè)施

一個任務(wù)感知的推理流程規(guī)范了EgoPlan-Bench2和RoboVQA的輸入和輸出。視頻輸入被轉(zhuǎn)換為用于規(guī)劃的簡潔時間視覺表示，而靜態(tài)圖像VQA輸入則被格式化為用于緊湊推理。輸出被規(guī)范化以符合每個基準(zhǔn)的評估協(xié)議，從而實現(xiàn)無縫且可重復(fù)的評估。

容錯與監(jiān)控

優(yōu)必選持續(xù)跟蹤優(yōu)化信號（每個任務(wù)的損失）、吞吐量、加速器內(nèi)存和設(shè)備利用率。自動警報會提示異常情況（例如，利用率下降或損失漂移），使操作員能夠快速干預(yù)，最大限度地減少計算浪費(fèi)。長周期訓(xùn)練運(yùn)行采用周期性檢查點（模型、優(yōu)化器和數(shù)據(jù)加載器游標(biāo)），以便在節(jié)點故障時快速恢復(fù)。當(dāng)發(fā)生中斷時，啟動器從最新的一致狀態(tài)恢復(fù)，無需重新處理數(shù)據(jù)集的大部分內(nèi)容。

3

優(yōu)必選THINKER模型創(chuàng)新性

優(yōu)必選自主研發(fā)的Thinker架構(gòu)與訓(xùn)練框架通過多項關(guān)鍵技術(shù)創(chuàng)新性整合，系統(tǒng)化提升了人形機(jī)器人的感知與推理規(guī)劃能力，為工業(yè)場景的規(guī)?；瘧?yīng)用奠定基礎(chǔ)。

第一，自研視覺編碼器基座，構(gòu)建精準(zhǔn)環(huán)境感知。優(yōu)必選以ViT作為視覺編碼器原型，結(jié)合Co-DETR檢測頭，依托Object 365等開源數(shù)據(jù)在通用視覺任務(wù)上進(jìn)行預(yù)訓(xùn)練，并通過多階段模態(tài)對齊機(jī)制實現(xiàn)了視覺-語言模態(tài)的高效融合。最終，在優(yōu)必選機(jī)器人數(shù)據(jù)集上進(jìn)行微調(diào)，顯著提升機(jī)器人在工業(yè)場景中對物體、障礙和操作上下文的識別能力，為復(fù)雜環(huán)境下穩(wěn)定可靠的多模態(tài)環(huán)境感知奠定了堅實基礎(chǔ)。

第二，超大規(guī)模參數(shù)架構(gòu)，提供強(qiáng)大語義理解基礎(chǔ)。優(yōu)必選自研了具有百億參數(shù)的多模態(tài)大模型Thinker基座，實現(xiàn)視覺-語言-時間的跨域統(tǒng)一表征，使機(jī)器人能夠在多場景中準(zhǔn)確捕捉環(huán)境細(xì)節(jié)、理解任務(wù)指令，并做出推理，為自動化操作提供可靠的認(rèn)知基礎(chǔ)。

第三，時序增強(qiáng)算法與強(qiáng)化學(xué)習(xí)方法，增強(qiáng)長程任務(wù)規(guī)劃連貫可靠。通過大模型蒸餾技術(shù)，將百億參數(shù)模型效果濃縮至7B參數(shù)模型中，在保持高性能的同時，增強(qiáng)多步驟任務(wù)分解與連續(xù)決策能力。該優(yōu)化使模型可以在端側(cè)部署，用機(jī)器人自身搭載的算力就可實時自主拆解復(fù)雜流程，避免規(guī)劃中斷或邏輯混亂，在流程嚴(yán)格、環(huán)環(huán)相扣的工業(yè)場景中展現(xiàn)出關(guān)鍵價值，將有力保障生產(chǎn)連貫性和操作安全性。

4

預(yù)期成果與社會效益

工業(yè)場景的精調(diào)策略正成為推動多模態(tài)大模型邁向?qū)嶋H應(yīng)用的關(guān)鍵力量，為人形機(jī)器人在生產(chǎn)線上的穩(wěn)定、高效部署奠定了技術(shù)基礎(chǔ)，加速其從技術(shù)驗證走向規(guī)?；瘜崙?zhàn)應(yīng)用的進(jìn)程。

優(yōu)必選創(chuàng)新性地采用“通用基礎(chǔ)能力打造+工業(yè)場景精調(diào)”的微調(diào)策略，基于超200萬條視頻數(shù)據(jù)構(gòu)成的大規(guī)模訓(xùn)練集進(jìn)行預(yù)訓(xùn)練，隨后引入優(yōu)必選在工廠實訓(xùn)中積累的億級工業(yè)數(shù)據(jù)集進(jìn)行微調(diào)，并對工業(yè)場景任務(wù)規(guī)劃數(shù)據(jù)加以清洗與整合，構(gòu)建高效多模態(tài)大模型學(xué)習(xí)閉環(huán)。通過這一流程，模型能夠快速學(xué)習(xí)工業(yè)場景的視覺特征、任務(wù)規(guī)則與操作偏好，最終顯著提升人形機(jī)器人在工業(yè)場景中的理解準(zhǔn)確率、規(guī)劃適配性與決策可靠性，實現(xiàn)在多種復(fù)雜場景中的泛化性與穩(wěn)定性。

在Thinker大模型技術(shù)體系的全方位賦能下，優(yōu)必選新一代工業(yè)人形機(jī)器人Walker S2實現(xiàn)“最強(qiáng)大腦”再進(jìn)化，不僅具備高精準(zhǔn)環(huán)境感知能力，更能夠在動態(tài)場景中高效完成任務(wù)分解、實時調(diào)整與穩(wěn)定規(guī)劃。借助Thinker，Walker S2可精準(zhǔn)識別設(shè)備、物料與障礙物，深度理解場景語義及操作前后邏輯關(guān)聯(lián)，顯著提升長周期任務(wù)的執(zhí)行穩(wěn)定性。在復(fù)雜流水線環(huán)境中，機(jī)器人展現(xiàn)出持續(xù)連貫的規(guī)劃能力，大幅降低對人工干預(yù)的依賴。

實際應(yīng)用數(shù)據(jù)顯示，相比僅基于通用數(shù)據(jù)微調(diào)的模型，采用工業(yè)數(shù)據(jù)集進(jìn)行二次微調(diào)后，Walker S2在拆碼垛規(guī)劃等典型任務(wù)中的規(guī)劃精度提升超過 20%，有力驗證了該技術(shù)方案的產(chǎn)業(yè)化價值。

5

行業(yè)前景與展望

當(dāng)前，人形機(jī)器人正在進(jìn)入大規(guī)模應(yīng)用的關(guān)鍵階段，其發(fā)展亟需與開發(fā)者共同構(gòu)建開放、協(xié)同的應(yīng)用生態(tài)。為此，優(yōu)必選將逐步開源一系列業(yè)界稀缺的工業(yè)場景數(shù)據(jù)集與通用基礎(chǔ)大模型，為全行業(yè)提供源自實際應(yīng)用一線的高質(zhì)量合規(guī)數(shù)據(jù)資源。開發(fā)者可基于優(yōu)必選多模態(tài)大模型Thinker，面向各類新場景開展精調(diào)與二次開發(fā)，助力提升開發(fā)效率。優(yōu)必選期待與全球開發(fā)者攜手，共創(chuàng)工業(yè)人形機(jī)器人的應(yīng)用生態(tài)，為具身智能行業(yè)的加速發(fā)展注入持續(xù)動能。

6

結(jié)論

具身智能正加速滲透工業(yè)智造、商用服務(wù)等千行百業(yè)，但技術(shù)門檻與成本限制成為行業(yè)普及的關(guān)鍵瓶頸。優(yōu)必選堅持開源共享理念，將模型權(quán)重、訓(xùn)練工具鏈與應(yīng)用案例全量開放，希望與更多開發(fā)者和企業(yè)共同擁抱具身智能的浪潮。

本文作者：

曾 泉 深圳市優(yōu)必選科技股份有限公司技術(shù)開發(fā)工程師

林 亮 廣東理工學(xué)院

鐘汶峻 惠州學(xué)院

閱讀更多內(nèi)容，歡迎訂購《機(jī)器人產(chǎn)業(yè)》雜志。

點擊跳轉(zhuǎn)！圈內(nèi)人都在看的專家觀點