優(yōu)必選百億參數(shù)基座的多模態(tài)大模型Thinker霸榜多項全球榜單。

作者 |許麗思

編輯 |漠影

機器人前瞻9月9日報道，近日，在機器人感知與規(guī)劃領(lǐng)域三大國際權(quán)威基準測試——分別由微軟、谷歌、香港大學(xué)等發(fā)起與提出的MS COCO Detection Challenge、RoboVQA與Egoplan-bench2中，優(yōu)必選自主研發(fā)的百億參數(shù)基座的多模態(tài)大模型Thinker，針對二十一個場景、四大類型的任務(wù)規(guī)劃等命題，奪得了四項全球榜單第一。

另外，參與本次排名的模型，還包括北京智源、英偉達ThinkAct、Cosmos-reason1、GPT-4V、Qwen2.5-vl等。

01.

由微軟、谷歌、港大發(fā)起，

覆蓋工作、生活等多場景測試

MS COCO Detection Challenge 由微軟發(fā)起的，是全球最具影響力的計算機視覺評測之一，主要通過真實場景圖像驗證模型對物體的精準識別與定位能力，在全球?qū)W術(shù)界與工業(yè)界享有極高認可度。

▲優(yōu)必選Thinker在MS COCO detection challenge - Segmentation Mask中排名第一

RoboVQA 由谷歌 DeepMind 提出的，是首個針對機器人的多模態(tài)長程推理評測，聚焦于驗證模型能否將視覺信息、語言指令與物理常識結(jié)合，實現(xiàn)多步驟任務(wù)規(guī)劃與動態(tài)決策。 RoboVQA關(guān)注模型的規(guī)劃、區(qū)分性能力、生成性能力、過去描述和未來預(yù)測能力等。

▲優(yōu)必選Thinker在MS COCO detection challenge - Bounding Box排名中并列第一

Egoplan-bench2由香港大學(xué)提出，是首個聚焦現(xiàn)實場景多模態(tài)規(guī)劃的基準測試，通過第一人稱視角視頻模擬人類日常任務(wù)，驗證模型在動態(tài)環(huán)境中的長程決策能力。 Egoplan-bench2覆蓋了工作場景、日常生活場景、娛樂場景以及應(yīng)急與特殊場景等。

▲優(yōu)必選Thinker在RoboVQA與Egoplan-bench2中排名第一

02.

整合多項關(guān)鍵技術(shù)，

提升機器人感知與推理規(guī)劃能力

優(yōu)必選的Thinker架構(gòu)與訓(xùn)練框架，通過多項關(guān)鍵技術(shù)創(chuàng)新性整合，系統(tǒng)化提升了人形機器人的感知與推理規(guī)劃能力。

• 自研視覺編碼器基座，構(gòu)建精準環(huán)境感知

優(yōu)必選以ViT作為視覺編碼器原型，結(jié)合Co-DETR檢測頭，依托Object 365等開源數(shù)據(jù)在通用視覺任務(wù)上進行預(yù)訓(xùn)練，并通過多階段模態(tài)對齊機制實現(xiàn)了視覺-語言模態(tài)的高效融合。最終，在優(yōu)必選機器人數(shù)據(jù)集上進行微調(diào)，顯著提升機器人在工業(yè)場景中對物體、障礙和操作上下文的識別能力，為復(fù)雜環(huán)境下穩(wěn)定可靠的多模態(tài)環(huán)境感知奠定了堅實基礎(chǔ)。

• 超大規(guī)模參數(shù)架構(gòu)，提供強大語義理解基礎(chǔ)

優(yōu)必選自研了具有百億參數(shù)的多模態(tài)大模型Thinker基座，實現(xiàn)視覺-語言-時間的跨域統(tǒng)一表征，使機器人能夠在多場景中準確捕捉環(huán)境細節(jié)、理解任務(wù)指令并做出推理，為自動化操作提供可靠的認知基礎(chǔ)。

• 時序增強算法與強化學(xué)習(xí)方法，增強長程任務(wù)規(guī)劃連貫可靠

通過大模型蒸餾技術(shù)，將百億參數(shù)模型效果濃縮至7B參數(shù)模型中，在保持高性能的同時增強多步驟任務(wù)分解與連續(xù)決策能力。該優(yōu)化使模型可以在端側(cè)部署，用機器人自身搭載的算力就可實時自主拆解復(fù)雜流程，避免規(guī)劃中斷或邏輯混亂，在流程嚴格、環(huán)環(huán)相扣的工業(yè)場景中展現(xiàn)出關(guān)鍵價值，將有力保障生產(chǎn)連貫性和操作安全性。

03.

打造通用基礎(chǔ)能力，工業(yè)場景再進行精調(diào)

優(yōu)必選采用了“通用基礎(chǔ)能力打造+工業(yè)場景精調(diào)”的微調(diào)策略，基于超200萬條視頻數(shù)據(jù)構(gòu)成的大規(guī)模訓(xùn)練集進行預(yù)訓(xùn)練，隨后引入優(yōu)必選在工廠實訓(xùn)中積累的億級工業(yè)數(shù)據(jù)集進行微調(diào)，并對工業(yè)場景任務(wù)規(guī)劃數(shù)據(jù)加以清洗與整合，構(gòu)建高效多模態(tài)大模型學(xué)習(xí)閉環(huán)。

通過這一流程，模型能夠快速學(xué)習(xí)工業(yè)場景的視覺特征、任務(wù)規(guī)則與操作偏好，最終顯著提升人形機器人在工業(yè)場景中的理解準確率、規(guī)劃適配性與決策可靠性，實現(xiàn)在多種復(fù)雜場景中的泛化性與穩(wěn)定性。

借助Thinker，Walker S2可精準識別設(shè)備、物料與障礙物，深度理解場景語義及操作前后邏輯關(guān)聯(lián)，提升長周期任務(wù)的執(zhí)行穩(wěn)定性。在復(fù)雜流水線環(huán)境中，機器人展現(xiàn)出持續(xù)連貫的規(guī)劃能力，大幅降低對人工干預(yù)的依賴。

實際應(yīng)用數(shù)據(jù)顯示，相比僅基于通用數(shù)據(jù)微調(diào)的模型，采用工業(yè)數(shù)據(jù)集進行二次微調(diào)后，Walker S2在拆碼垛規(guī)劃等典型任務(wù)的中的規(guī)劃精度提升超過 20%，相關(guān)技術(shù)報告將在arxiv上發(fā)布。

▲Walker S2在工業(yè)場景中自主規(guī)劃任務(wù)

04.

結(jié)語：人形機器人邁向大規(guī)模應(yīng)用，

還亟需開放協(xié)同的應(yīng)用生態(tài)

當前，人形機器人正處于從技術(shù)驗證到大規(guī)模應(yīng)用的關(guān)鍵拐點，其發(fā)展亟需與開發(fā)者共同構(gòu)建開放、協(xié)同的應(yīng)用生態(tài)。

優(yōu)必選稱，后續(xù)將逐步開源一系列業(yè)界稀缺的工業(yè)場景數(shù)據(jù)集與通用基礎(chǔ)大模型，為全行業(yè)提供源自實際應(yīng)用一線的高質(zhì)量合規(guī)數(shù)據(jù)資源。開發(fā)者可基于優(yōu)必選多模態(tài)大模型Thinker，面向各類新場景開展精調(diào)與二次開發(fā)，助力提升開發(fā)效率。