想象這樣一個(gè)日常畫(huà)面：你吩咐家用機(jī)器人「燒壺開(kāi)水」，它卻當(dāng)場(chǎng)卡殼——水壺在哪？該接自來(lái)水還是過(guò)濾水？先插電還是先按開(kāi)關(guān)？水開(kāi)了又該如何判斷？這些對(duì)人類(lèi)而言像呼吸一樣自然的家務(wù)，對(duì)過(guò)去的機(jī)器人卻是大大的難題：要么忘了插電，要么找不到水壺，甚至?xí)压耖T(mén)把手錯(cuò)當(dāng)成開(kāi)關(guān)一通亂按。

最近，加州伯克利和馬里蘭大學(xué)聯(lián)手推出的MomaGraph 技術(shù)，就是要讓機(jī)器人徹底告別這種「做家務(wù)的人工智障」時(shí)刻。這套算法不僅能讓機(jī)器人真正理解「做事的先后順序」，更在星動(dòng)紀(jì)元星動(dòng) Q5 上成功完成了開(kāi)柜子、開(kāi)微波爐、開(kāi)電視、關(guān)燈等真實(shí)家務(wù)。

• 論文名稱：MOMAGRAPH: STATE-AWARE UNIFIED SCENE GRAPHS WITH VISION–LANGUAGE MODEL FOR EMBODIED TASK PLANNING
• 論文地址：https://arxiv.org/pdf/2512.16909

一、研究背景：

家用機(jī)器人做不好家務(wù)的「三大卡點(diǎn)」

家用移動(dòng)操作機(jī)器人（比如幫你開(kāi)窗戶、熱牛奶的機(jī)器人）需要同時(shí)「看路」（導(dǎo)航）和「動(dòng)手」（操作），但過(guò)去的技術(shù)一直存在三個(gè)關(guān)鍵問(wèn)題卡點(diǎn)，導(dǎo)致機(jī)器人「做不好家務(wù)」：

卡點(diǎn) 1：只知「在哪」，不知「咋用」

比如機(jī)器人要開(kāi)窗戶，傳統(tǒng)技術(shù)可能只知道「窗戶在書(shū)桌右邊」（空間關(guān)系），但不知道「窗戶把手能控制開(kāi)關(guān)」（功能關(guān)系）——就像你知道手機(jī)在口袋里，卻不知道按電源鍵能開(kāi)機(jī)，自然用不了手機(jī)。

卡點(diǎn) 2：只認(rèn)「圖片」，不認(rèn)「變化」

傳統(tǒng)模型會(huì)把場(chǎng)景當(dāng)成靜態(tài)圖片，比如機(jī)器人轉(zhuǎn)了窗戶把手后，模型還以為「窗戶沒(méi)動(dòng)」，不知道狀態(tài)已經(jīng)從「鎖著」變成「待打開(kāi)」；就像你關(guān)了燈，卻還以為燈是亮的，后續(xù)行動(dòng)規(guī)劃肯定會(huì)出錯(cuò)。

卡點(diǎn) 3：只想「步驟」，不想「前提」

過(guò)去的 AI（比如 GPT-5）會(huì)直接從圖片里「想步驟」，比如讓它「燒開(kāi)水」，可能會(huì)說(shuō)「裝水 → 加熱」，卻漏掉「插電源」這個(gè)關(guān)鍵前提；而人做這件事時(shí)，一定會(huì)先確認(rèn)「水壺能通電」，再規(guī)劃步驟。

二、突破思路：

給機(jī)器人畫(huà)一張「任務(wù)說(shuō)明書(shū)」

研究團(tuán)隊(duì)的核心想法很簡(jiǎn)單：讓機(jī)器人先畫(huà)一張「任務(wù)導(dǎo)向的場(chǎng)景圖」，再按圖規(guī)劃任務(wù)執(zhí)行步驟，這就是「Graph-then-Plan」（先圖后規(guī)劃）思路，而這張圖就是「MomaGraph」。

這張圖到底特殊在哪？舉個(gè)「開(kāi)窗戶」的例子：

• 統(tǒng)一空間 + 功能：圖里會(huì)同時(shí)寫(xiě)「把手在窗戶右側(cè)」（空間）和「把手能控制窗戶開(kāi)關(guān)」（功能）；
• 動(dòng)態(tài)更新?tīng)顟B(tài)：機(jī)器人轉(zhuǎn)了把手后，圖會(huì)從「把手未旋轉(zhuǎn) → 窗戶鎖著」更新為「把手已旋轉(zhuǎn) → 窗戶待打開(kāi)」；
• 緊扣任務(wù)需求：只保留和「開(kāi)窗戶」相關(guān)的信息（比如忽略窗戶上的貼紙），不做無(wú)用功。

簡(jiǎn)單說(shuō)，傳統(tǒng)模型是「看到圖片直接猜步驟」，而 MomaGraph 是「先搞清楚『有什么、怎么用、狀態(tài)如何』，再一步步規(guī)劃」——就像你做飯前會(huì)先看「冰箱有雞蛋、鍋能加熱」，再想「打雞蛋 → 開(kāi)火 → 煎蛋」，而不是直接拿鍋就燒。

三、研究方法：

從「數(shù)據(jù)」到「機(jī)器人」的全鏈條方案

要讓 MomaGraph 落地，研究團(tuán)隊(duì)搭建了「數(shù)據(jù)集 - 模型 - 基準(zhǔn) - 真實(shí)機(jī)器人」的完整體系，其中星動(dòng)紀(jì)元輪式人形機(jī)器人星動(dòng) Q5 成為了「把技術(shù)從實(shí)驗(yàn)室變實(shí)用」的核心硬件。

第一步：建「訓(xùn)練素材庫(kù)」——MomaGraph-Scenes 數(shù)據(jù)集

要教機(jī)器人「懂家務(wù)」，得先給它看足夠多的「家務(wù)樣本」。團(tuán)隊(duì)收集了：

• 6278 張多視角家庭照片（比如從正面、側(cè)面拍柜子、微波爐）；
• 1050 個(gè)「任務(wù)場(chǎng)景圖」（比如「開(kāi)微波爐」的圖里，標(biāo)注了「微波爐把手在正面」「把手能開(kāi)門(mén)」）；
• 覆蓋 350+ 家庭場(chǎng)景、93 種任務(wù)（開(kāi)窗戶、燒開(kāi)水、開(kāi)電視等）。

這些數(shù)據(jù)就像機(jī)器人的「家務(wù)課本」，讓它知道不同場(chǎng)景下「物體該怎么用」。

第二步：訓(xùn)「聰明大腦」——MomaGraph-R1 模型

團(tuán)隊(duì)用 70 億參數(shù)的視覺(jué)語(yǔ)言模型（VL 模型，基于 Qwen-2.5-VL-7B），通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出 MomaGraph-R1：

• 訓(xùn)練邏輯：模型生成場(chǎng)景圖后，系統(tǒng)會(huì)按「三個(gè)標(biāo)準(zhǔn)」打分（獎(jiǎng)勵(lì)）：步驟對(duì)不對(duì)？有沒(méi)有漏物體？空間/功能關(guān)系準(zhǔn)不準(zhǔn)？比如生成「水壺插電才能加熱」就加分，漏了「插電」就扣分；
• 核心能力：能根據(jù)任務(wù)生成「精簡(jiǎn)有用」的場(chǎng)景圖，比如「找遙控器開(kāi)電視」時(shí)，會(huì)重點(diǎn)標(biāo)注「遙控器在沙發(fā)上」「遙控器能控制電視」，忽略沙發(fā)顏色這類(lèi)無(wú)關(guān)信息。

第三步：測(cè)「能力高低」——MomaGraph-Bench 基準(zhǔn)

為了判斷機(jī)器人「學(xué)沒(méi)學(xué)會(huì)」，團(tuán)隊(duì)設(shè)計(jì)了 6 種能力測(cè)試（比如「步驟對(duì)不對(duì)」「能不能找對(duì)物體」「知不知道操作后會(huì)發(fā)生什么」），覆蓋從簡(jiǎn)單（開(kāi)柜子）到復(fù)雜（燒開(kāi)水）4 個(gè)難度等級(jí)，確保測(cè)試結(jié)果真實(shí)可信。

關(guān)鍵一步：真實(shí)機(jī)器人落地——星動(dòng)紀(jì)元 Q5 的硬件優(yōu)勢(shì)

再好的「大腦」也需要「手腳」來(lái)執(zhí)行，研究團(tuán)隊(duì)選擇星動(dòng)紀(jì)元星動(dòng) Q5 輪式人形機(jī)器人做真實(shí)場(chǎng)景測(cè)試，這款硬件的優(yōu)勢(shì)直接幫 MomaGraph 發(fā)揮出最佳效果：

• 雙臂 + 移動(dòng)底座：能「走」到不同房間（比如從客廳到廚房），還能「動(dòng)手」精準(zhǔn)操作——開(kāi)柜子時(shí)，雙臂能穩(wěn)定抓住把手并拉動(dòng)；開(kāi)微波爐時(shí)，能控制力度避免損壞；
• 多視角相機(jī)（Intel RealSense D455）：能拍物體的多個(gè)角度（比如從上方看水壺、從側(cè)面看插座），幫模型獲取準(zhǔn)確的空間信息，避免「認(rèn)錯(cuò)位置」（比如不會(huì)把柜子把手當(dāng)成開(kāi)關(guān)）；
• 適應(yīng)家庭場(chǎng)景：硬件尺寸適合家庭環(huán)境（不會(huì)撞壞家具），雙臂力度可控（不會(huì)捏碎杯子），完美匹配「家務(wù)任務(wù)」的需求。

比如測(cè)試「開(kāi)柜子」時(shí)，星動(dòng) Q5 的相機(jī)先拍柜子和把手的多視角圖，MomaGraph-R1 根據(jù)圖片生成「把手在柜子正面、能開(kāi)柜子」的場(chǎng)景圖，再規(guī)劃「靠近柜子 → 抓把手 → 拉柜子」的步驟，Q5 的雙臂精準(zhǔn)執(zhí)行，成功率遠(yuǎn)超傳統(tǒng)機(jī)器人。

四、研究結(jié)論：

機(jī)器人「做家務(wù)」的能力大幅提升

從基準(zhǔn)測(cè)試到真實(shí)機(jī)器人實(shí)驗(yàn)，MomaGraph 交出了亮眼的成績(jī)，核心結(jié)論可以總結(jié)為三點(diǎn)：

「先畫(huà)圖再規(guī)劃」遠(yuǎn)勝「直接猜步驟」

在 MomaGraph-Bench 基準(zhǔn)測(cè)試中，MomaGraph-R1 的準(zhǔn)確率達(dá)到 71.6%，比目前最好的開(kāi)源模型（比如 LLaVA-OneVision）高 11.4%；而像 GPT-5 這樣的閉源大模型，常會(huì)漏關(guān)鍵步驟（比如燒開(kāi)水沒(méi)提「插電源」），MomaGraph-R1 卻能 100% 覆蓋前提步驟——因?yàn)樗犬?huà)了「水壺需要插電」的場(chǎng)景圖，再規(guī)劃步驟。

「空間 + 功能」一起看，比單獨(dú)看更準(zhǔn)

實(shí)驗(yàn)對(duì)比了「只看空間關(guān)系」、「只看功能關(guān)系」、「兩者都看」的效果：MomaGraph-R1（統(tǒng)一版）在復(fù)雜任務(wù)（Tier 4）的準(zhǔn)確率是 68.1%，而「只看功能」的版本只有 59.0%，「只看空間」的版本更低只有 45.4%。這說(shuō)明：機(jī)器人既要知道「東西在哪」，也要知道「東西怎么用」，才能做好家務(wù)等任務(wù)的執(zhí)行。

在真實(shí)機(jī)器人上能落地，還能處理復(fù)雜任務(wù)

團(tuán)隊(duì)用星動(dòng)紀(jì)元星動(dòng) Q5 測(cè)試了 4 個(gè)常見(jiàn)任務(wù)：開(kāi)柜子、開(kāi)微波爐、開(kāi)電視、關(guān)燈，全部成功；更難的「長(zhǎng)任務(wù)」（「開(kāi)燈 → 找遙控器 → 開(kāi)顯示器」），10 次測(cè)試成功 7 次——而這個(gè)任務(wù)需要機(jī)器人「先解決照明（狀態(tài)影響可見(jiàn)性），再找遙控器（空間定位），最后開(kāi)顯示器（功能控制）」，傳統(tǒng)機(jī)器人根本做不到。

此外，MomaGraph-R1 在視覺(jué)對(duì)應(yīng)任務(wù)上也表現(xiàn)突出，在 BLINK 基準(zhǔn)和 MomaGraph-Bench 的對(duì)應(yīng)任務(wù)中，比最好的開(kāi)源模型分別高出 3.8% 和 4.8%。

五、行業(yè)意義：

家用服務(wù)機(jī)器人離「進(jìn)家門(mén)」又近了一步

MomaGraph 的價(jià)值，本質(zhì)是解決了「機(jī)器人理解家庭場(chǎng)景」的核心難題：它讓機(jī)器人從「只會(huì)按固定程序做事」（比如只會(huì)重復(fù)「推窗戶」），變成「能根據(jù)場(chǎng)景靈活調(diào)整」（比如先看有沒(méi)有把手，再?zèng)Q定轉(zhuǎn)還是推）。

而星動(dòng)紀(jì)元星動(dòng) Q5 這類(lèi)執(zhí)行硬件的參與，更證明了這項(xiàng)技術(shù)不僅僅適用于實(shí)驗(yàn)室——仿人雙臂、移動(dòng)底座、精準(zhǔn)相機(jī)的組合，讓 MomaGraph 的「聰明大腦」有了可靠的「手腳」。未來(lái)，隨著技術(shù)優(yōu)化，我們可能會(huì)看到：機(jī)器人能幫老人燒開(kāi)水、整理柜子，甚至幫上班族準(zhǔn)備早餐——家用服務(wù)機(jī)器人從「概念」走向「實(shí)用」，終于有了清晰的技術(shù)路徑。