撰文丨王聰

編輯丨王多魚

排版丨水成文

近幾年，基于大語言模型（LLM）的人工智能，以及機(jī)器人技術(shù)取得了一系列突破性進(jìn)展，將二者結(jié)合的具身智能（Embodied AI）機(jī)器人，擁有無限想象空間。然而，將自然語言指令轉(zhuǎn)化為機(jī)器人的可靠物理動作，仍是該領(lǐng)域面臨的核心挑戰(zhàn)，也就是說，我們?nèi)孕枧ψ寵C(jī)器人能夠“聽懂人話”。

2026 年 3 月 16 日，華為諾亞方舟實驗室（Huawei Noah’s Ark Lab）的研究人員在 Nature 子刊Nature Machine Intelligence上發(fā)表了題為：A robot operating system framework for using large language models in embodied AI 的研究論文。

該研究通過將大語言模型智能體（LLM Agent）與機(jī)器人操作系統(tǒng)（ROS）相結(jié)合，構(gòu)建了一個通用具身智能框架——ROS-LLM，并完全開源，該框架具備以下特性——自動將語言模型輸出轉(zhuǎn)化為機(jī)器人可執(zhí)行指令；支持內(nèi)聯(lián)代碼和行為樹兩種可互換的執(zhí)行模式；通過模仿學(xué)習(xí)實現(xiàn)原子技能的自擴(kuò)展能力；結(jié)合自動化優(yōu)化與人機(jī)交互反饋實現(xiàn)持續(xù)改進(jìn)。經(jīng)多場景驗證（包括長周期任務(wù)、桌面重組、動態(tài)優(yōu)化等），該框架展現(xiàn)出良好的穩(wěn)健性、可擴(kuò)展性和適應(yīng)性。值得注意的是，所有實驗結(jié)果均基于開源預(yù)訓(xùn)練模型實現(xiàn)，且均在真實機(jī)器人（涵蓋固定基座機(jī)械臂和帶機(jī)械臂可行走機(jī)器人）上進(jìn)行，從而為具身智能研究提供了可復(fù)現(xiàn)的解決方案。

這項研究不僅展示了人工智能與機(jī)器人技術(shù)融合的巨大潛力，更為我們描繪了一個更加智能、便捷的未來生活圖景——當(dāng)機(jī)器人能夠真正聽懂人話，人類-機(jī)器人協(xié)作將進(jìn)入一個全新時代。

機(jī)器人的“最后一公里”難題

傳統(tǒng)工業(yè)機(jī)器人雖然精準(zhǔn)高效，但需要專業(yè)工程師編寫復(fù)雜的控制程序。這種專家依賴模式成本高昂，且難以適應(yīng)家庭、實驗室等非結(jié)構(gòu)化環(huán)境。當(dāng)任務(wù)稍有變化，就需要重新編程，這大大限制了機(jī)器人的普及應(yīng)用。

更棘手的是，現(xiàn)實世界充滿不確定性——物體位置變化、環(huán)境動態(tài)調(diào)整、任務(wù)需求多樣，傳統(tǒng)預(yù)設(shè)程序難以應(yīng)對這些挑戰(zhàn)。這正是機(jī)器人從工廠走向家庭的“最后一公里”障礙。

ROS-LLM：連接語言與動作的智能橋梁

ROS-LLM框架的核心創(chuàng)新在于，它巧妙地將大語言模型（LLM）的“思考能力”與機(jī)器人操作系統(tǒng)（ROS）的“執(zhí)行能力”無縫對接。

工作原理：當(dāng)你用自然語言（人話）發(fā)出指令時，大語言模型會理解你的意圖，將其分解為一系列原子動作（例如“移動到咖啡機(jī)前”、“拿起咖啡杯”等），然后生成對應(yīng)的 ROS 代碼，指揮機(jī)器人按步驟執(zhí)行。

三大核心技術(shù)突破——

模仿學(xué)習(xí)新技能：非專家可以通過三種方式教機(jī)器人新動作——視覺觀察、搖桿遙操作或直接手把手教學(xué)。研究團(tuán)隊在廚房模擬環(huán)境中，成功教會了機(jī)器人攪拌、傾倒、拋鍋、擦桌子、調(diào)味和磨碎等烹飪動作。

人類反饋實時修正：就像教小孩子做事一樣，當(dāng)機(jī)器人犯錯時，只需簡單糾正（例如提醒它“別忘了拿刀叉”），它就能立即調(diào)整策略。實驗顯示，在復(fù)雜任務(wù)中，加入人類反饋后成功率顯著提升。

環(huán)境自適應(yīng)能力：如果目標(biāo)物體被移動，機(jī)器人會重新定位并完成任務(wù)。更智能的是，它還能記住這次經(jīng)驗，下次遇到類似情況時自主應(yīng)對，減少對人的依賴。

性能與交互結(jié)果

真實世界的全面驗證

研究團(tuán)隊在三大場景中驗證了框架的實用性：

家庭廚房任務(wù)：UR5 機(jī)械臂成功完成了“煮咖啡”這一包含 12 個步驟的復(fù)雜任務(wù)，從尋找杯子到操作咖啡機(jī)，全程自主完成。

遠(yuǎn)程操控任務(wù)：遠(yuǎn)在歐洲的操作員通過聊天界面，成功控制了位于亞洲的機(jī)器人完成避障抓取任務(wù)，僅有 2-3 秒的延遲。

化學(xué)實驗室自動化：機(jī)器人完全按照自然語言描述的實驗步驟，自主完成了“測試碳酸氫鈉 pH 值”的化學(xué)實驗，包括配制溶液、使用 pH 試紙、觀察顏色變化等精細(xì)操作。

咖啡制作任務(wù)分解為 12 個原子動作

開源開放的生態(tài)優(yōu)勢

與許多依賴商業(yè)大模型的研究不同，ROS-LLM 全部使用開源模型（例如 DeepSeek-7B Coder），確保了技術(shù)的可復(fù)現(xiàn)性和可訪問性。研究團(tuán)隊已將完整代碼開源，任何研究者都可以在此基礎(chǔ)上繼續(xù)創(chuàng)新。

論文中的對比顯示，ROS-LLM 在多個維度上超越了現(xiàn)有方案：同時支持開源模型、人類反饋、環(huán)境反饋、真實機(jī)器人實驗、模仿學(xué)習(xí)、原子動作優(yōu)化、遠(yuǎn)程控制和完整的 ROS 能力。

人人可用的機(jī)器人時代

這項研究的深遠(yuǎn)意義在于，它大幅降低了機(jī)器人使用的技術(shù)門檻。未來，家庭服務(wù)機(jī)器人、實驗室助手、遠(yuǎn)程作業(yè)設(shè)備等，都可能通過自然語言直接控制，無需編程專業(yè)知識。

研究團(tuán)隊表示，最終目標(biāo)是讓機(jī)器人像智能手機(jī)一樣普及，讓每個人都能輕松地與機(jī)器人協(xié)作，完成從家務(wù)到專業(yè)工作的各種任務(wù)。

隨著大語言模型（LLM）的不斷進(jìn)步和機(jī)器人硬件的成本下降，ROS-LLM這樣的框架將加速機(jī)器人進(jìn)入千家萬戶的進(jìn)程。或許不久后，對機(jī)器人說“幫我做晚飯”或“整理一下房間”，就會像今天使用語音助手設(shè)置鬧鐘一樣平常。

論文鏈接：

https://www.nature.com/articles/s42256-026-01186-z