過去，如果想讓機器人布置餐桌，需要給它明確的指令，比如：往前走 2 米，抬起 45 度，食物需要擺在餐盤中，叉子擺到盤子的右側(cè)……

現(xiàn)在，只要對機器人說“把這些餐具以合理的形式擺好”，它就能通過與大語言模型交流，學(xué)到怎么擺的常識性知識，然后按照要求把餐具合理地擺出來。

（來源：https://sites.google.com/view/llm-grop）

這項研究來自美國紐約州立大學(xué)賓漢姆頓分校張世琦教授團隊與合作者，他們提出了一種名為 LLM-GROP 的方法，使機器人能夠在復(fù)雜環(huán)境中高效地完成多對象重新排列任務(wù)，在真實環(huán)境中的任務(wù)成功率達 84.4%。

張世琦對 DeepTech 表示：“我們首次將大語言模型的常識知識與任務(wù)與運動規(guī)劃（TAMP，Task and motion planning）任務(wù)結(jié)合。該系統(tǒng)表現(xiàn)出強適應(yīng)能力，支持在動態(tài)障礙的環(huán)境中進行實時調(diào)整?！?/p>

該研究為服務(wù)機器人在開放世界中的語義任務(wù)執(zhí)行提供了新思路，適用于移動操作平臺，即當機器人既需要在任務(wù)層面做離散規(guī)劃，把復(fù)雜任務(wù)分解成一步步動作，又需要在連續(xù)空間里做軌跡規(guī)劃的情況。

圖丨移動機械臂布置餐桌的場景（來源：IJRR）

研究團隊對移動操作（MoMa）領(lǐng)域進行研究，重點關(guān)注機器人同時執(zhí)行導(dǎo)航和移動抓取的任務(wù)。他們還特別關(guān)注如何在給定未明確指定的目標的情況下，計算每個物體應(yīng)該放置的位置和方式。

研究人員利用大模型的豐富常識知識，例如餐具的擺放方式，來促進任務(wù)級和運動級規(guī)劃。此外，他們還使用計算機視覺方法來學(xué)習(xí)選擇基礎(chǔ)位置的策略促進 MoMa 行為。

張世琦舉例說道：“這很像餐廳里服務(wù)員上菜的情景。一方面，服務(wù)員站得離桌子越近越好，另一方面又要與顧客、桌子、椅子以及其他障礙物保持一定的距離。我們用視覺方案來解決站位問題，以兼顧機械手臂和基座的性能表現(xiàn)?！?/p>

（來源：IJRR）

以具體場景為例，來理解機器人在任務(wù)規(guī)劃和運動規(guī)劃之間進行交互：假如機器人想要將餐具擺放到十人餐桌，有人已就座。

在任務(wù)層面，它需要判斷具體從桌子左邊還是右邊走過去更安全。與此同時，機器人在上菜時需要決策先放盤子還是杯子等。而運動規(guī)劃的問題則是：餐桌旁邊已有椅子，應(yīng)該如何調(diào)整站姿，能讓放盤子的成功率和效率都比較高。

（來源：IJRR）

為驗證該系統(tǒng)的效果，該團隊分別在真實機器人和仿真環(huán)境中進行實驗。真實實驗涵蓋三個不同復(fù)雜度的任務(wù)，包括擺放不同數(shù)量的餐具物品，并在有無障礙物的情況下執(zhí)行多次試驗。結(jié)果顯示，LLM-GROP 在可生成合理的對象布局的前提下，還能在復(fù)雜環(huán)境中高效地導(dǎo)航和操作。

其中，在真實世界對象重新排列試驗中，機器人的任務(wù)成功率達到 84.4%。通過主觀人類評估，LLM-GROP 在用戶滿意度方面比現(xiàn)有的對象重新排列方法表現(xiàn)更好。在仿真環(huán)境中，LLM-GROP 的執(zhí)行時間比其他基線方法更短。

研究人員還對比了不同大模型在系統(tǒng)中的作用，發(fā)現(xiàn) GPT-4 在多數(shù)任務(wù)中表現(xiàn)最佳，而 Gemini 和 Claude 則在某些特定任務(wù)中展現(xiàn)優(yōu)勢。

圖丨相關(guān)論文（來源：IJRR）

近日，相關(guān)論文以《LLM-GROP：利用大語言模型實現(xiàn)可視化的機器人任務(wù)與運動規(guī)劃》（LLM-GROP: Visually Grounded Robot Task and Motion Planning with Large Language Models）為題發(fā)表在 International Journal of Robotics Research（IJRR）[1]。

紐約州立大學(xué)賓漢姆頓分校張笑寒博士（目前任職于波士頓動力 AI 機器人實驗室）、丁琰博士（目前任職于鹿明機器人）、博士生速水陽平（Yohei Hayamizu）和扎伊納布·阿爾塔韋爾（Zainab Altaweel）是共同第一作者，張世琦教授擔(dān)任通訊作者。這項研究的合作者還包括美國人形機器人廠家 Agility Robotics 克里斯?帕克斯頓（Chris Paxton）、美國得克薩斯大學(xué)奧斯汀分校彼得?斯通（Peter Stone）教授和朱玉可教授。

（來源：資料圖）

研究團隊計劃在未來的研究中繼續(xù)改進相關(guān)問題。例如，在實際環(huán)境中可能涉及控制等復(fù)雜的問題；進一步探索機器人在抓取時控制器是如何實現(xiàn)的；機器人犯錯后如何恢復(fù)；為機器人提供更好的攝像頭提供更豐富的視覺信息；考慮機器人邊走邊操作的情況等等。

“我們在這次研究中第一次把大模型用在任務(wù)運動規(guī)劃以及移動操作的問題上，未來我們還將探索在現(xiàn)實場景中更多有趣的問題?！睆埵犁硎?。

參考資料：

1.https://doi.org/10.1177/02783649251378196

運營/排版：何晨龍