近，浙江大學公布了“基于人類動作預測模型的多指靈巧手操作強化學習方法”的新專利，屬于人形機器人靈巧手具身操作領域。

來源：章國鋒.基于人類動作預測模型的多指靈巧手操作強化學習方法

隨著具身智能技術的快速發(fā)展，如何以數(shù)據(jù)驅動方式賦予人形機器人通用操作技能，已成為當前機器人領域的研究熱點。其中，多指靈巧手憑借仿人化結構設計，可在多種復雜場景下完成精細操作，實現(xiàn)擬人化的多指靈巧操控，是邁向通用人形機器人的關鍵環(huán)節(jié)。

在數(shù)據(jù)驅動的多指靈巧手操作學習領域，現(xiàn)有方法主要分為三類。

第一類為傳統(tǒng)強化學習方法，該類方法依靠獎勵函數(shù)驅動智能體進行大量探索，通常需要針對不同任務重新設計獎勵函數(shù)。

第二類方法直接利用數(shù)據(jù)集中的人手軌跡，通過重映射生成靈巧手的專家軌跡，再借助模仿學習復現(xiàn)對應的操作行為。

第三類方法基于神經網絡，根據(jù)預先硬編碼的物體軌跡預測靈巧手的未來運動軌跡，并結合殘差強化學習對底層控制進行優(yōu)化。

當前主流方法均有一些短板。第一類方法受限于靈巧手遠超平行夾爪的空間自由度和復雜度，訓練時探索空間過大，導致收斂速度慢、成功率不穩(wěn)定；同時，靈巧手與物體的非線性交互特性，需人工針對不同場景設計獎勵函數(shù)，難以實現(xiàn)通用化。第二類方法過度依賴人類數(shù)據(jù)記憶，泛化能力薄弱，無法應對全新物體和位姿，且忽視了對被操作物體的感知與理解。第三類方法需預先掌握物體完整軌跡，不僅增加了開放世界部署成本，還對物體初始位姿要求極高，難以處理位姿偏離訓練數(shù)據(jù)的情況。

綜上，現(xiàn)有方法多單純模仿人手行為，忽視物體感知理解及人手-物體交互的整體建模，導致其在不同物體、位姿和任務下泛化性能不佳。因此，引入物體感知理解、實現(xiàn)人手-物體交互過程整體預測，成為亟待解決的核心技術難題。

針對這一痛點，浙大團隊提出了一套高效解決方案。團隊利用標注了人手與物體三維位姿的數(shù)據(jù)，訓練人類動作預測模型，實現(xiàn)了人手與物體交互三維軌跡的泛化生成。基于該預測軌跡，團隊構建通用獎勵函數(shù)，應用于仿真環(huán)境中靈巧手強化學習策略的訓練。隨后，通過仿真參數(shù)域隨機化與課程學習，有效提升策略從仿真到現(xiàn)實的遷移性能，最終將訓練成熟的強化學習策略成功部署至真實機器人系統(tǒng)，為靈巧手的實用化應用提供了可行路徑。

此專利通過引入對被操作物體的未來姿態(tài)的理解，將人手和物體的交互過程作為一個整體來預測，并基于此構建統(tǒng)一、簡潔、高效的獎勵函數(shù)，適用于不同的操作任務、不同類型的靈巧手，具有泛化性強、成功率高、獎勵函數(shù)通用性強等優(yōu)點。

來源：章國鋒.基于人類動作預測模型的多指靈巧手操作強化學習方法