來源：市場資訊

（來源：智慧農業(yè)期刊）

引用格式：

陳明猷, 羅陸鋒, 劉威, 韋慧玲, 王金海, 盧清華, 駱少明. 采摘機器人全果園視覺感知及自主作業(yè)綜述[J]. 智慧農業(yè)(中英文), 2024, 6(5): 20-39.

Citation:CHEN Mingyou, LUO Lufeng, LIU Wei, WEI Huiling, WANG Jinhai, LU Qinghua, LUO Shaoming. Orchard-Wide Visual Perception and Autonomous Operation of Fruit Picking Robots: A Review[J]. Smart Agriculture, 2024, 6(5): 20-39.

采摘機器人全果園視覺感知及自主作業(yè)綜述

陳明猷， 羅陸鋒*， 劉威， 韋慧玲， 王金海， 盧清華， 駱少明

（佛山大學機電工程與自動化學院，廣東佛山 528231，中國）

摘要：

［目的/意義］采摘機器人是智慧農業(yè)的重要組成部分，其感知、規(guī)劃、控制相關基礎方法理論目前已有系統(tǒng)化研究。然而，構建具備全果園“感知-移動-采摘”一體化作業(yè)能力的實用型采摘系統(tǒng)仍面臨諸多挑戰(zhàn)。針對該問題，本文調研并報道了本領域近期案例，將全果園自主作業(yè)的關鍵技術劃分為局部目標感知、全局地圖構建和自主作業(yè)行為規(guī)劃三個子問題并進行綜述。

［進展］首先回顧了近距離、局部范圍內水果目標的精細視覺感知方法，包括基于低級特征融合、高級特征學習、RGB-D信息融合，以及多視角信息融合的4種方法；介紹與分析了全局尺度下的果園地圖構建與大規(guī)模場景視覺感知案例；在感知的基礎上，調研分析采摘機器人自主作業(yè)行為規(guī)劃方法，包括底盤移動路徑規(guī)劃、機械臂視點規(guī)劃與避障路徑規(guī)劃等方面的最新研究；最后對采摘機器人自主作業(yè)系統(tǒng)構建案例進行報道與分析。

［結論/展望］感知、移動、采摘模塊的高效協(xié)同是實現(xiàn)采摘機器人從基礎功能樣機進一步邁向實用型機器的關鍵，已有的視覺感知、規(guī)劃與控制算法的魯棒性與穩(wěn)定性均需增強，協(xié)同程度需進一步提高。此外，提及了采摘機器人應用的幾個開放性研究問題，并描述了其未來發(fā)展趨勢。

關鍵詞： 采摘機器人；自主作業(yè)；局部感知；全局建圖；行為規(guī)劃

圖1　采摘機器人自主作業(yè)系統(tǒng)及其關鍵技術內容組織框架圖

Fig. 1 Organizational framework of autonomous operation systems and key technologies for fruit picking robot

圖2　基于低級特征融合方法的局部目標視覺感知效果示意圖

Fig. 2 Schematic diagram of the effects of local target visual perception based on low-level feature fusion method

圖3　基于高級特征學習方法的局部目標視覺感知效果示意圖

Fig. 3 Schematic diagram of the effects of local target visual perception based on high-level feature learning method

圖4　基于RGB-D信息融合方法的局部目標視覺感知效果示意圖

Fig. 4 Schematic diagram of the effects of local target visual perception based on RGB-D information fusion method

圖5　基于多視角信息融合方法的局部目標視覺感知效果示意圖

Fig. 5 Schematic diagram of the effects of local target visual perception based on multi-view information fusion method

圖6　基于視覺方法的果園建圖效果示意圖

Fig. 6 Schematic diagram of the effects of orchard mapping based on vision method

圖7　基于多傳感融合方法的果園建圖效果示意圖

Fig. 7 Schematic diagram of the effects of multi-sensor-based orchard mapping method

圖8　全果園自主移動行為規(guī)劃效果示意圖

Fig. 8 Schematic diagram of the effects of autonomous movement behavior planning in an entire orchard

圖9　局部場景下自主采摘行為規(guī)劃效果示意圖

Fig. 9 Schematic diagram of the effects of autonomous picking behavior planning in local scenes

圖10　代表性采摘機器人系統(tǒng)示意圖

Fig. 10 Schematic diagram of representative picking robot systems

作者簡介

羅陸鋒 博士

通訊作者：羅陸鋒，工學博士，佛山大學教授，博士生導師，佛山市教育系統(tǒng)優(yōu)秀教師，《智能化農業(yè)裝備學報》青年編委、中國農業(yè)機械學會基礎技術分會委員、全國高等學校制造自動化研究會理事。主要從事農業(yè)機器人智能感知與控制、智能工廠關鍵技術研究，主持國家自然科學基金項目2項(面上項目、青年基金)，主持廣東省基礎與應用基礎研究基金-區(qū)域聯(lián)合重點項目1項，主持佛山市重點領域科技攻關項目子課題、廣東省教育廳項目等7項，參與國家重點研發(fā)計劃項目、廣東省重點研發(fā)計劃項目等國家級和省部級重大項目10余項。獲廣東省科技進步二等獎、廣東省教育教學成果一等獎、廣東省機械工程學會科技進步一等獎、中國儀器儀表學會科學技術三等獎等；在《IEEE Robotics and Automation Letters》《Computers in Industry》《Computers and Electronics in Agriculture》《Biosystems Engineering》等權威期刊發(fā)表SCI或EI論文70余篇，獲授權國家發(fā)明專利25件，軟件著作權7件。

陳明猷 博士

第一作者：陳明猷，工學博士，碩士生導師，主要從事機器人智能感知與控制研究，主持國家自然科學基金項目1項（青年基金）、廣東省自然科學基金項目1項（面上項目），參與國家重點研發(fā)計劃、國家自然科學基金項目、廣東省科技計劃項目等5項。發(fā)表SCI/EI高水平論文十余篇，以第一作者發(fā)表ESI高被引論文2篇，中科院一區(qū)Top期刊年度優(yōu)秀論文2篇。獲授權國家發(fā)明專利十余件。獲廣東省科技進步二等獎。擔任《Computers and Electronics in Agriculture》《系統(tǒng)仿真學報》等期刊審稿專家。

來源：《智慧農業(yè)（中英文）》2024年第5期