[发明专利]一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统

说明书

本发明公开了一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统，是先采用图像深度分割子系统对树上柑橘进行图像分割，得到深度分割图像；然后采用向量机果实识别子系统对深度分割图像进行识别，得到不同描述信息，形成柑橘区域信息矩阵，获得图像中被正确识别的柑橘区域；再采用采摘顺序规划子系统对柑橘区域中的果实目标进行采摘顺序规划，得到树上柑橘的先后采摘序号，以引导采摘机械手有序采摘树上柑橘果实。本发明可以满足树上果实多目标采摘的精准性、有序性和实时性要求，有效缩短采摘机械手的运动距离，节约整体采摘时间。

技术领域

本发明涉及果实采摘领域，特别涉及一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统。

背景技术

采摘机器人在采摘果实时，首先要识别出果实的位置，在树上有多个果实的情况下，还需要对采摘的顺序进行规划。传统的视觉分割方法在限定条件下能够完成识别任务，但其稳定性低，无法同时克服树上柑橘识别所存在的受外界环境因素影响大、干扰目标多、实时性需求高等难题。在需要完成多目标采摘的情况下，进行合理的采摘顺序规划可以极大提高采摘机器人的作业效率，节省能耗。国内外学者开展了采摘机器人多目标采摘顺序规划的相关研究，Zion B.(Harvest-order planning for a multiarm roboticharvester[J].Computers and Electronics in Agriculture,2013,103(2):75–81.)提出了甜瓜采摘机械手的目标识别与多机械任务分配方法，根据机器人的速度、臂数、机械手横向加速度和果实处理时间相结合确定最优的机械手收获分配次序；但是该方法主要针对多个机械手协作时采摘任务的分配，没有针对单个机械手进行采摘任务规划研究。滕举元(六自由度采摘机械臂运动及任务规划研究[D].重庆:重庆理工大学,2017.)对采摘机械臂连续采摘多个果实进行任务规划策略研究，提出了基于“关节角度加权最小”的任务规划方法，实现采摘机械手多任务的能量节约效果；但是该方法没有考虑果实的大小等因素，也没有设计实际机器人采摘试验进行方法验证。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种精准识别、合理规划、采摘效率高的树上柑橘的视觉识别与采摘顺序规划方法。

本发明的另一目的在于提供一种上述树上柑橘的视觉识别与采摘顺序规划的仿真系统，以进一步验证采摘效果，并可用于采摘机器人的实际采摘过程。

本发明的目的通过下述技术方案实现：

一种树上柑橘的视觉识别与采摘顺序规划方法，包括下述步骤：

(1)先采用图像深度分割子系统对树上柑橘进行图像分割，得到深度分割图像；

(2)然后采用向量机果实识别子系统对深度分割图像进行识别，得到不同描述信息，形成柑橘区域信息矩阵，获得图像中被正确识别的柑橘区域；

(3)再采用采摘顺序规划子系统对柑橘区域中的果实目标进行采摘顺序规划，得到树上柑橘的先后采摘序号，以引导采摘机械手有序采摘树上柑橘果实。

所述图像深度分割子系统包括图像获取模块、图像配准模块和深度分割模块；是先通过图像获取模块来获取所需识别区域的彩色图像与深度图像；然后通过图像配准模块对分辨率大小不一致的彩色图像与深度图像进行配准，得到配准后的彩色图像；再通过深度分割模块来分割去除机械手采摘域以外的冗余图像信息，得到深度分割图像。

所述配准，是根据所述彩色图像与深度图像的分辨率大小及视场角参数，进行矩阵变化，公式如下：

其中，(x,y)为彩色图像坐标，(X,Y)为深度图像坐标，获取深度图像像素位置中对应的彩色图像像素值，从而实现图像配准。

所述的深度分割模块，是在获得所述配准后的彩色图像后，计算采摘机械手活动范围与摄像机有效拍摄范围的交集，通过二值化处理与掩膜操作去除交集外的冗余图像信息，得到深度分割图像。