[发明专利]一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统

权利要求书

1.一种树上柑橘的视觉识别与采摘顺序规划方法，其特征在于包括下述步骤：

(1)先采用图像深度分割子系统对树上柑橘进行图像分割，得到深度分割图像；

所述图像深度分割子系统包括图像获取模块、图像配准模块和深度分割模块；是先通过图像获取模块来获取所需识别区域的彩色图像与深度图像；然后通过图像配准模块对分辨率大小不一致的彩色图像与深度图像进行配准，得到配准后的彩色图像；再通过深度分割模块来分割去除机械手采摘域以外的冗余图像信息，得到深度分割图像；

(2)然后采用向量机果实识别子系统对深度分割图像进行识别，得到不同描述信息，形成柑橘区域信息矩阵，获得图像中被正确识别的柑橘区域；

所述向量机果实识别子系统包括柑橘块分类模型模块和柑橘块语义分割模型模块，先通过柑橘块分类模型模块找出含有柑橘的图像块，然后通过柑橘块语义分割模型模块对含有柑橘的图像块分割出属于柑橘的像素点；

(3)再采用采摘顺序规划子系统对柑橘区域中的果实目标进行采摘顺序规划，得到树上柑橘的先后采摘序号，以引导采摘机械手有序采摘树上柑橘果实；

所述采摘顺序规划子系统，是对于图像中所有被正确识别的柑橘区域，根据每个区域的面积大小、深度距离以及亮度直方图标准差信息，依次进行相应的升序或降序排序，最终得到柑橘的采摘顺序并在图像中标记出序号，进而引导机械手有序采摘树上柑橘果实；

所述采摘顺序规划子系统在对柑橘采摘顺序进行排序时，首先根据柑橘每个区域面积进行降序排列；当柑橘每个区域面积一致时，根据每个区域的深度距离进行升序排列；当所述深度距离一致时，根据每个区域的亮度直方图标准差进行降序排列；所述亮度直方图标准差σ的计算公式为：

其中，X_i表示灰度级的随机变量，P(X_i)表示一个区域的直方图中灰度级X_i的频数，L表示可能的灰度级数，X表示平均亮度。

2.根据权利要求1所述的树上柑橘的视觉识别与采摘顺序规划方法，其特征在于：所述向量机果实识别子系统的操作步骤是：提取所述深度分割图像的颜色特征和纹理特征后，输入所述柑橘块分类模型模块，得到块分类标签矩阵；然后提取块分类标签的颜色特征，输入所述柑橘块语义分割模型模块，得到块像素维度标签矩阵；通过对所述块像素维度标签矩阵进行阈值化与形态学处理，获得图像中被正确识别的柑橘区域，继而提取柑橘区域信息，包括柑橘区域的面积、深度及亮度直方图标准差信息，最终形成柑橘区域信息矩阵。

3.根据权利要求1所述的树上柑橘的视觉识别与采摘顺序规划方法，其特征在于：所述柑橘块分类模型模块和柑橘块语义分割模型模块，在使用之前需要先进行训练，采用Opencv的支持向量机模块，通过训练获得支持向量机模型；对柑橘块分类模型模块的训练步骤是：输入深度分割图像并将其剪裁为多个绿色柑橘块，采用颜色特征和纹理特征对绿色柑橘块分类模型进行描述，用于所述的柑橘块分类模型训练，获得第一个支持向量机模型；对柑橘块语义分割模型模块的训练步骤是：输入深度分割图像并将其剪裁为多个绿色柑橘块，以像素点为分类维度，采用颜色特征对所述柑橘块语义分割模型进行描述，用于所述的柑橘块语义分割模型，获得第二个支持向量机模型。

4.根据权利要求2所述的树上柑橘的视觉识别与采摘顺序规划方法，其特征在于：所述的柑橘块语义分割模型模块，是以像素点为分类维度，利用颜色特征对柑橘块语义分割模型进行描述，对所述块分类标签矩阵对应的颜色特征进行语义分割，得到块像素维度标签矩阵，通过判断所述块像素维度标签矩阵中属于果实的像素点，精确识别并定位柑橘区域，继而提取柑橘区域信息，形成柑橘区域信息矩阵。

5.根据权利要求2或3所述的树上柑橘的视觉识别与采摘顺序规划方法，其特征在于：所述颜色特征为YCbCr、YIQ和LAB颜色空间中的Cb、Cr、I、B颜色分量，所述纹理特征为增加局部梯度信息的局部二值模式CS-LBP纹理特征。

6.一种树上柑橘的视觉识别与采摘顺序规划的仿真系统，其特征在于：是采用权利要求1～5中任一项所述的树上柑橘的视觉识别与采摘顺序规划方法，包括下述步骤：

(1)根据实际实验场景进行三维建模，通过获取所述向量机果实识别子系统定位的柑橘区域三维坐标，确定仿真系统各个采摘点三维坐标；

(2)根据所述采摘顺序规划子系统得出的柑橘采摘序号，依次引导仿真机械手至各个采摘点，进行顺序采摘；

(3)将总体采摘时间与路程反馈于采摘顺序规划子系统，用于验证并比较规划方法的有效性，进而进一步调整规划方法，并用于实际采摘。