[发明专利]一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法

说明书

本发明公开了一种基于Mask R‑CNN与3维球体拟合的成熟石榴定位方法，涉及农业机器人水果采摘定位领域，水果快速准确定位是采摘机器人实现准确采摘的前提。本发明采用Kinect V2.0采集石榴彩色图像RGB及深度图像D，首先对采集的彩色图像RGB采用Mask R‑CNN快速定位到成熟石榴的图片位置，然后根据成熟石榴的RGB图片分割出对应的深度图片，采用相机标定参数与旋转矩阵进行三维点云重建，最后对单个的成熟石榴点云数据采用基于最小二乘算法拟合球体的方式补全成熟石榴点云，获得完整的成熟石榴点云数据，并定位到目标石榴。该发明综合彩色图像RGB及深度图像D定位成熟石榴，克服了仅用RGB图像定位法的果实实际尺寸难获得的缺点，同时克服了多方位点云数据融合的复杂匹配过程，大大提高了水果定位的实时性与精度。

技术领域

本发明涉及农业机器人水果采摘定位，特别涉及一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法。

背景技术

目前水果定位方法研究较多，主要采用彩色图像对水果进行分割，RGB与D图像对水果进行分割，或者采用激光点云数据对水果进行分割，这些方法具有明显不足：

(1)只采用2维RGB图像对水果进行分割，虽然在彩色图像中能实现较高的分割准确率，但是针对采摘的空间三维信息比较难实用；

(2)采用RGB与D结合的方法对水果进行分割，分割效率提高了，但是极少研究对水果进行补全，找到合适的中心坐标参数与几何尺寸；

(3)仅采用三维激光点云对水果进行分割识别与定位，但是激光点云设备比较昂贵且不便于作为机械臂的传感器。

发明内容

本发明的目的在为了解决以上技术问题，采用经济实用的Kinect v2作为采集设备，采用离线训练在线检测的方式对水果进行定位，主要研究内容：(1)对摄像机进行标定，获得摄像机内部参数与外部参数，对采集的彩色图像与深度图像进行配准对齐；(2)设计Mask R-CNN的网络结构，对待训练样本进行标注，训练网络结构；(3)在线检测成熟石榴，对检测到的成熟石榴进行三维重构；(4)采用最小二乘拟合球体方法补全成熟石榴点云，获得成熟石榴中心坐标参数以及几何尺寸。

本发明采用的具体技术方案如下：

一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，具体步骤如下：

步骤1，相机标定与配准，采用Kinect V2相机来获取温室大棚石榴的彩色与深度图像，为较好地融合RGB-D图像特征，采集图像数据之前需要校准RGB图像和深度图像D，使深度图像与彩色图像对齐。

步骤2，采集水果彩色图像数据与深度图像数据，将采集机械臂摄像头靠近石榴树冠层最外侧1米，启动图像数据采集程序，获取大量的彩色RGB图像与深度图像D，同时获取RGB-D融合图像保存在电脑里。

步骤3，Mask R-CNN训练，对采集的大量样本RGB-D融合图像的成熟石榴进行标注，然后设计Mask R-CNN的训练网络，对样本进行离线训练。

步骤4，Mask R-CNN检测成熟石榴，采用训练好的网络结构检测出成熟石榴的区域图像。

步骤5，对单个的成熟石榴水果彩色图像与对应的深度数据进行三维重构，重构出成熟石榴的三维点云。

步骤6，单个成熟石榴点云补全，对单个的成熟石榴点云数据采用3维球体拟合方式补全，获得整个成熟石榴的点云数据。

步骤7，成熟石榴位置定位，对补全后的成熟石榴点云进行中心位置坐标、半径的求取。

步骤8，机械臂运动并定位到成熟石榴位置，机械臂根据需要定位的成熟石榴中心位置带动水果夹定位到指定的位置。