[发明专利]一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法

权利要求书

1.一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，具体步骤如下：

步骤1，相机标定与配准

采用Kinect V2相机获取温室大棚石榴的彩色图像RGB与深度图像D，为较好地融合RGB-D图像特征，采集图像数据之前需要校准RGB图像和深度图像D，使深度图像与彩色图像对齐；

步骤2，采集石榴彩色图像数据与深度图像数据

将机械臂上摄像头的中心位置靠近石榴树冠层最外侧1米，启动图像数据采集程序，获取大量的彩色RGB图像与深度图像D，同时获取RGB-D融合图像保存在电脑里；

步骤3，MaskR-CNN训练

对采集的大量样本RGB-D融合图像的成熟石榴进行标注，然后设计Mask R-CNN的训练网络，对样本进行离线训练；

步骤4，Mask R-CNN检测成熟石榴

采用训练好的网络结构检测出成熟石榴的区域图像；

步骤5，对单个的成熟石榴彩色图像与对应的深度图像进行三维重构，重构出成熟石榴的三维点云；

步骤6，单个成熟石榴点云补全

对单个的成熟石榴点云数据采用3维球体拟合方式补全，获得整个成熟石榴的点云数据；

步骤7，成熟石榴位置定位

对补全后的成熟石榴点云进行中心位置坐标、半径的求取；

步骤8，机械臂运动并定位到成熟石榴位置

机械臂根据需要定位的成熟石榴中心位置带动水果夹定位到指定的位置；

其中，步骤1到步骤3是离线阶段，步骤4到步骤8是在线定位阶段。

2.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：通过张定友相机标定方法获得的RGB图像的固有参数矩阵为K_rgb，深度图像的固有参数矩阵为K_d，与相同的棋盘图像结合，获得的RGB图像的外部参数矩阵为R_rgb和T_rgb，深度图像的外部参数矩阵为R_d和T_d；

步骤1.2：彩色与深度相机的内参分别为K_rgb，K_d，假设彩色图像的像素坐标为P_rgb＝[U_rgb，V_rgb，1]^T，深度图像的非齐次像素坐标为P_d＝[U_d，V_d，1]^T，然后，旋转矩阵R与平移矩阵T将深度图像坐标映射到RGB图像坐标的公式如下：

因此，深度图像的像素坐标与RGB图像的像素坐标之间的映射关系描述如下：

P_rgb＝(R*Z_d*P_d+T)/Z_rgb

利用该公式，通过获取的深度图像的坐标值P_d和像素值Z_d，以及记录距离Z_rgb，来得到对应于点的映射的RGB图像坐标P_rgb；

融合彩色与深度图像构建构建点云的公式为：

其中(x_i，y_i，z_i)是像素i的三维坐标；(u_i，v_i)是像素i的深度像素坐标；D是深度图像；(U_x，U_y)是红外相机的像素坐标的主点坐标；f_x，f_y是红外相机的焦距。

3.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：将采集的摄像头移动到距离树冠最外层距离为1米，启动采集程序，采集RGB彩色图像与深度图像D，同时保存对齐后的RGB与D的融合图像；移动采集平台，每一个方位采集100张图片，保存在电脑里，用于识别训练。