[发明专利]一种基于Mask R-CNN和双目相机的机器人目标定位和抓取方法

权利要求书

1.一种基于Mask R-CNN和双目相机的机器人目标定位和抓取方法，其特征在于，它包括以下步骤：

步骤1：进行相机的标定；

步骤2：进行目标的识别与分割；

步骤3：进行目标的定位；

步骤4：进行目标的位姿计算；

步骤5：进行目标的抓取；

在步骤2中，将双目结构光相机采集的RGB图像作为输入图像送入预先训练好的卷积神经网络Mask R-CNN模型中，通过模型输出图像中目标物体的检测框和Mask，通过对目标物体进行像素点分割，提取目标区域，过滤背景干扰信息。

2.根据权利要求1所述的方法，其特征在于，在步骤2中，目标识别与分割使用Mask R-CNN模型对目标物体识别与分割，模型构建及识别步骤如下：

2-1)进行目标物体数据集的采集，根据需要抓取的目标物体类别，从不同的环境、不同的角度、不同的亮度、不同的姿态下对目标物体进行数据集采集；

2-2)数据增强，采用传统图像几何变换数据增强和利用GAN进行生成式数据增强相结合的方法对数据集进行扩充，对于传统的图像几何变换方法，采用随机裁剪、水平翻转、图像倾斜、添加噪声、图像缩放的对采集的数据集通过亮度变换、添加噪声、剪切、旋转等操作扩充数据集；

2-3)进行目标数据集的标注，使用图像标注工具对采集的图像进行标注；

2-4)进行Mask R-CNN网络模型的优化；

2-5)进行模型迁移学习训练，使用迁移学习方法，将自制好的数据集载入优化后的网络模型中，同时载入使用COCO数据集预训练的模型，提高模型收敛，通过参数优化，对模型进行迭代训练，生成目标识别及分割模型；

2-6)对目标进行识别与分割，从双目相机拍摄的视频流中截取RGB图像传入Mask R-CNN模型中，通过模型识别待抓取的目标物体类别及目标位置，对目标进行分割，输出目标的Mask区域。

3.根据权利要求2所述的方法，其特征在于，在步骤2-4)中，在进行Mask R-CNN网络模型的优化时，采用以下步骤：

(1)进行特征提取网络的修改，通过减小网络层次提高目标识别的速度；

(2)进行RPN区域建议网络的修改，修改锚点尺寸，使模型集中在指定比例中计算，把超出原图尺寸的anchor boxes剔除，通过非极大值抑制(NMS)方法进一步筛选得到感兴趣区域；

(3)进行损失函数的修改；Mask R-CNN损失函数为

L＝L_cls+L_box+L_mask，

其中，L_cls为分类损失函数，L_box为检测损失函数，L_mask为分割损失函数，在L_mask中加入边界损失函数，利用距离损失对分割的位置、形状和连续性进行正则化，使其更加接近目标边界；L_mask-edge优化后的损失函数为

其中，L_edge为边界损失函数，y表示标注的目标边缘，表示预测边界，α是权重系数，B为分割结果的边界，M_dist为对ground-truth分割边界的距离变换。

4.根据权利要求1所述的方法，其特征在于，在步骤1中，进行相机的标定以通过二维的图像信息来获取三维空间位置信息，具体包括以下步骤：

1-1)进行标定板制作；

1-2)进行图像的采集，改变标定板相对摄像机的位置和角度，使用待标定的摄像机从不同角度、不同位置、不同姿态，拍摄标定板多张照片；

1-3)进行标定板角点的检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算标定板角点的物理坐标值；

1-4)进行相机内部参数和外部参数的求解。