[发明专利]针对复杂背景下的机器人抓取位置的检测方法

说明书

本发明请求保护一种利用深度图片信息基于深度学习的复杂环境下抓取检测方法，属于机器人抓取领域。该方法包括步骤：获得深度图和RGB图片，定位目标物体的位置和轮廓。将目标物体的深度图片轮廓和RGB图片轮廓进行匹配，提取出可抓取物体的区域。在目标区域回归出物体的抓取框，并选取合适的抓取角度。本发明能够有效避免对平面物体的误识别，提高了抓取速度和精度。

技术领域

本领域属于机器人抓取领域，具体涉及到深度图片的处理、目标物体的边缘匹配和抓取位置检测。

背景技术

目前机器人抓取位置检测算法广泛应用在各个领域。服务机器人的兴起以及工业生产自动化程度的提高以及物流等行业的飞速发展使得机器人抓取在生产生活中得到了越来越多应用。在未来，居家养老机器人，商场服务机器人，办公室清洁机器人都有着广阔的发展空间。

抓取作为机器人的一项重要功能，机器人要实现一次成功的抓取操作，首先要确定抓取位置。准确迅速地识别出抓取位置是现阶段机器人领域研究的一个重要方向。实现抓取首先要从外界获取信息，准确的信息需要先进的传感器。随着科技的不断发展，传感器技术也有了很大的提高。在机器视觉，自动驾驶等技术的推动下，通过深度相机进行物体识别，行为识别，场景建模的相关应用越来越多。通过深度相机能检测出拍摄空间的景深距离，利用景深距离可以估算出物体距离摄像机的位置，丰富了外界信息的内容。

现实生活中除了要面对复杂的图像信息，现有的抓取检测算法无法区分出平面纹理与立体图形的区别。存在将平面图案误识别为立体图形的情况。在复杂的背景图案下，抓取位置的确定将受到极大的影响。如果有遮挡存在，被遮挡的目标物体的抓取位置也将很难确定。由于外界大量干扰因素的存在，机器人需要处理大量的信息，确定目标物体来迅速准确定位物体的位置进而计算出抓取框信息，算法性能有待提升。

发明内容

本发明旨在解决以上技术问题，提出了一种基于深度学习并利用深度图片信息的检测方法，本发明的技术方案如下。

S1.通过Kinect照相机提取RGB-D图片。

S2.提取目标所在区域U并分割出目标物体轮廓Img_RGB。

S3.在U区域中对RGB-D中的depth map进行图像预处理，提取图像轮廓Img_depth。

S4.对Img_depth和Img_RGB进行对比。计算区分度若区分度ζ，保留存在三维立体目标物体的区域T。

S5. 提取目标物体存在区域T处图片特征，进行抓取检测得到用圆形表示的抓取位置C={x，y，d，，p}。

步骤S4通过计算区域U中RGB图片和depth map图片轮廓的区分度ζ，对图片进行匹配：。

表示RGB图片分割后得到的轮廓的像素值。

表示处理后depth map中对应位置的像素值。

表示RGB图片中提取出轮廓的像素值为0的个数。

ζ表示Img_RGB图片与Img_depth中图片轮廓的区分度。

步骤S4通过二值化的像素值用0和1表示。那么就用RGB图片分割出的轮廓的每一个像素去减相同位置的depth中的像素。像素值相同相减后为0，否则为1。整个轮廓对应位置的像素值相同的越多，ζ越小，存在立体图形的可能性更大；对应位置的像素值相同的越少，ζ越大，存在立体图形的可能性越小。

匹配成功则认为该区域存在立体目标物体，对该区域进行抓取位置检测。若不存在，则放弃该区域。

步骤S5对抓取位置进行预测，抓取位置预测的结果用圆形表示抓取位置C={x，y，d，，p}，其中用（x，y）坐标表示圆形的圆心；d为圆形的直径，用来表示夹持器需要张开的长度；表示抓取方向与水平方向的夹角。