[发明专利]一种基于深度图像的视觉抓取方法、装置及其可读存储介质

说明书

技术领域

本发明涉及机器人视觉抓取领域，尤其涉及一种基于深度图像的视觉抓取方法、装置及其可读存储介质。

背景技术

机器人视觉抓取在机器人研究领域中是一个非常重要研究方向之一，这种重要性主要体现在其应用场景十分广泛，不仅在工厂装配线上需要大量运用到机械臂视觉抓取来完成装配工作，而且在日常的服务机器人也需要机械臂视觉抓取来完成日常工作，更重要的是随着网购和物联网的兴起，对于仓库中的物品进行智能化分类和挑选也日趋重要，同时机械臂视觉抓取也涉及到多学科交叉，包括自动控制科学、图像处理、机器视觉和计算机图形学等学科。故利用视觉方法对物体进行准确地识别和定位来实现机械臂视觉抓取功能，具有重要意义。

早期的物体识别主要是利用常用的图像处理方法来提取二维图像特征，如颜色特征、SIFT、SURF、ORB，然后再进行特征匹配来对物体进行识别，如果单独利用二维图像信息来对物体识别，这样会丢失物体的三维信息，不仅会对纹理信息较少的物体容易造成误判，还会因为视点、空间和光照的变化而增加对物体识别的不确定性。

而目前对于三维图像的采集，主要利用深度传感器如微软Kinect，来获取物体的RGB-D深度图像，再将深度图像转为三维的点云图像，然后利用三维图像特征提取方法来提取需要识别的物体特征，然后再进行特征匹配对物体进行识别。虽然采用三维图像信息进行物体识别能够很好利用物体的三维信息如外形特征，但没能利用到图像处理方法的优点和利用物体纹理信息，同时也会对相似外形特征的物体造成误判，从而影响到对物体识别的准确性。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于深度图像的视觉抓取方法。不仅能够利用物体的三维外形特征信息，还利用物体的颜色纹理信息来对物体进行识别和抓取，从而提高物体的识别率和物体抓取的准确度。

为了解决上述技术问题，本发明实施例提供了一种基于深度图像的视觉抓取方法，所述方法包括：

步骤1：获取点云图像，通过RANSAN随机抽样一致算法和欧几里德聚类算法来对得到的点云图像进行分割，将需要识别的目标物体分割出来；

步骤2：分别提取所述目标物体的三维全局特征和颜色特征，再将所述三维全局特征和颜色特征融合成一个新的全局特征；

步骤3：利用各物体所述新的全局特征对多分类支持向量机SVM分类器进行离线训练，再利用已训练好的多分类支持向量机SVM分类器根据所述目标物体的新的全局特征进行识别所述目标物体的类别；

步骤4：确定所述目标物体的类别和所述目标物体的抓取位置；

步骤5：根据所述目标物体的类别和所述目标物体的抓取位置，控制机械臂和手爪将所述目标物体抓取并放至指定位置。

进一步地，步骤1-1：通过深度摄像机Kinect来获取点云图像，该点云图像包含物体的位置信息（x,y,z）和颜色信息（R,G,B）；

步骤1-2：在从所述点云图像中分割出目标物体之前，过滤距离所述目标物体较远的点云图像信息和原点云图像的背景信息，得到所述目标物体所处区域的点云图像；

步骤1-3：对所述目标物体所处区域的点云图像，先采用RANSAN随机抽样一致算法将较大的平面物体分割出去，再采用欧几里德聚类算法来获得各个物体的点云图像，最后将较小的点云图像过滤，获得所述目标物体的点云图像。

更进一步地，所述过滤距离所述目标物体较远的点云图像信息的过程为：设定摄像机坐标系中X轴和Z轴的坐标取值范围，过滤超过该坐标取值范围的点云图像信息，得到所述目标物体所处区域的点云图像。

更进一步地，所述步骤2包括：

步骤2-1：对所述目标物体的点云图像进行采样，接着对采样后的点云图像提取法向量信息，再通过所述法向量信息来提取所述目标物体的三维全局特征CVFH描述子，所述目标物体的三维全局特征CVFH描述子以直方图形式表示；

步骤2-2：对分割得到的所述目标物体的点云图像，直接提取所述目标物体的RGB颜色特征，再将所述目标物体的颜色特征由RGB颜色空间转换到HSV颜色空间，获取所述目标物体的HSV颜色特征直方图；

步骤2-3：将所述目标物体的HSV颜色特征直方图与该目标物体的三维全局特征CVFH描述子的直方图进行合并，得到所述新的全局特征。

更进一步地，所述步骤3包括：

步骤3-1：建立各物体的点云图像库，将所述点云图像库作为训练分类器的训练集，提取训练集中各物体点云图像的新的全局特征训练多分类支持向量机SVM分类器；