[发明专利]基于机器视觉的机器人无序抓取方法和系统及存储介质

说明书

本发明公开了一种基于机器视觉的机器人无序抓取方法及系统。通过搭建kinect相机及机器人的抓取系统，利用所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；根据所述手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取。通过分析机器人无序抓取过程中的算法不足，通过改进现有的算法，以适应机器人所处的复杂环境，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。

技术领域

本发明涉及机器人视觉系统技术领域，尤其涉及3D无序抓取的方法、系统和存储介质。

背景技术

随着机器人市场的迅速扩展和机器人技术的迅速成熟，工业机器人产业迎来了前所未有的良好发展机遇，原本以人为主导的生产模式，逐渐向以工业机器人为主导的生产模式转变。工业机器人的大量运用，促进了我国工业从“制造大国”向“智造强国”的快速转变。

然而，在机器人作业过程中，如何对随意堆放的零部件或者货物进行准确的抓取，成为目前研究的热点问题。在现有技术中，生产线上的机器人大多是通过示教再现或者预编程来实现各种操作，要完成零件的抓取、放置工作必须要经过精确的逐点示教，有很大的局限性、柔性较差。

因此，在机器人作业过程中，如何提高对随意堆放的零部件或者货物进行准确的抓取，即如何利用3D视觉系统提高目标抓取物的识别精度和效率，进而提高机器人的“柔性”，是本领域中迫切需要解决的技术问题。

发明内容

有鉴于此，为了解决现有技术的问题，提高目标抓取物的识别精度和效率，本发明提供一种基于机器视觉的机器人无序抓取的方法、系统和存储介质。

该方法主要基于图像处理算法和人工智能算法，通过对采集到的深度图像进行图像修复、采用结合Fast R-CNN和网络空间迭代的目标点云检测、利用基于欧式距离的聚类算法对点云数据进行分割、采用粗细配准结合的方式实现点云数据的关键点特征提取、匹配，进而实现目标物体的位姿信息识别，在对现有技术中常规的无序抓取流程中的多个实施过程中的不足进行改进，以此提高了机器人的无序抓取的精确度以及机器人的柔性度。

为解决上述技术问题及达到上述技术效果，本发明提供了一种基于机器视觉的机器人无序抓取方法，其主要包括如下步骤：

1)、搭建kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；

2)、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；

3)、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；

4)、根据所述的手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；

为了实现上述方法，本发明还提供了一种基于机器视觉的机器人无序抓取系统，该系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块。

其中，所述图像采集模块，采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；

所述目标物体位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；