[发明专利]基于机器视觉的机器人无序抓取方法和系统及存储介质

权利要求书

1.一种基于机器视觉的机器人无序抓取系统，其特征在于：

所述系统包括：图像采集模块、目标位姿估计模块、手眼系统标定模块、机器人抓取模块；其中，所述图像采集模块，采用标定完成的kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；

所述目标位姿估计模块，用于根据图像处理算法执行目标检测、分割、聚类、关键特征的提取、特征配准，估计获得目标物体的位姿信息；

所述手眼系统标定模块，用于依据搭建的kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，同时对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；

所述机器人抓取模块，用于依据所述目标位姿估计模块和所述手眼系统标定模块结果进行坐标转换，向机器人发出控制指令执行目标物体的抓取；

所述系统执行的基于机器视觉的机器人无序抓取方法，包括如下步骤：

1)、搭建kinect相机及机器人的抓取系统，对kinect相机进行自身标定，获得相机的内外参数，再对相机和机器人组成的手眼系统进行标定，获得机器人和相机的空间位置关系；

2)、采用标定完成的所述kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；

3)、对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；

4)、根据所述的手眼系统的标定结果，对所述位姿信息进行坐标转换，向机器人发出控制指令实现所述目标物体的抓取；

所述步骤1)具体包括如下步骤：

11)、在相机标定过程中，设定的坐标系包括图像坐标系，相机坐标系和世界坐标系；其中，图像坐标系包括图像像素坐标系以及图像成像平面坐标系；

12)、通过求解相机的内参矩阵和外参矩阵构成的透视投影矩阵，完成相机的标定；

13)、采用Eye-to-hand的相机安装方式构建视觉系统，先让机器人末端处于不同姿态，对相机与靶标的外参数进行求取，与此同时，记录不同姿态下机器人末端的位置和姿态信息，通过矩阵变换，求解相机相对于机器人坐标系的外参，进而实现机器人手眼系统的标定；

其中，所述步骤2)的预处理过程包括如下步骤：

21)、利用滤波去除噪声；

22)、采用联合双边滤波填补图像中的空洞；

23)、利用中值过滤减少图像边缘的突变；

24)、将处理的结果输入到卡尔曼滤波器中，计算出最终结果；

其中，所述步骤3)的对采集到的所述三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息的具体包括如下步骤：

31)目标检测：采集的深度图像经过上述步骤2)的预处理后，作为目标检测输入图像，将深度图通过卷积过滤器生成特征图，并作为Fast R-CNN网络输入进行训练；在Fast R-CNN网络的ROI层后增加网络迭代层，同时对所述ROI层像素数据进行复制，对所述复制的像素数据进行近似变换获得与原数据近似的像素数据，优化网络结构；具体过程包括：将深度图按照坐标位置像素分割，转换为特征图的三个通道，然后通过CNN提取特征，特征图三个通道分别为水平方向视差、距离地面的高度、法向量与重力的夹角；在Fast R-CNN网络结构的基础上，将网络迭代层加在Fast R-CNN的ROI层之后，使得提取的特征经过网络迭代层后具有一定的旋转不变性，对所述ROI层像素数据进行复制变换，优化网络结构；

32)目标分割、目标聚类具体包括如下步骤：对输入的点云集D先选用三维KD树建立离散点之间的拓扑关系；新建一个缓存队列P；将点Di放入缓存队列P中，对于每个点Di，用k近邻搜索得到N个点，计算这N个点到Di的欧氏距离，将这N个点中到Di的距离小于阈值n的点放在缓存队列P中；在点云集D中，所有点均执行上述过程，当缓存队列P中不再有新的点加入时，迭代过程结束；其中，最大迭代次数、近邻搜索半径、聚类点数、距离阈值按照实际应用场景设置；

33)关键点特征提取、匹配，识别目标物体，获得目标物体的位姿信息，包括如下步骤：

在特征提取与配准阶段，先对模板及目标物体使用ISS-3D算法进行关键点提取，再用SHOT特征进行匹配，使用KD树计算模板点云特征集中离它距离最近的特征，获得一个匹配集合；在匹配过程中，使用聚类方法会产生至少一个匹配结果，采用全局假设检验的方法取一个最优的匹配结果；

在上述匹配之后，使用ICP算法进行细配准，配准完成后，完成当前目标的识别，获得其位姿信息。