[发明专利]一种基于局部点云的葡萄位姿估计方法

说明书

本发明提供了一种基于局部点云的葡萄位姿估计方法，包括如下步骤：采集葡萄的原始点云数据；把葡萄颗粒进行实例级分割并进行二值化处理，索引葡萄颗粒分割区域的点云数据；滤波处理；采用椭球曲面来计算葡萄颗粒外表面的几何外形尺寸；基于迭代最近点算法点的点云配准；基于遗传算法进行葡萄颗粒几何模型参数调优；将每个葡萄颗粒的最佳模型的中心点分别记为每个葡萄颗粒的三维形心；拟合出用于葡萄串采摘位姿求解的直线L₁；采摘机器人末端执行器的位姿求解。该方法可求解出葡萄串相对于采摘机器人的位姿，为采摘机器人合理性采摘葡萄串提供相应的解决方法，避免由于采摘姿态不合理而导致葡萄脱落与损坏。

技术领域

本发明涉及智能采摘机器人技术领域，更具体地说，涉及一种基于局部点云的葡萄位姿估计方法。

背景技术

我国是葡萄产量较多的国家，且近年来葡萄采摘需求量日益增多，全自动采摘机器人的研发重要性不言而喻。但是在现有的机器人采摘作业中，对于葡萄采摘机器人的采摘位姿研究研究相对较少，采取较为普遍方法是通过果实、果梗图像识别，确定果实的位置然后进行直接抓取，较少考虑葡萄采摘机器人的抓取姿态的问题。

由于葡萄皮薄肉嫩，在采摘机器人的采摘作业中，机器人机械手与葡萄果体直接刚性接触，不合理的采摘姿态容易造成葡萄脱落与损坏。而面对果梗被葡萄叶大量枝叶遮挡，视觉系统无法直接获取采摘点的位置；且现有基于串型果实的识别，仅仅是提供了果实的采摘位置，由于葡萄串形状不规则形，因此难以求解其姿态。因此机器手该以一个合理位姿去抓取形状不规则的串型葡萄，是目前采摘机器人领域需要亟待攻克的难题之一。

发明内容

为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于局部点云的葡萄位姿估计方法；该方法可求解出葡萄串相对于采摘机器人的位姿，为采摘机器人合理性采摘葡萄串提供相应的解决方法，避免由于采摘姿态不合理而导致葡萄脱落与损坏。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于局部点云的葡萄位姿估计方法，其特征在于：包括如下步骤：

S1、利用ZED双目相机在种植园采集葡萄的原始点云数据；

S2、利用深度学习的目标检测Mask R-CNN模型，把葡萄颗粒在复杂的背景进行实例级分割，并对葡萄颗粒区域进行二值化处理，索引葡萄颗粒分割区域的点云数据，从而获取除去背景的葡萄颗粒原始点云数据；

S3、利用统计滤波方法对葡萄颗粒原始点云数据的大尺寸噪声进行处理；利用双边滤波方法对葡萄颗粒原始点云数据的小尺寸噪声进行处理；

S4、将葡萄颗粒原始点云数据的离群点删除；

S5、采用椭球曲面来计算葡萄颗粒外表面的几何外形尺寸；

S6、基于迭代最近点算法点的点云配准：通过迭代最近点算法求取葡萄颗粒的离散点云集与离散的葡萄颗粒点云集的最佳平移向量T和旋转矩阵R，并对点集移动后的位置进行评估；

S7、基于遗传算法的葡萄颗粒几何模型参数调优；

S8、基于遗传算法求得每个葡萄颗粒的最佳模型，将每个葡萄颗粒的最佳模型的中心点分别记为每个葡萄颗粒的三维形心C(x_C,y_C,z_C)；

S9、葡萄串的三维形心点集设为O₁{C₁,C₂,…,C_n},对于点集O₁采用点云库中随机样本一致性算法拟合一条用于葡萄串采摘位姿求解的直线L₁；

S10、采摘机器人末端执行器的位姿求解：建立葡萄坐标系，求解葡萄坐标系在相机坐标系下的位姿便以求得葡萄串相对于相机坐标系的位姿；再经过仿射变换，求得葡萄串相对于采摘机器人的位姿。