[发明专利]一种基于深度学习的装配体零件相对位姿估计监测方法

说明书

本发明涉及一种基于深度学习的装配体零件相对位姿估计监测方法，包括以下步骤：通过摄像机拍摄目标装配体不同角度的图像，并通过采集的图像建立样本数据集；通过深度学习网络对样本数据集进行特征提取和3D关键点检测，获取装配体中各零件的3D关键点集；根据采集的图像进行语义分割，区分图像中不同零件；根据各零件的3D关键点集和点云数据集，利用最小二乘拟合算法得出各零件在相机坐标系下的位姿预测值；选取一零件作为参考系零件，以参考系零件的几何中心为原点建立世界坐标系，并计算参考系零件在相机坐标系下的位姿真实值；分别计算各其他零件与参考系零件的相对位姿关系，所述相对位姿关系包括空间几何距离、相对旋转矩阵和相对角度。

技术领域

本发明涉及一种基于深度学习的装配体零件相对位姿估计监测方法，属于计算机视觉和智能制造技术领域。

背景技术

计算机视觉对智能制造业改革升级具有重要意义，尤其是深度学习网络大量涌现促进了现代工业的发展。传统的人工装配作业中，工人需要对照装配工艺图纸，装配信息繁琐和可视化程度低，造成工人理解困难和装配效率较低，同时需要对装配体进行装配质量检查，检验环节繁杂，复核信息记录多以纸质文件记录为主，耗时耗力，容易造成装配零件位置错误，装配质量无法保证。

自动化工业流水线装配体零件是通过特殊设计的工装固定其位置，以便于机械手进行装配，当工作环境突然改变或加工产品升级换代时，需要对装配体零件进行拆除换新，重新检查装配体零件的位置姿态。为了有效监测装配体零件位置姿态，提高生产速度和产品质量，迫切需要一种辅助监测装配体零件位置姿态的方法，而6自由度位姿估计能够估计物体在空间中位置姿态信息，对装配体零件监测有重要帮助。

目前对普通物体进行位姿估计的算法很常见，这是因为普通物体具有清晰的纹理和颜色特征，也不会产生强烈的反光现象，因此很多经典的基于模板位姿估计算法和基于特征点法的姿态估计算法都能够较为准确地估计物体姿态，继而完成后续任务。但是多数的机械零件都具有无纹理、无颜色以及反光特征，同时在装配体零件中具有严重的遮挡现象，这都给零件的位姿估计带来挑战。当前对于机械零件位姿估计也多是针对散落的零件进行研究，估计单一零件在相机坐标系下的位姿，缺乏整体相关性，未能对装配体零件进行各零件之间的相对位姿估计。因此，装配体零件6自由度相对位姿估计具有重要实用价值意义。

发明内容

为了解决上述现有技术中存在的问题，本发明提出了一种基于深度学习的装配体零件相对位姿估计监测方法，通过对装配体拍摄不同角度的图像，避免装配体各零件存在互相遮挡的现象；同时，选择一零件作为参考系零件，计算其他零件和参考系零件的相对位姿关系，相较于仅估计零件在相机坐标系下的位姿，能够监测各零件间的关系，通过零件间的关系判断装配体是否合格。

本发明的技术方案如下：

一种基于深度学习的装配体零件相对位姿估计监测方法，包括以下步骤：

建立装配体零件数据集，通过摄像机拍摄目标装配体不同角度的图像，并通过采集的图像生成装配体中不同零件对应的点云数据集，建立样本数据集；

选择3D关键点，通过深度学习网络对所述样本数据集进行特征提取，获取装配体中每个零件的表面信息和几何信息，对各零件的表面信息和几何信息进行特征融合，得到各零件的逐点特征；对各零件的逐点特征进行3D关键点检测，获取装配体中各零件的3D关键点集；

分割零件，根据采集的图像进行语义分割，识别并分割出图像中装配体的不同零件；

预测零件位姿，根据分割出的图像中各零件的3D关键点集和点云数据集，利用最小二乘拟合算法得出各零件在相机坐标系下的位姿预测值，所述位姿包括零件在相机坐标系下的旋转矩阵和偏移矩阵；

设定参考系，选取一零件作为参考系零件，以参考系零件的几何中心为原点建立世界坐标系，通过世界坐标系与相机坐标系之间的转换关系计算参考系零件在相机坐标系下的位姿真实值；