[发明专利]一种基于目标检测的连接件装配检测方法和系统

说明书

本发明涉及一种基于目标检测的连接件装配检测方法和系统，方法包括采集原始图像并制作样本图像；通过样本图像对目标检测神经网络模型进行训练，得到最优目标检测神经网络模型和样本预测图；从样本预测图中选定标准图，并制作特征图像集；采集装配过程实时图像并制作待预测图像，通过最优目标检测神经网络模型对待预测图像进行预测，得到预测图像；将预测图像与特征图像进行比对，确定预测图像中的每个连接件；通过当前时刻和上一时刻的预测图，判断当前时刻被装配连接件、被装配连接件位置和装配情况。本发明能够在保证检测准确性和检测实时性的前提下，实现连接件识别，装配过程判断，更适用于机械装配领域。

技术领域

本发明涉及一种基于目标检测的连接件装配检测方法和系统，属于智能制造和装配过程监测技术领域。

背景技术

机械装配是机械制造业中重要的组成部分，是按照技术要求，实现机械零件、部件的组合，完成机器组装的过程。装配过程监测是机械装配中保证产品质量的重要手段。目前主要有三类装配过程监测方法，分别是监测操作人员，监测装配体和监测装配力/力矩。通过图像识别、目标检测、实例分割等机器视觉技术识别装配体上的各类连接件及其姿态，判断装配体错装、漏装问题是装配体监测的常用手段。

当前，应用图像信息实现机械装配连接件识别主要涉及三类方法。第一类为传统的匹配算法，因为机械装配连接件形状、颜色相近，直接采用该方法会导致识别误差大，识别精度低的问题。第二类为目标检测算法，该方法能够将连接件在图像中框选，并且识别速度快，但是无法识别被检测连接件序号，不适用于变化场景中的目标识别。第三类为实例分割算法。该方法虽然能同时识别机械装配连接件序号、类型及位置。但该方法计算量大，所需计算设备性能较高并且检测实时性差。

发明内容

为了克服上述问题，本发明提供一种基于目标检测的连接件装配检测方法和系统，该检测方法和系统能够在保证检测准确性和检测实时性的前提下，实现连接件识别，装配过程判断，更适用于机械装配领域。

本发明的技术方案如下，

技术方案一：

一种基于目标检测的连接件装配检测方法，包括以下步骤：

采集原始图像,所述原始图像包括连接件装配过程中各时刻的状态图，对所述原始图像进行预处理，对所述原始图像中的连接件和装配工具进行标注，得到样本图像及包含标注信息的文档；

建立用于检测连接件和装配工具的目标检测神经网络模型，通过所述样本图像及所述文档对所述目标检测神经网络模型进行训练，得到最优目标检测神经网络模型和若干样本预测图；选定一所述样本预测图作为标准图，通过标准图获取若干特征图像，每一所述特征图像包含一连接件，将各特征图像整合为特征图像集；

检测连接件装配情况时，采集当前时刻待检测图像，所述待检测图像为装配过程实时图像，对所述待检测图像进行预处理，得到待预测图像；通过所述最优目标检测神经网络模型对所述待预测图像进行预测，得到预测图像；

将每一时刻所述预测图像与所述特征图像集中的特征图像进行对比，确定各预测图像中的各连接件；

选取当前时刻和上一时刻两时刻的预测图像；根据当前时刻预测图像连接件和装配工具的关系，确定当前时刻被装配连接件；根据两时刻连接件和装配工具的关系判断装配情况。

进一步的，所述对原始图像进行预处理包括对图像进行降噪处理、转化为设定尺寸和归一化处理；所述原始图像包含RGB信息和深度图像信息；所述标注为对所述原始图像中的连接件和装配工具进行框选，得到矩形框和文档，所述文档包括各矩形框的坐标、尺寸和类型。

进一步的，所述建立用于检测连接件和装配工具的目标检测神经网络模型，通过所述样本图像及所述文档对所述目标检测神经网络模型进行训练，得到最优目标检测神经网络模型和若干样本预测图具体包含以下步骤：