[发明专利]一种用于工件安装关键工序视觉检测与定位的方法及装置

说明书

本申请公开了一种用于工件安装关键工序视觉检测与定位的方法及装置，属于视频行为识别领域。在进行工件安装工序检测和定位时，首先采集工件安装过程视频图像，提取图像特征用于待检测工序的粗定位；根据粗定位的结果以及工件整个安装工序所需的时间，截取工件安装中待检测工序的视频；将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征，并进行分类，根据分类结果判断工件安装工序是否合格。本申请的装置能够实现本申请的相应方法步骤。本申请能够对工件安装工序视频进行有效的检测和定位，解决了现有技术对工厂中工件安装工序检测效果不佳的问题。

技术领域

本发明属于视频行为识别领域，具体涉及一种用于工件安装关键工序视觉检测与定位的方法及装置。

背景技术

在生产批量大，技术密集的机械工业部门，如地铁、高铁、船舶等关键零部件的安装中，很多工序中微小的动作差异将会对整个生产的质量有巨大的影响，工序不仅是产品零部件制造过程的基本环节，也是形成产品质量的基本环节，因此工序质量是企业现场质量控制的主要对象，也是生产现场质量保证体系中的关键。

一些重要部件的安装工序由于工作量大、重复性高、对动作规范的要求严格，容易产生疲劳，造成各类人为质量问题(如螺丝松弛、脱落等)以及关键工序的动作是否准确有序完成等这些问题尤为重要。目前，对于多数工厂，多通过视频监控，采集工件安装过程的视频，然后将视频回传到后台服务器，然后通过人工查看视频的方式，对工件的安装过程进行目检，但是单纯依靠人工目检的方式进行检查，效率低下，管控效果差，不能很好的保证产品过程质量。

为了更高效的对安装工序进行检测，现有技术中提出了利用深度学习进行工序检测的技术，例如申请号为201810137318.2的中国专利公开了一种基于深度学习的工序检测装置及其工序检测方法，但是这类方法需要大量的工厂数据支撑，然而对于大多数工厂，往往难以满足数据的需要，因此这类方法目前依然难以获得有效的效果，对于工件安装工序不能很好的进行检测。

发明内容

技术问题：针对现有技术对工件的安装工序检测及定位效果不佳的问题，提出了一种用于工件安装关键工序视觉检测与定位方法及装置，从而能够对工件安装工序进行有效的检测和定位。

技术方案：一方面，本申请提供一种用于工件安装关键工序视觉检测与定位的方法，包括：

采集工件安装过程视频图像，提取必要参照的图像特征并进行定位；

根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频；

将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征；

对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。

进一步地，所述提取必要参照的图像特征并进行定位的方法包括：

以工件安装过程中必经步骤或必需工具作为必要参照，通过必要参照的颜色、轮廓及纹理中的一种或多种，提取出必要参照的图像特征；

将必要参照的图像特征框出定位。

进一步地，所述根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频的方法包括：

将所定位的必要参照的图像特征所在的视频帧作为起始关键帧；

确定工件整个安装工序所需时间；

以起始关键帧为节点，分别向前和向后截取若干分钟长视频，所述长视频覆盖工件整个安装工序。

进一步地，所述将所截取的工件安装工序视频进行特征提取，获得工件安装过程关键视频序列的动作特征的方法包括：

将所截取的工件安装工序视频分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征；