[发明专利]一种用于工件安装关键工序视觉检测与定位的方法及装置

权利要求书

1.一种用于工件安装关键工序视觉检测与定位的方法，其特征在于，包括：

采集工件安装过程视频图像，提取必要参照的图像特征并进行定位；

根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频；

将所截取的工件安装工序视频进行特征提取，得到工件安装过程的动作特征；

对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。

2.根据权利要求1所述的方法，其特征在于，所述提取必要参照的图像特征并进行定位的方法包括：

以工件安装过程中必经步骤或必需工具作为必要参照，通过必要参照的颜色、轮廓及纹理中的一种或多种，提取出必要参照的图像特征；

将必要参照的图像特征框出定位。

3.根据权利要求2所述的方法，其特征在于，所述根据所定位的必要参照的图像特征以及工件整个安装工序所需的时间，截取工件安装工序视频的方法包括：

将所定位的必要参照的图像特征所在的视频帧作为起始关键帧；

确定工件整个安装工序所需时间；

以起始关键帧为节点，分别向前和向后截取若干分钟长视频，所述长视频覆盖工件整个安装工序。

4.根据权利要求1所述的方法，其特征在于，所述将所截取的工件安装工序视频进行特征提取，获得工件安装过程关键视频序列的动作特征的方法包括：

将所截取的工件安装工序视频分别采用背景剪除法和稠密轨迹法获得动作边界信息和动作行为特征；

将所述动作边界信息和动作行为特征进行特征融合；

将融合后的特征送入特征提取网络中进行识别，得到工件安装过程的动作特征。

5.根据权利要求4所述的方法，其特征在于，将所截取的工件安装工序视频进行特征提取，获得工件安装过程关键视频序列的动作特征的方法还包括：对特征提取网络进行训练；训练方法包括：

收集工件安装工序的视频样本；

根据工件安装工序，对感兴趣的视频样本进行分割；

对分割后的视频段进行标注，并作为用于训练特征提取网络的训练样本；

利用训练样本对特征提取网络进行训练。

6.根据权利要求4所述的方法，其特征在于，所述特征提取网络为C3D网络，所述C3D网络中的池化层Pool5的池化核大小为7×7，步长为7。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述对动作特征进行分类的方法包括：

利用Softmax分类器对动作特征进行分类，并进行回归优化。

8.根据权利要求7所述的方法，其特征在于，所述根据分类结果判断操作工人是否按工序要求安装工件的方法包括：

通过Softmax分类器，获得每个操作工序的得分；

根据每个工序的得分与相应工序的分数阈值，判断该工序是否合格。

9.根据权利要求8所述的方法，其特征在于，还包括：在根据分类结果进行判断后，若合格，则将检测完成的视频归档；若不合格，则进行预警提示，并提示对相应工序进行复检。

10.一种用于工件安装关键工序视觉检测与定位的装置，其特征在于，包括：

视频图像采集模块，用于采集工件安装过程视频图像；

参照定位模块，用于提取必要参照的图像特征并进行定位；

工序视频截取模块，用于根据所定位的必要参照的图像特征以及工件整个安装工序所需时间，截取工件安装工序视频；

特征提取模块，用于将所截取的工件安装进行特征提取，获得工件安装过程关键视频序列的动作特征；

评估模块，用于对所述动作特征进行分类，根据分类结果判断工件安装工序是否合格。