[发明专利]基于深度学习的周期性工业视频片段关键帧两阶段提取方法

权利要求书

1.一种基于深度学习的周期性工业视频片段关键帧两阶段提取方法，其特征在于，具体包括：

S1：获取工业视频图像，提取兴趣区域图像，并进行预处理，获得预处理图像序列；

S2：构建基于深度学习的语义分割网络模型，对所述预处理图像序列提取图像目标区域；

S3：获取所述步骤S2中语义分割网络模型中间层的输出特征，并构建卷积神经网络模型，对所述预处理图像序列进行二分类，获得图像类别特征；

S4：根据所述图像类别特征对所述预处理图像序列进行分割获得候选关键帧序列集合；

S5：计算所述候选关键帧序列集合中各图像目标区域的相似度，构建相似度矩阵，并以所述相似度矩阵为输入，对所述候选关键帧序列进行聚类处理，获得多类别图像集合；

S6：根据工业过程实际需求，构建关键帧选择指标和权值矩阵，根据所述关键帧选择指标对所述多类别图像集合进行筛选获得关键帧序列，并根据所述权值矩阵对所述关键帧序列进行加权平均，获得关键帧；

所述步骤S4中分割处理具体包括：

步骤S41，输入预处理图像序列S_input和最小图像序列长度δ；

步骤S42，定义当前目标图像序列和临时图像序列T，以及目标图像数量C_g＝0和非目标图像数量C_ng＝0；

步骤S43，遍历图像序列S_input，提取当前图像I的类别特征；

步骤S44，判断图像I是否为目标图像，如果是，则跳转至步骤S45；否则，跳转至步骤S47；

步骤S45，将图像I添加至临时图像序列T，同时令目标图像数量C_g自增1；

步骤S46，判断目标图像数量C_g是否大于等于最小图像序列长度δ，如果是，则令非目标图像数量C_ng＝0；

步骤S47，令非目标图像数量C_ng自增1，同时判断目标图像数量C_g是否大于等于最小图像序列长度δ，如果是，则将图像I添加至临时图像序列T；

步骤S48，判断非目标图像数量C_ng是否大于等于最小图像序列长度δ，如果是，则跳转至步骤S49；否则，跳转至步骤S412；

步骤S49，判断目标图像数量C_g是否大于等于最小图像序列长度δ，如果是，则跳转至步骤S410；否则，跳转至步骤S411；

步骤S410，将临时图像序列T中除最后δ张图像外的所有图像添加至当前目标图像序列

步骤S411，将目标图像数量C_g和非目标图像数量C_ng清零，同时清空临时图像序列T；

步骤S412，重复步骤S43至步骤S411，直到图像序列S_input终止；

步骤S413，得到候选关键帧序列集合

2.根据权利要求1所述的基于深度学习的周期性工业视频片段关键帧两阶段提取方法，其特征在于，所述步骤S1中的预处理包括去噪、色彩校正和去雾处理。

3.根据权利要求1所述的基于深度学习的周期性工业视频片段关键帧两阶段提取方法，其特征在于，所述步骤S2具体包括：

从预处理图像序列随机选取多张第一典型图像，并筛选出第一掩模图像，构建第一训练集和第一测试集；

将所述第一训练集和第一测试集进行平移、尺度、亮度和旋转变换处理获得增强训练集和测试集；

构建深度语义分割网络模型，以所述增强训练集为输入对网络模型进行输入，并以增强测试集对网络模型进行测试，获得训练后的深度语义分割网络模型；

将所述预处理图像采用训练后的深度语义分割网络模型提取目标区域。