[发明专利]基于深度学习的周期性工业视频片段关键帧两阶段提取方法

说明书

本发明涉及一种基于深度学习的周期性工业视频片段关键帧两阶段提取方法。该方法包括：获取工业视频图像，提取感兴趣区域，预处理，得到预处理后图像序列；构建基于深度学习的语义分割网络模型，提取所述预处理后图像的目标区域；第一阶段，构建卷积神经网络对所述预处理后图像进行分类，并对其时间序列进行分割，得候选关键帧序列集合；第二阶段，构建所述目标区域相似度矩阵，对所述候选关键帧序列进行聚类、筛选和融合，得关键帧。本发明针对工业视频特征复杂，当前方法缺乏全局性和局部性的问题，引入深度学习技术，以“先全局后局部”的两阶段思想，更快、更准确地提取了工业视频关键帧，对优化生产，实现提质增产具有指导意义。

技术领域

本发明涉及机器视觉、图像处理、模式识别领域，特别涉及一种基于深度学习的周期性工业视频片段关键帧两阶段提取方法。

背景技术

周期性生产过程是一种常见的工业生产过程。在这类过程中，一系列既定的工序被周而复始的执行。例如，在钢铁烧结过程中，存在着“布料→点火→台车行进→卸料”这一周期性生产过程；再比如，在注塑过程中，“合模→填充→保压→冷却→开模→脱模”这一系列工序被循环执行。

工业视频是工业生产过程工况信息的直观表现和间接反映。对于某一生产工序而言，关键帧是其监控视频片段中最能反映当前工业生产过程工况特征的图像，是评估该工序当前生产工况的重要特征参数之一。但是由于工业过程的复杂性，导致目前对关键帧的提取存在着以下问题。

(1)生产周期的动态性

理论上对于周期性生产过程，在生产速率一定的情况下，可以确定每个关键帧之间的时间间隔。在人为确定第一帧关键帧后，可以根据生产速率确定后续生产过程中的各关键帧。但是受到物料、燃料、操作、环境等因素的波动的影响，生产周期往往存在一定的波动，导致各关键帧之间时间间隔无法确定。

(2)工序间的相似性

在实际生产过程中，不同工序往往在同一场合下进行，这使得获得的各工序监控视频间存在着较多相似场景。例如，在烧结过程的机尾断面监控视频中，“台车运行”和“卸料”两个工序之间便存在着“烧结料层”这一共同场景，而“卸料”过程特有的“燃烧带”图像在这一场景中仅占了很小的一部分，从图像特征角度来看，这导致了两工序图像间的相似性。而传统的手工特征提取方法无法有效的克服这一相似性，造成了工序视频片段分割的困难性。

(3)工序内的相似性

在实际生产过程中，生产设备的动作，以及物料、产品的各种物理化学变化，往往为连续变化过程，监控视频各帧之间的差异较小，并主要体现在空间位置和纹理上，传统的手工特征无法有效的表达这一差异性。例如，在烧结过程的机尾断面监控视频中，“卸料”工序的各断面图像间的主要差异主要表现为燃烧带空间分布、纹理等变化，简单的亮度、直方图等手工特征无法精确的描述这一变化。这一问题便导致了工序视频片段关键帧提取的困难性。

因此，如何克服上述问题，准确提取工业视频图像特征，快速实现周期性工业视频片段关键帧提取是工业过程工况评估中亟需解决的问题。

发明内容

基于此，本发明针对上述技术问题，提出了一种基于深度学习的关键帧提取方法，其目的是为了解决现有关键帧提取过程各关键帧时间间隔无法确定，无法有效克服工序相似性以及特征无法精确描述的技术问题，提供一种准确提取工业视频图像特征，快速实现周期性工业视频片段关键帧提取的方法。

本发明提供了一种基于深度学习的工业视频周期性生产片段关键帧两阶段提取方法，具体包括：

S1:获取工业视频图像，提取兴趣区域图像，并进行预处理，获得预处理图像序列；

S2:构建基于深度学习的语义分割网络模型，对所述预处理图像序列提取图像目标区域；