[发明专利]基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质

说明书

本申请公开了基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质，其中，生产操作行为识别方法包括如下步骤：获取生产环境的监控视频，将监控视频分解为图像帧序列和光流序列；将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；所述结构化双流卷积神经网络引入有注意力机制；依据所述动作类别和时间戳信息，计算得到生产动作实例。本申请提供的生产操作行为识别方法能够快速准确识别视频中生产操作行为，满足智能制造的要求。

技术领域

本申请涉及视频图像分析技术领域，特别是涉及基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质。

背景技术

计算机视觉技术被应用于多个研究领域，包括人物识别、图像重建以及动作识别等。对于大型工厂的监控视频分析，许多工作将计算机视觉技术框架应用于生产操作行为识别工程，以确保员工安全、生产调度以及提高全局设备效率等。

目前，智能监控每天产生数以万计的有价值的视频数据，为了充分利用这些视频数据，需要设计一个能够从大量视频中自动提取特征和模式，并且识别工人行为以及机器行为的生产操作行为识别框架。通常，一段生产操作行为被认为是由对应控制结构的一系列单独的活动组成，单个活动被定义为是一个特殊的任务，例如人类行为或者机器动作。因此，生产操作行为识别可以由计算机视觉技术解决。

特别的，智能监控下的生产操作行为识别主要包括识别工人和机器等的行为，计算每个任务的开始时间和结束时间，以及分析生产操作行为的模式，因此，生产操作行为识别过程主要涉及动作识别和时序动作识别等。目前许多工作都有一个固定的传统模式，分为以下两个步骤：1)根据实际问题，做出合理的假设并计算复杂的特征；2)根据特征学习一个适合的模型。但是处理复杂的任务时，如动作识别，很难设计一个合理的标准，更别说计算如此复杂的特征。

近年来，视频识别方向吸引了大量学者的注意，其中利用手工提取特征来解决视频动作识别的方法可以归纳为以下三个步骤：1)根据假设，从图像空域上(RGB)提取稠密的特征；2)应用相关方法(如Fisher向量，视觉词袋法等)来组合这些特征，使其成为固定尺度的特征；3)基于特征描述训练一个判别模型(如支持向量机)来区分动作类别。除了在视频中提取局部特征外，一些浅层特征表示还利用密集点轨迹来识别动作。此外，还有学者提出了基于稠密点轨迹和运动边界描述的视频表征方法，显著提高了视频动作识别性能。近年来，通过Fisher向量将一些手工特征结合稠密点轨迹的方法也取得了不错的性能。

然而，生产操作行为识别技术有其复杂性与特殊性，现有的图像处理方案不能够满足生产操作行为识别的准确度以及效率。

发明内容

基于此，需要提供一种快速准确识别视频中生产操作行为的方法，以满足智能制造的要求。

一种基于结构化双流卷积神经网络的生产操作行为识别方法，包括如下步骤：

获取生产环境的监控视频，将监控视频分解为图像帧序列和光流序列；

将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；所述结构化双流卷积神经网络引入有注意力机制；

依据所述动作类别和时间戳信息，计算得到生产动作实例。

本申请提供的基于结构化双流卷积神经网络的生产操作行为识别方法，使用结构化双流卷积神经网络来识别视频图像中的动作，并在结构化双流卷积神经网络中引入注意力机制，增强对显著动作区域的检测。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

可选地，所述结构化双流卷积神经网络的训练过程包括：