[发明专利]基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质

权利要求书

1.一种基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，包括如下步骤：

获取生产环境的监控视频，将监控视频分解为图像帧序列和光流序列；

将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；

所述时间戳信息通过向量标签VideoTriple＝(start,main,end)表达；

其中：

start的值表示该图像帧属于某一生产动作开始的概率；

main的值表示该图像帧属于某一生产动作主体的概率；

end的值表示该图像帧属于某一生产动作结束的概率；

所述结构化双流卷积神经网络引入有注意力机制；

依据所述动作类别和时间戳信息，计算得到生产动作实例。

2.如权利要求1所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述结构化双流卷积神经网络的训练过程包括：

利用先验数据对双流卷积神经网络进行训练，得到预训练参数；

利用先验数据和预训练参数对结构化双流卷积神经网络进行训练。

3.如权利要求2所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述先验数据包括提取自训练视频数据的光流序列以及标记有时间戳信息的图像帧序列。

4.如权利要求2或3所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述双流卷积神经网络包括结构相同的时间流卷积神经网络和空间流卷积神经网络，对时间流卷积神经网络和空间流卷积神经网络的输出进行加权平均后，利用分类器输出；

所述结构化双流卷积神经网络包括结构相同的时间流卷积神经网络和空间流卷积神经网络，对时间流卷积神经网络和空间流卷积神经网络的输出进行时空双线性压缩融合后，引入注意力机制计算全连接层，最后利用分类器输出。

5.如权利要求1所述的基于结构化双流卷积神经网络的生产操作行为识别方法，其特征在于，所述生产操作行为识别方法还包括：

将识别的生产动作实例与标准生产操作行为进行比对，分析生产动作实例是否符合操作规范。

6.基于结构化双流卷积神经网络的生产操作行为识别装置，其特征在于，包括：

第一模块，用于获取生产环境下的监控视频，将监控视频分解为图像帧序列和光流序列；

第二模块，用于将所述图像帧序列和光流序列输入结构化双流卷积神经网络，得到每帧图像的动作类别和时间戳信息；

所述时间戳信息通过向量标签VideoTriple＝(start,main,end)表达；

其中：

start的值表示该图像帧属于某一生产动作开始的概率；

main的值表示该图像帧属于某一生产动作主体的概率；

end的值表示该图像帧属于某一生产动作结束的概率；

所述结构化双流卷积神经网络引入有注意力机制；

第三模块，用于依据所述动作类别和时间戳信息，计算得到生产动作实例。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～5任一项所述的基于结构化双流卷积神经网络的生产操作行为识别方法。

8.一种基于结构化双流卷积神经网络的生产操作行为识别系统，包括影像采集装置以及服务器，所述服务器包括存储器和处理器，所述存储器内存储有计算机程序，其特征在于，所述服务器从影像采集装置获取生产环境的监控视频；所述处理器执行所述计算机程序时，实现如权利要求1～5任一项所述的基于结构化双流卷积神经网络的生产操作行为识别方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5任一项所述的基于结构化双流卷积神经网络的生产操作行为识别方法。