[发明专利]一种基于双流卷积神经网络的危险行为自动识别方法

说明书

本发明公开了一种基于双流卷积神经网络的危险行为自动识别方法，本发明通过对视频中的人物进行部分人工标注来减小视频背景对人物行为识别的影响；使用LeNet‑5网络学习视频中的时间特征和空间特征，将融合后的时空特征送入3D卷积神经网络中完成对视频中人物动作的识别。本发明针对视频中存在的大量无关的背景信息，本发明对部分视频帧中的人物进行人工标注，通过增加输入的监督信息来降低噪声的干扰，有效解决了视频无关背景信息对人物动作识别的干扰。本发明基于双流卷积神经网络和3D卷积神经网络的危险动作自动识别方法，构建人物危险动作自动识别网络，使用人物危险动作视频数据训练网络，构建人物危险动作自动识别模型。

技术领域

本发明涉及一种基于双流卷积神经网络的人体姿态估计和行为识别，更具体的是涉及一种针对监控视频数据的危险行为自动识别方法。

背景技术

对于监狱、银行等一些特定的场所，需要避免暴力冲突、非法闯入等不稳定事件的发生，因此保持全天候的监管是十分必要的。单纯的通过安保人员巡查上述特定场所，需要耗费大量的时间成本和人力成本，效率相对低下。随着监控视频的大量普及，上述特定场所开始使用监控摄像头与安保人员相结合的方式，即安保人员借助监控摄像头实现在线巡查，对出现异常的区域再进行人为巡查和处理。这种方式要求安保人员长时间保持注意力高度集中，短时间的走神或者疏忽就可能导致非法闯入等危险行为。因此，急需一种能够辅助安保人员的基于监控视频数据的人体行为识别方法，对监控视频流中的人物姿态和动作自动识别，对可能出现的危险动作及时报警，在减轻了安保人员工作强度的同时也能提高上述特定场所的稳定程度。

随着科技的不断进步，基于深度学习算法的视频数据智能分析正在快速发展，在人物脸部识别、人物位置预测等领域已经被大量应用。视频人物动作识别其本质是在时间上连续变化的序列图片的分类问题，所以图片识别的深度学习算法在视频人物动作识别研究中被大量应用。卷积神经网络(Convolutional Neural Networks, CNNs) 是当前图像识别领域主流的深度学习网络，但是在基于视频的人物动作识别领域的应用受到抑制，主要的原因一方面是相较于图像数据集，视频数据集一般规模较小且质量较低（包含大量的无关噪声）；另一方面，传统的卷积神经网络不能充分的学习时间特征，不能有效的提取连续帧之间的关联。为了充分的利用视频的时间特征，目前最新的研究是基于时空双流网络的人物动作识别。该网络包括两个并行的卷积神经网络结构，分别以等间隔抽样视频帧和视频的一系列光流图片作为输入，结合融合视频中人物动作的空间以及时间特征用于辨别人物动作类别。

发明内容

针对人物危险动作视频数据中包含大量与人物无关信息的特点，本发明通过对视频中的人物进行部分人工标注来减小视频背景对人物行为识别的影响；使用LeNet-5网络学习视频中的时间特征和空间特征，将融合后的时空特征送入3D卷积神经网络中完成对视频中人物动作的识别，提出了一种基于双流卷积网络的人物危险动作自动识别方法。

为了解决以上问题，本发明采用了如下技术方案：一种基于双流卷积神经网络的危险行为自动识别方法，分别构建时间、空间特征学习网络学习人物动作的时空特征；针对现有基于空间、时间特征分别预测人物行为并加权预测结果计算最终动作类别割裂了人物动作在时间和空间上存在的关系，并没有充分利用学习的时间和空间特征的问题，使用简单线性加权首先融合人物动作的时空特征后再进行人物动作预测，提高了人物动作的准确率。包括以下步骤：

Step1 原始数据准备

针对常见的人物危险行为，选择自杀、偷窃和打架等三种相对典型的人物危险动作，通过来自监狱、银行、超市以及部分来自公安系统的包含上述危险动作的视频数据；

Step2 数据预处理

（1）数据增强：通过对视频进行水平翻转、对比度、亮度以及加噪处理，将原来的视频数据扩大4倍；

（2）将大小、帧率各不相同的视频数据统一到相同大小和25帧率；