[发明专利]一种基于深度学习的视频异常行为检测方法

说明书

本发明涉及一种基于深度学习的视频异常行为检测方法。本发明方法包括训练阶段和测试阶段。在训练阶段，将训练视频序列转换成灰度图和光流图，并分别制作成时空块，分别输入到残差自编码模型中进行训练，建立基于灰度图和光流图的两个模型，训练好的模型包含了正常行为的运动模式和外观信息，所以更有利于正常行为的重构。在测试阶段，将测试数据制作成灰度图和光流图的时空块，先将灰度图时空块输入到灰度图模型中，初步检测出正常区域和可疑区域，再将可疑区域的光流图时空块输入到光流图模型中，检测出正常区域和异常区域，得到最终的异常判定，本发明方法能更好地鉴别视频数据的运动信息和外观特征，从而提高异常行为的检测率。

技术领域

本发明属于视频处理技术领域，涉及一种对视频进行异常行为检测的方法，具体是一种基于深度学习的视频异常行为检测方法。

背景技术

视频异常行为检测是属于智能视频监控的范畴，是利用智能算法针对监控视频中的异常行为进行检测，并发出报警信号以提高相关部门的响应速度。视频异常行为检测技术的发展在维护公共场所安全，节约人力物力上有着重要的作用。

在不同的视频场景中对异常的定义是不一样的，在同一个场景中异常事件的种类也是比较多样化的。通常情况下，异常事件是不同于正常事件的，发生概率比较小的事件。从目前的异常检测方法来看，大致可以分为基于人为选择特征的方法和基于深度神经网络自动选择特征的方法。大多数方法一般涉及两个部分，在训练阶段通过无监督学习训练数据的外观和运动特征，建立与正常数据相关联的一个或多个模型。在测试阶段，根据视频数据与模型是否匹配判定视频是否异常。早期有学者通过研究视频中运动目标的轨迹来检测异常事件，但这种方法不能解决人群遮挡的问题。也有学者提出基于学习字典、稀疏重建的方法。

近年来，在图像分类中的可视化数据表示和运动识别上，深度神经网络已经显示出它们优于人工设定特征的优点，特别是近几年其在时间有效性及准确性上都取得了进一步的突破。因此，将深度学习的神经网络应用到异常行为检测中，往往可以取得相比传统特征提取方法更好的效果。

发明内容

本发明的目的是提供一种基于深度学习的视频异常行为检测方法，提高对异常行为的检测率。

为解决上述技术问题，本发明提供的技术方案融合了多种深度学习的神经网络结构。本发明方法包括训练阶段和测试阶段，具体细节说明如下：

1、训练阶段：

首先进行预处理：选取待检测视频数据集，视频数据集包含训练数据集和测试数据集，训练数据集中的训练数据全是正常行为样本；提取训练数据集的灰度图序列，图像尺寸规范化为M×N，M和N分别代表图像的宽和高；并通过训练数据集的灰度图序列计算光流图序列，得到训练数据集的灰度图数据集和光流图数据集；然后进行如下操作：

步骤(1).将训练数据集中的灰度图数据集的灰度图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块g_ri；将空间位置上相同的连续t帧的空间块组合成一个时空样本g_r＝[g_r1,g_r2,…,g_rt]，尺寸大小为t×p×p；

将训练数据集中的光流图数据集的光流图像用网格的方式分割成不重叠的空间块，每一帧图像尺寸为M×N，分割成大小为p×p的空间块o_ri；将空间位置上相同的连续t帧的空间块组合成一个时空样本o_r＝[o_r1,o_r2,…,o_rt]，尺寸大小为t×p×p；

这样就将训练数据集划分为灰度图像时空样本集G_r和光流图像时空样本集O_r；