[发明专利]一种基于动作预测的视频异常行为检测方法

权利要求书

1.一种基于动作预测的视频异常行为检测方法，其特征在于，具体步骤包括：

设计对抗生成网络模型，所设计的对抗生成网络模型包括生成器和一个判别器；

搭建生成器的编码部分；

搭建生成器的解码部分；

搭建判别器；所述判别器包括五层三维卷积模块和三层全连接层；第一、二层三维卷积模块不减少时间维度的大小；第三、第四、第五层三维卷积模块中进行池化操作时，均降低时间维度的大小；全连接层的最后输出不加入通过非线性激活函数将输出值范围进行限制，所述判别器的输出范围为(-∞,+∞)；

训练对抗生成网络模型的生成器和判别器；在训练过程中完成对动作和图形的建模，所述对抗生成网络模型用于描述运动轨迹和运动细节，同时也用于描述场景中图形的外观；

根据得到的最佳生成器网络，对视频中发生的异常事件进行检测。

2.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述搭建生成器的编码部分步骤中生成器编码部分包括动作特征提取模块和图形特征提取模块；

在动作特征提取模块中，利用三维卷积的方法提取观测视频的动作特征，形成动作特征图；

在图形特征提取模块中，利用二维卷积的方法提取观测视频最后一帧的图形特征，形成图形特征图；

将动作特征图与图形特征图结合，作为对视频的编码。

3.根据权利要求2所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述动作特征提取模块的设置为：第一层由卷积核大小为4×3×3、步长为4×1×1的卷积核形成的卷积层、非线性激活层以及一个大小为1×2×2、步长为1×2×2的最大值池化层组成，之后两层均由卷积层1×3×3、步长为1×1×1的卷积层、非线性激活函数以及大小为1×2×2、步长为1×2×2的最大值池化层串联而成。

4.根据权利要求2所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述图形特征提取模块由三层组成，具体设置为：每层均由卷积核大小为3×3、步长为1×1的卷积层、非线性激活层、大小为2×2、步长为2×2的最大值池化层串联形成的小模块堆叠而成；输出的图形特征图与动作特征图在长和宽的维度上的大小保持一致。

5.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述搭建生成器的解码部分步骤中，将输入的动作特征图按时间维度拆分为数个维度为长、宽和通道数的特征图，并按时间维度的先后顺序依次输入到卷积长短期记忆递归神经网络，从而得到一个维度为长、宽和通道数的动作预测特征图；之后按通道数的维度拼接动作预测特征图和图形特征图，再输入到两层由卷积核大小均为1×3×3、步长均为1×2×2的三维反卷积层和非线性激活层串联形成的网络模块中，最后通过一层卷积核大小为4×3×3、步长为4×2×2的三维反卷积层，然后输入到一个非线性激活层，输出为图像大小与原视频相匹配的预测视频的其中四帧，该生成的四帧将作为输入按搭建生成器的编码部分和解码部分步骤中的处理方式进行处理，输出新的四帧预测视频片段，直至所有生成预测视频片段的时间长度之和满足要求后按时间先后拼接所有生成的片段，得到完整的预测视频。

6.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述搭建判别器步骤中的对抗生成网络的判别器三维卷积模块均由三维卷积层、非线性激活层和最大值池化层串联而成；以真实视频以及预测视频作为输入，输出一维的结果对应的分值。

7.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述训练对抗生成网络模型的生成器和判别器步骤中训练方法为：由生成样本与真实样本分值之差的最小化作为训练判别器的训练方向；对于生成器，由最小化判别器对生成样本的分值以及最小化生成视频与真实视频的生成误差作为训练方向；判别器和生成器交替训练直至生成器网络至最佳；

所述生成误差包括真实视频与预测视频进行逐帧像素之差的平方和、真实视频帧间差与预测视频帧间差进行逐帧间差逐像素之差的平方和。

8.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法，其特征在于，所述根据得到的最佳生成器网络，对视频中发生的异常事件进行检测步骤中的检测方法为：移除判别器，将视频输入到生成器中得到生成的预测视频，通过记录每个时间段预测视频与真实视频生成的误差动态生成异常检出的阈值，对预测视频的误差超过阈值的判断为视频中发生的异常事件。