[发明专利]一种基于光流约束的时空增强视频异常检测方法

说明书

本发明公开了一种基于光流约束的时空增强视频异常检测方法，属于视频检测领域，包括以下步骤：S1：将正常样本作为训练集输入FusionNet‑LSTM神经网络中，该网络具有编码‑预测‑解码结构，由卷积层、残差网络层和最大池化层组成；S2：通过特征编码模块对图像通过下采样进行多尺度特征提取，获得更高级的语义信息；S3：通过FusionNet网络，将提取的连续的T帧视频帧(I₁,I₂,I₃…I_T‑1,I_T)的高级语义信息输入长短时记忆网络(LSTM，Long Short‑Term Memory)中，得到预测的第N+1帧视频帧；S4：对于得到的预测视频帧，通过FusionNet的解码网络，通过上采样融入背景信息，得到第N+1帧更真实的预测图，此外，由于增加了光流约束，使得生成器能够生成更加逼真的预测帧。

技术领域

本发明涉及视频检测技术领域，尤其涉及基于光流约束的时空增强视频异常检测方法。

背景技术

随着物联网与大数据、云计算等信息技术的飞速发展与国民生活需求不断提升，以人为核心的智慧城市逐步形成。智慧安防作为智慧城市的重要组成部分，安防监控工程随处可见，城市化建设已经实现了电子视频监控的全方位覆盖。人工监控一般情况下需要安防人员全天值守，并且安防人员长期对着多个监控画面极易疲惫，很容易错过重要的监控信息。因此，充分利用计算机视觉技术，进行视频异常检测已经成为当前安防监控工程的重要任务。但是，由于视频中的异常事件的概率很低，采集和标注数据都很困难，且存在数据中正负样本分布很不均衡和异常事件判定种类繁多的问题。现有的深度学习的方法，进行视频异常检测时，背景信息过多导致不能很好的捕捉运动物体的语义信息，使得对异常信息不能精确的做出判断。

发明内容

本发明为了克服上述技术的不足，提供了一种基于光流约束的时空增强视频异常检测方法，解决了背景信息过多导致不能很好的捕捉运动物体的语义信息，使得对异常信息不能精确的做出判断的问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于光流约束的时空增强视频异常检测方法，包括以下步骤：

S1：将正常样本作为训练集输入FusionNet-LSTM神经网络中，该网络具有编码-预测-解码结构，由卷积层、残差网络层和最大池化层组成；

S2：通过特征编码模块对图像通过下采样进行多尺度特征提取，获得更高级的语义信息；

S3：通过FusionNet网络，将提取的连续的T帧视频帧(I₁,I₂,I₃…I_T-1,I_T)的高级语义信息输入长短时记忆网络(LSTM，Long Short-Term Memory)中，得到预测的第N+1帧视频帧；

S4：对于得到的预测视频帧，通过FusionNet的解码网络，通过上采样融入背景信息，得到第N+1帧更真实的预测图；

S5：计算损失函数；

S6：通过损失函数对对抗性训练进行优化，得到一个生成能力较强的生成器；

S7：通过不断的迭代训练，得到迭代训练后的生成器模型；

S8：将含有异常样本的测试集输入迭代好的生成器模型FusionNet-LSTM中，分别计算预测帧(I_T+1)'和真实帧I_T+1的峰值信噪比(PSNR，Peak signal-to-noise ratio)，得到异常得分Score。

进一步地，步骤S5具体还包括以下步骤：

S501：均方误差损失(MSE)计算：