[发明专利]一种基于光流约束的时空增强视频异常检测方法

权利要求书

1.一种基于光流约束的时空增强视频异常检测方法，其特征在于，包括以下步骤：

S1：将正常样本作为训练集输入FusionNet-LSTM神经网络中，该网络具有编码-预测-解码结构，由卷积层、残差网络层和最大池化层组成；

S2：通过特征编码模块对图像通过下采样进行多尺度特征提取，获得更高级的语义信息；

S3：通过FusionNet网络，将提取的连续的T帧视频帧(I₁，I₂，I₃...I_T-1，I_T)的高级语义信息输入长短时记忆网络(LSTM，Long Short-Term Memory)中，得到预测的第N+1帧视频帧；

S4：对于得到的预测视频帧，通过FusionNet的解码网络，通过上采样融入背景信息，得到第N+1帧更真实的预测图；

S5：计算损失函数；

S6：通过损失函数对对抗性训练进行优化，得到一个生成能力较强的生成器；

S7：通过不断的迭代训练，得到迭代训练后的生成器模型；

S8：将含有异常样本的测试集输入迭代好的生成器模型FusionNet-LSTM中，分别计算预测帧(I_T+1)'和真实帧I_T+1的峰值信噪比(PSNR，Peak signal-to-noise ratio)，得到异常得分Score。

2.根据权利要求1所述的基于光流约束的时空增强视频异常检测方法，其特征在于，步骤S5具体还包括以下步骤：

S501：均方误差损失(MSE)计算：

H为真实帧I_T+1的高，W为真实帧I_T+1的宽，I_(T+1)′为预测帧，i，j分别代表图像的空间索引位置；

S502：梯度损失计算，梯度损失通过计算水平方向和垂直方向的L₁距离可以得到，计算公式如(2)所示：

其中，L_grad为梯度损失，I_T+1为真实帧，I_(T+1)′为预测帧，i，j分别代表图像的空间索引位置；

S503：强度损失计算，强度损失是预测帧I_(T+1)与真实帧I_T+1之间的L₂距离，保证了RGB空间像素的相似性，计算公式如(3)所示：

其中，L_I为强度损失；

S504：光流损失计算，计算第T帧和真实的第T+1帧的差值作为真正的运动损失，计算第T帧和预测的第T+1帧的差值计算预测图像的运动损失，取真实的运动损失和预测图像的光流损失的差值绝对值作为光流损失。

3.根据权利要求2所述的基于光流约束的时空增强视频异常检测方法，其特征在于，在步骤S6中，使用梯度损失L_grad、强度损失L_I、光流损失L_op和均方误差损失L_MSE四个损失函数加权来约束生成器，得到优化后的生成器模型，其中，鉴别器采用Patch GAN对输入图像的每个区域都输出一个预测概率值。

4.根据权利要求3所述的基于光流约束的时空增强视频异常检测方法，其特征在于，在步骤S7中，迭代训练次数取值大于10000次。

5.根据权利要求4所述的基于光流约束的时空增强视频异常检测方法，其特征在于，在步骤S8中，异常得分S计算如下：

其中，表示I_T可能的最大取值；

计算出峰值信噪比PSNR，通过归一化得到所有T帧的第t帧异常得分