[发明专利]对抗与注意力联合机制的视频弱监督异常检测系统及方法

权利要求书

1.对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，包括以下步骤：

对包括正常视频和异常视频的训练视频进行预处理，得到包括正常视频特征和异常视频特征的视频特征；

将异常视频特征通过FGSM算法进行对抗，得到对抗样本，针对每个异常视频特征，当分类网络对对抗样本误分类时，停止，否则迭代至设定值，得到异常视频的对抗样本；

将异常视频特征的对抗样本与包括异常视频特征和正常视频特征的视频特征送入异常得分模块进行训练，得到训练好的模型，训练过程中利用损失函数进行约束；

利用测试数据对训练好的模型进行性能评估，完成视频弱监督异常检测。

2.根据权利要求1所述的对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，对包括正常视频和异常视频的训练视频进行预处理，得到包括异常视频特征和正常视频特征的视频特征包括以下步骤：

将包括正常视频和异常视频的训练视频按照对应码率转为视频帧，每帧在中心、左上、右上、左下与右下裁剪出320*240大小的图片，对裁剪的五张图片进行水平翻转，每张视频帧对应10张图片；

对10张图片采用预训练的I3D模型提取视频特征，得到包括异常视频特征和正常视频特征的视频特征。

3.根据权利要求1所述的对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，损失函数包括分类损失函数、特征损失函数、对抗样本损失函数和平滑损失函数。

4.根据权利要求3所述的对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，分类损失函数l(x，y)为：

l(x，y)＝mean(L)＝mean({l₁，...，l_N}^T，l_n＝y_n·logx_n+(1-y_n)·log(1-x_n)

其中，x为视频异常得分，y为视频真实标签，N为设置的批处理数，L为批处理中所有视频的交叉熵损失，l₁为批处理中第一个视频对应的交叉熵损失，l_N为批处理中第N个视频对应的交叉熵损失，y_n为批处理中第n个视频对应的真实标签，x_n为批处理中第n个视频对应的异常得分。

5.根据权利要求3所述的对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，特征损失函数l(f_a，f_n)为：

l(f_a，f_n)＝mean(L)＝mean({l₁，...，l_n...，l_N}^T，

其中，f_a为异常视频所选特征，f_n为正常视频所选特征，γ为特征距离，N为设置的批处理数，为批处理中第n个异常视频所选特征，为批处理中第n个正常视频所选特征。

6.根据权利要求3所述的对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，对抗样本损失函数为：

其中，是对抗样本异常得分，x为干净样本异常得分，m为视频包含的实例数，N为设置的批处理数，为第i个实例的对抗样本异常得分，x_i为第i个实例的干净样本异常得分。

7.根据权利要求3所述的对抗与注意力联合机制的视频弱监督异常检测方法，其特征在于，平滑损失函数l(x)为：

l(x)＝mean(L)＝mean({l₁，...，l_n...，l_N}^T，

其中，x为干净样本异常得分，m为视频包含的实例数，N为设置的批处理数，x_i+1为第i+1个实例的干净样本异常得分，x_i为第i个实例的干净样本异常得分。