[发明专利]对抗与注意力联合机制的视频弱监督异常检测系统及方法

说明书

对抗与注意力联合机制的视频弱监督异常检测系统及方法，对训练视频进行预处理，得到包括正常视频特征和异常视频特征的视频特征；将异常视频特征通过FGSM算法进行对抗，得到对抗样本，针对每个异常视频特征，当分类网络对对抗样本误分类时，停止，否则迭代至设定值，然后与包括异常视频特征和正常视频特征的视频特征送入异常得分模块进行训练，得到训练好的模型，训练过程中利用损失函数进行约束；利用测试数据对训练好的模型进行性能评估，完成视频弱监督异常检测。在本发明中结合注意力机制选择了多个实例，增大了对异常片段的关注性，并且在本发明中加入了对抗样本从而使网络更加鲁棒。

技术领域

本发明属于视频异常检测技术领域，具体涉及一种对抗与注意力联合机制的视频弱监督异常检测方法。

背景技术

视频异常检测方法是自动查找视频中是否有异常事件(如暴力、抢劫、车祸、自然灾害等不符合当前视频场景下正常逻辑的事件)发生的重要检测手段。当视频较大较多时，对视频逐帧标注难以完成，因此只标注视频级别标签的弱监督方法成为实现异常检测的重要手段。本发明提出了一种基于多实例学习下对抗与注意力联合机制的视频弱监督异常检测方法，利用多实例学习方法实现弱监督检测，通过对抗样本数据增强的方法可以增加模型的鲁棒性，利用注意力机制筛选视频中重要事件部分可以有效提高模型检测精度。通过上述检测方式，可对视频进行逐帧检测，最终达到视频帧级别的异常事件检测效果。

视频异常检测技术在自主监控中得到应用，是监控异常事件发生的重要方法。视频异常检测的主要目的是判断检测视频中是否存在异常事件，并定位发生异常事件的时间段，其中异常事件是相对视频正常背景而言，例如正常环境下突发暴力事件或行人路段车辆行驶等，示例如图1。现有技术主要包括两大类：一是基于无监督的异常检测，这类方法不需要对训练数据提前标注，通过对正常视频建模在测试时判断测试视频是否偏离模型指标；二是基于弱监督的异常检测，这类方法只需要给训练视频一个对应的视频级别标签，通过对正常和异常视频共同的建模，可在测试时判断视频各帧的异常概率。

目前，存在大量的视频异常检测技术，其中弱监督检测只需简单给定视频级别标签就可得到相比于无监督方法更精准的帧级别检测效果，但还存在以下不足：

(1)弱监督检测中，由于只存在视频级别标签，异常视频中的正常片段也被赋予异常标签，建模时模型会受错误标签干扰从而减低精度。

(2)目前采用多实例学习的弱监督异常检测中，大部分基于实例之间独立同分布的假设，很少考虑实例特征的相关关系，但实例来自同一个视频，其相关性不能忽略。

(3)当前常见训练集中异常片段出现在异常视频中的占比较小，但现有方法没有很好的重视异常片段部分。

发明内容

为了解决上述现有技术中存在弱监督异常检测异常片段重视程度不高的技术问题，本发明的目的是提供一种对抗与注意力联合机制的视频弱监督异常检测系统及方法。

为实现上述目的，本发明采用的技术方案为：

对抗与注意力联合机制的视频弱监督异常检测方法，包括以下步骤：

对包括正常视频和异常视频的训练视频进行预处理，得到包括正常视频特征和异常视频特征的视频特征；

将异常视频特征通过FGSM算法进行对抗，得到对抗样本，针对每个异常视频特征，当分类网络对对抗样本误分类时，停止，否则迭代至设定值，得到异常视频的对抗样本；

将异常视频特征的对抗样本与包括异常视频特征和正常视频特征的视频特征送入异常得分模块进行训练，得到训练好的模型，训练过程中利用损失函数进行约束；

利用测试数据对训练好的模型进行性能评估，完成视频弱监督异常检测。

进一步的，对包括正常视频和异常视频的训练视频进行预处理，得到包括异常视频特征和正常视频特征的视频特征包括以下步骤：