[发明专利]一种数据非平衡弱监督视频异常检测方法及系统

权利要求书

1.一种数据非平衡弱监督视频异常检测方法，其特征在于，包括以下步骤：

提取待测视频的视频片段级的视频特征；

将视频片段级的视频特征通过对抗训练模块获得段级异常分数；

将视频片段级的视频特征通过聚焦训练模块获得片段级别的异常分数；

将通过对抗训练模块获得的段级异常分数与通过聚焦训练模块获得的片段级别的异常分数进行融合，得到融合后的异常分数；

将融合后的异常分数与阈值进行对比，将大于阈值的视频片段中的所有帧均视作异常，小于阈值的视频片段中的所有帧均看作正常，从而实现数据非平衡弱监督视频异常检测与异常的时间定位。

2.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，通过I3D网络提取待测视频的视频片段级的视频特征。

3.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，提取待测视频的视频片段级的视频特征具体包括以下步骤：

将每一个视频X_i分为N个连续且不重叠的时间片段X_i＝{x_i1,...,x_iN}，x_i1为第一个时间片段，x_iN为第N个时间片段，视频X_i中的所有片段根据视频级别标签组成一个正包或负包，正包表示视频X_i中至少有一个异常时间片段，负包表示视频X_i中的所有时间片段均为正常；

然后以每一个视频X_i作为I3D网络的输入，I3D网络的输出原始的时空特征Z_i＝{z_i1,...,z_iN}∈R^N×D，每个视频X_i对应一个原始的时空特征Z_i＝{z_i1,...,z_iN}∈R^N×D，从而完成提取视频特征；其中，N为视频片段数，D为每个片段特征的维数，z_i1为第一个时间片段x_i1对应的原始的时空特征，z_iN为第N个时间片段x_iN对应的原始的时空特征，R为N×D维的矩阵向量。

4.根据权利要求1所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，对抗训练模块总的损失如下：

L_AT＝λL_clean+(1-λ)L_adv (11)

式中，L_AT为对抗训练模块的总损失函数，λ为调节干净视频损失和对抗样本损失之间权重的参数，L_clean为干净视频的总损失函数，L_adv为对抗样本的总损失函数。

5.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，干净视频的总损失函数如下：

式中，L_clean为干净视频的总损失函数，α,β和γ分别为不同的权重参数，为干净视频的铰链损失，为干净视频的稀疏损失，为干净视频的光滑损失。

6.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，对抗样本的总损失函数如下：

式中，L_adv为对抗样本的总损失函数，α,β和γ分别为不同的权重参数，为对抗样本的铰链损失，为对抗样本的稀疏损失，为对抗样本的光滑损失为对抗样本的交叉熵损失。

7.根据权利要求4所述的一种数据非平衡弱监督视频异常检测方法，其特征在于，聚焦训练模块的损失函数如下：

式中，L_FT为聚焦训练模块的总损失函数，α,β和γ分别为不同的权重参数，为干净视频的铰链损失，为干净视频的稀疏损失，为干净视频的光滑损失，L_CS为代价敏感损失。