[发明专利]一种基于多示例学习建模的异常行为检测方法

权利要求书

1.一种基于多示例学习建模的异常行为检测方法，其特征在于，包括以下步骤：

步骤1，基于多示例学习法对原始监控视频进行标记，标记目标为一个视频序列，一个视频段为一个示例；

步骤2，提取时空序列特征；

步骤3，计算视频段的异常得分s_i；

步骤4，构建多示例最高异常得分求解函数f；

步骤5，构建排序损失函数l(V_m,V_n)，用于修正步骤4中的多示例最高异常得分求解函数f，使其在模型训练过程中帮助异常视频获得较之正常视频更高的得分；其中V_m和V_n分别表示异常视频m和正常视频n；

步骤6，构建目标函数：

L(W)＝l(V_m,V_n)+||W||

其中W为模型权重；

步骤7，将训练得到视频深度异常得分排序模型，接入实时视频流，通过模型计算得到实时视频的异常得分，判断视频是否存在异常。

2.根据权利要求1所述的一种基于多示例学习建模的异常行为的检测方法，其特征在于，步骤2中时空序列特征提取方法为，在标记的视频数据集合中，将数据集中的某个视频V_j切分成n个视频段，其中每个视频段v_i包含连续的不重叠的16帧，将每个视频段分别送入C3D卷积神经网络中，通过8次3D卷积和5次3D池化操作后进入全连接层，获得视频段v_i的时空特征向量x_i，将视频V_j中所有视频段的时空特征向量按照时间先后顺序拼接后，获得视频V_j的时空特征矩阵X_j。

3.根据权利要求2所述的一种基于多示例学习建模的异常行为的检测方法，其特征在于，步骤3中，由步骤2中得到的视频V_j的时空特征矩阵X_j＝(x₁,x₂,Λ,x_n)，将任意一个视频段得到的时空特征向量x_i，输入三个全连接层，得到该视频段的异常得分s_i，则某个视频V_j中全部视频段的异常得分S_j＝(s₁,s₂,Λs_n)；异常得分s_i计算公式为：

其中，t为三个全连接层的权重集合(t₁,t₂,t₃)；b为三个全连接层的偏差集合(b₁,b₂,b₃)；φ为三层全连接神经网络。

4.根据权利要求3所述的一种基于多示例学习建模的异常行为的检测方法，其特征在于，步骤4中，多示例最高异常得分求解函数f为：

其中，z表示给定视频数据集合中视频的个数，表示视频V_j对应的标记。

5.根据权利要求4所述的一种基于多示例学习建模的异常行为的检测方法，其特征在于，步骤5中，在多示例学习中，标注为正的视频中肯定存在至少一个视频段中包含异常，通过计算每个视频中异常得分最高的示例，构建排序损失函数l(V_m,V_n)；

其中，V_m和V_n分别表示异常视频m和正常视频n，为时间域平滑项，为稀疏项，λ₁＝0.00008为时间域平滑项的系数，λ₂＝0.00008为稀疏项的系数。

6.根据权利要求1所述的一种基于多示例学习建模的异常行为的检测方法，其特征在于，步骤7中，基于视频的弱标注方式，将多种场景下的多种异常视频作为正样本。