[发明专利]一种基于多示例学习建模的异常行为检测方法

说明书

本发明为一种基于多示例学习建模的异常行为的检测方法，包括以下步骤：步骤1，基于多示例学习法对原始监控视频进行标记，标记目标为一个视频序列，一个视频段为一个示例；步骤2，提取时空序列特征；步骤3，计算视频段异常得分；步骤4，构建多示例最高异常得分求解函数；步骤5，构建排序损失函数；步骤6，构建目标函数：步骤7，将训练得到视频深度异常得分排序模型，接入实时视频流，通过模型计算得到实时视频的异常得分，判断视频是否存在异常。其优点在于，采用多示例深度学习的方法检测视频异常，无需细分异常的类型，无需精确到发生异常的视频帧，大大降低模型训练的前期样本标注工作量。

技术领域

本发明属于视频异常行为检测技术领域，具体为一种基于多示例 学习建模的异常行为检测方法。

背景技术

传统的监控系统主要通过人工监控的方式实现对公共场合的安 全管理，缺乏实时性和主动性。在很多情况下，视频监控由于无人管 理只是起到了视频备份的作用没有做到监管的职责。此外，随着监控 摄像头的普及和广泛布设，随着视频监控技术以及信息科学的不断发 展，视频监控、人机交互、视频搜索等领域使异常行为自动化监控逐 渐成为一个具有广泛应用前景的技术领域。近年来，对于异常行为的 检测，研究者们提出了不同的方法，如金字塔光流法、3D-SIFT描述 算子、多属性融合的计算方法，以上方法训练模型的取得要处理每一 帧视频图片，需要大量的训练样本并进行标注工作，异常行为种类较 多，样本量小，输出检测模型得到的检测精度很难达到理想效果。

发明内容

为克服以上问题，本发明提供一种基于多示例学习建模的异常行 为检测方法，无需细分异常的类型，无需精确到发生异常的视频帧， 大大降低模型训练的前期样本标注工作量。技术方案为，

一种基于多示例学习建模的异常行为检测方法，包括以下步骤：

步骤1，基于多示例学习法对原始监控视频进行标记，标记目标 为一个视频序列，一个视频段为一个示例；

步骤2，提取时空序列特征；

步骤3，计算视频段的异常得分s_i；

步骤4，构建多示例最高异常得分求解函数f；

步骤5，构建排序损失函数l(V_m,V_n)，用于修正多示例最高异常得 分求解函数f，使其在模型训练过程中帮助异常视频获得较之正常视 频更高的得分；其中V_m和V_n分别表示异常视频m和正常视频n；

步骤6，构建目标函数：

L(W)＝l(V_m,V_n)+||W||

其中W为模型权重；

步骤7，将训练得到视频深度异常得分排序模型，接入实时视频 流，通过模型计算得到实时视频的异常得分，判断视频是否存在异常。

优选的，步骤2中时空序列特征提取方法为，在标记的视频数据 集合中，将数据集中的某个视频V_j切分成n个视频段，其中每个视频 段v_i包含连续的不重叠的16帧，将每个视频段分别送入C3D卷积神 经网络中，通过8次3D卷积和和5次3D池化操作后进入全连接层，获得视频段v_i的时空特征向量x_i，将视频V_j中所有视频段的时空特征 向量按照时间先后顺序拼接后，获得视频V_j的时空特征矩阵X_j。