[发明专利]基于非局部网络深度学习的视频异常行为判别方法

说明书

本发明公开了一种基于非局部网络深度学习的视频异常行为判别方法，属于计算机视觉与智能、多媒体信号处理领域。本发明使用多示例学习的思路构建训练集合，定义和标注视频数据的正负包和示例。采用非局部网络进行视频样本的特征提取，残差结构的I3D网络作为提取时空信息的卷积滤波器，非局部网络块融合长距离依赖信息，以满足视频特征提取的时序和空间需求。获取特征后，通过弱监督的学习方法建立回归任务，训练模型。本发明对可对未标注的类别进行判别，适用于异常检测任务正样本稀少并且类内多样性高的状况。这种方法满足了异常场景的召回率需求，具有工程应用价值。

技术领域

本发明涉及属于计算机视觉与人工智能、多媒体信号处理领域，特别是涉及基于非局部网络深度学习的视频异常行为判别方法。

背景技术

行为、动作识别是计算机视觉学科中的一个非常重要的领域，具有极高的学术研究价值和商业应用价值。视频行为识别的主要目标是通过识别视频片段，判断出其中动作的分类标签，如奔跑、跳跃、弹琴。视频行为识别在多领域普及，其应用场景包含视频监控、运动识别、检索、异常检测等。视频行为识别的相关研究包含针对长视频的时序行为检测、针对未完成行为的在线行为检测和针对场景的语义分析等。

行人的异常行为检测技术在智能化视频监控领域中逐渐成为关键课题。这是因为在当今复杂的室内和室外的交通环境下，行人的安全问题不仅关系到行人个人，还对其周围的交通系统产生影响。然而，监控视频数据和互联网视频数据量近年来增加迅速，大数据时代下依赖人工的安全监控方式己经无法全面准确地覆盖视频监控网络。当下各行各业对高效、可靠的智能化视频监控系统有很大需求，视频监控系统的智能化水平需要不断提高。因此，安防作为近年最热门的计算机视觉研究落地方向，是视频行为识别针对异常行为数据的应用。在真实的监控视频中，一个常见的需求就是要自动识别视频流中的异常事件，也就是异常检测任务。

异常检测任务面临着几个主要困难：异常事件发生的频率很低，导致数据的收集和标注比较困难；异常事件的稀少导致训练中的正样本远少于负样本；在监控场景中，不管是通常还是异常事件都是很多样且复杂的，即类别内的多样性很高。

异常检测任务应该要在弱监督框架下进行学习。即在训练时，只知道一段视频中有或没有异常事件，而异常事件的种类以及具体的发生时间是未知的。基于这样的想法，b本申请采用了多示例学习(Multiple instance learning,MIL)方法来构建算法框架，主要使用多示例学习的思路构建训练集合，使用非局部网络NL-I3D来获取异常评分，最后采用多示例学习排序损失来训练模型。

发明内容

针对现有技术中存在的问题与不足，本发明提供基于非局部网络深度学习的视频异常行为判别方法，将多示例方法应用于非局部连接网络块与I3D网络相结合的NL-I3D网络中，对视频进行分类，为达此目的，本发明提供基于非局部网络深度学习的视频异常行为判别方法，其计算处理步骤如下，其特征在于：将视频数据分为正负包并切割成示例后使用多示例学习结合非局部网络进行异常行为判别，使用多示例学习的思路构建训练集合，定义和标注视频数据，采用非局部网络进行视频样本的特征提取，再通过弱监督的学习方法建立回归任务，训练模型，方法包括如下步骤：

(1)将视频分为正负包，并平均分割作为示例；

(2)将步骤(1)得到的视频数据送入在Kinetics数据库训练好的非局部网络，进行特征提取；

(3)将上一步得到的特征信息送入全连接网络，得到异常评分；

(4)按照多示例学习思想所建立的排序损失来训练步骤(3)中的全连接网络。

作为本发明进一步改进，所述步骤(1)中对视频数据进行分包和分割，具体步骤为：

步骤2.1：将数据集中的一个视频定义为一个包，异常行为类别的视频为正包，将视频平均截成8段作为示例，示例不具有正负标签。