[发明专利]一种无监督的端到端视频异常事件数据识别方法和装置

说明书

本申请涉及一种无监督的端到端视频异常事件数据识别方法和装置。所述方法包括：将从无标注视频中提取出的所有无标注视频事件数据输入深度神经网络学习一个端到端的辅助任务，无需引入手工特征算子或者经典异常检测模型，通过辅助任务的训练损失实现对异常视频事件数据的粗学习，进一步精识别中，设计能够根据各个训练样本的训练损失大小自适应地降低疑似异常视频事件数据在训练中的权重的第二损失函数，实现自步异常滤除，主动排除或者降低疑似训练样本集中异常事件数据对深度神经网络的影响，加强正常视频事件数据在辅助任务学习中的主导地位，训练完成后根据视频事件数据在辅助任务学习过程中训练损失的大小来进行视频事件的异常程度打分。

技术领域

本申请涉及计算机技术领域，特别是涉及一种无需标注训练集的端到端视频异常事件数据识别方法和装置。

背景技术

从监控视频数据中识别异常视频事件数据是智能安防的核心任务之一，其旨在帮助人们及时发现和处理各类突发和可疑情况，降低视频数据判读的负担。在现实生活中，由于异常事件具有抽象性(异常事件定义模糊，可指代多种事件，无固定含义)、新颖性(异常事件常常是全新、未记录的情况)、低频性(异常情况出现频率一般极低，异常事件数据常常难以收集)，使得异常事件数据的收集十分困难、甚至难以开展。对此，现有技术一般采用半监督(semi-supervised)方法，即标注一个仅包含正常类别视频事件的训练集来学习一个正常事件模型(normality model)，而在测试时将明显无法用该正常事件模型进行匹配的视频事件判别为异常事件，该方案也被称为单类别分类。然而，此类半监督方法的最大问题之一在于仍然需要人工标注一个仅包含正常视频事件数据的训练集，其过程常常需要高昂的时间和人力成本，尤其是在面对实时增长、数量庞大的监控视频数据时。针对这个痛点，近年来出现了一类不需要人工标注训练集、能够直接从无标注视频中识别异常事件数据的无监督(unsupervised)方法。作为一类新兴方法，现有的无监督视频异常事件数据识别方法远少于半监督方法，一种是基于对无标注视频做变化检测(change detection)，另一种是使用预训练深度网络进行视频数据的特征提取，并用经典的无监督异常检测模型孤立森林(Isolation Forest)获取初始异常识别结果。随后还有通过自训练的方式学习一个两类的回归模型，从而在初始识别结果的基础上迭代改进识别结果的技术。

虽然现在已经出现了一些无需标注训练集的无监督视频异常事件数据识别方法，但是他们存在以下重要缺陷：(1)现有的主要无监督方法均依赖于手工设计的特征算子来提取视频数据中的特征，其设计常常较为复杂，且通用性和判别性有限。手工设计特征算子的设计往往强烈依赖于人类专家经验、门槛很高，对特定视频场景的专属性强，而在其他场景下的有效性难以保证。因此，手工特征算子的设计和使用成本均较高，且在不同视频场景下的通用性和可迁移性较差。虽然极少数无监督方法中开始使用预训练的深度神经网络来提取特征，避免了自己设计特征算子，但是由于其往往是在与待处理的视频数据具有领域差异的其他数据上进行预训练，提取出的特征并非最优且包含大量冗余信息，直接影响了初始化异常数据识别结果的质量。(2)现有的无监督方法都需要依赖于经典模型进行异常数据识别，而经典模型不具备端到端特征学习能力，其建模和学习能力非常有限。主流的无监督方法都需要使用经典的逻辑回归(Logistic Regression)模型来对提取出的视频数据特征进行变化检测，而最新的无监督方法则需要使用经典的孤立森林检测模型进行异常数据识别结果的初始化。然而，经典模型不具备以深度神经网络为代表的新兴深层模型所具备的端到端学习能力，识别效果强烈依赖于已经提取出的视频数据的特征质量。(3)现有的无监督方法的性能明显落后于半监督方法，极大地限制了无监督方法的推广和使用。以评价视频异常数据识别中最常用的UCSD ped系列公开数据集为例，现有的无监督方法的识别性能一般落后于主流半监督方法10％以上，而其在一些最近发布的、更加复杂的大型公开数据集(如ShanghaiTech)上的性能也没有进行报告，有效性未知。

发明内容