[发明专利]基于视频弱标记的双模态迭代去噪异常检测方法及终端

说明书

本发明提供了一种基于视频弱标记的双模态迭代去噪异常检测方法及终端，将弱标记视作精确标签的噪声，分别从图像控件和特征空间进行标签去噪；利用自编码器从图像空间学习正常和异常视频的特性；利用图卷积模型学习视频片段在不同时间上的特征；利用迭代交替更新分类器和去噪器。本发明通过充分考虑视频的弱标记问题，利用去噪模型的方法来克服标记数据的困难，面对异常检测这种数据难以收集的研究领域，有很强鲁棒性，能够很好解决视频的弱标签问题，具有普遍适用性。

技术领域

本发明属于计算机视觉技术领域，具体为一种基于视频弱标记的双模态迭代去噪异常检测方法及终端，尤其涉及在监控摄像头下的专注于人群异常行为的异常检测。

背景技术

监控摄像机越来越多地被使用在公共场所之中，比如街道、路口、银行和购物中心等等人流量密集的地方。然而，相关行政执法机构的对监控视频中的异常情况的检测能力却没有跟上，导致不能充分利用监控摄像机的资源，在其使用上存在着明显缺陷。让人来实时观测监控视频也非常不现实，因为如今我国的监控摄像机数量已经十分庞大，光靠人力资源来监测监控视频不仅成本代价极高，而且由于各种不确定的人为因素的存在，使得效率也非常的低。因此，当下面临的挑战是在监控视频中实现自动检测异常事件，比如交通事故，犯罪活动或者违法行为。一般来说，相比于普通正常情况而言，异常情况往往发生数量少，且持续时间相对短。因此，为了减少对人力资源和时间的浪费，研究视频自动异常检测的计算机视觉算法是非常有必要的。

实际异常检测系统的目标是及时检测出不符合正常模式的行为，并且识别出异常发生的开始到结束时间点。因此，异常检测可以被认为是计算机对视频的浅层次理解，即把异常从正常模式中区别出来。一旦监控视频中的异常被检测到，那就可以精确地开展下一步工作，比如通过分类技术来对异常情况进行判别，确定异常情况的属性，最终实现向有关部门及时反馈异常情况，不仅缓解了行政执法部门的压力，而且在机器的24小时监控下，也能对违法犯罪行为加以威慑，从而降低犯罪率，维护社会治安。

近几年，由于神经网络的崛起，手工提取的特征的缺陷便愈加明显。相对与手工特征，卷积神经网络提取的特征随着迭代而改变，最终能根据任务的目标提取出最匹配的特征。一种方法(参见Mahmudul Hasan,Jonghyun Choi,Jan Neumann,Amit K Roy-Chowdhury,and Larry S Davis,“Learning temporal regularity in videosequences,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2016,pp.733–742.)通过学习一个基于深度自编码模型的异常分类器来实现视频中的异常见检测。在最近的研究中(参见Yiru Zhao,Bing Deng,Chen Shen,Yao Liu,Hongtao Lu,and Xian-Sheng Hua,“Spatio-temporal autoencoder for videoanomaly detection,”in Proceedings of the 2017ACM on MultimediaConference.ACM,2017,pp.1933–1941)，其通过卷积神经网络对视频提取特征，然后利用一种基于重构误差的方法来进行异常检测。由于现实世界的监控视频中异常情况相对于正常情况而言发生数量少且时间短，因此无干扰的异常样本也难以采集，而人造异常样本如UMN的人群异常行为数据集，人群服从命令执行某些异常行为如突然地跑动，无法有效地展示出足够的人群异常信息。因此大多数的基于异常检测的方法通常全部采用正常样本作为训练输入，没有任何异常样本参与到输入的训练过程中，导致模型只能学习到样本的正常模式。虽然这类基于重构误差的方法在当时的某些数据集上展现了良好的效果，但是在测试的过程中，模型将任何与训练样本相差较大的样本均视为异常，也就是说基于重构误差的异常检测方法会受限于异常样本的稀少，无法合理地对正常、异常模式进行建模，最终地检测效果不稳定。