[发明专利]基于帧间差分的暴力行为检测方法、系统、设备及介质

说明书

本公开公开了基于帧间差分的暴力行为检测方法、系统、设备及介质，将待检测视频的所有帧图像，均输入到第一卷积神经网络中，输出每一帧图像的外观特征；利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到第二卷积神经网络中，输出每一个差分帧图像的动作特征；将每一帧图像的外观特征输入到第一分类器中，输出当前帧图像的第一分类标签；将每一个差分帧图像的动作特征输入到第二分类器中，输出当前差分帧图像的第二分类标签；将第一分类标签和第二分类标签进行融合，输出当前帧图像的暴力行为检测结果；当存在暴力行为图像的帧数超过设定阈值时，则认为待检测视频存在暴力行为。

技术领域

本公开涉及暴力行为检测技术领域，特别是涉及基于帧间差分的暴力行为检测方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

基于监控视频的人体行为识别，一直以来都备受中外研究者们的热情关注，原因不仅是由于基于视频的人体的行为识别研究在人机交互领域、安全监控方面、医疗诊断方面等具有非常重要的现实意义，而且行为识别的多领域广泛运用更是让它拥有了更多的研究价值，因此国内外众多科研工作者已经开展了大量的研究工作。基于视频的人体行为识别技术，涉及到了包括模式识别、图像处理和人工智能等多个知识领域，其中可能遇到的各种有待解决的问题包括环境变化、光线变化、目标遮挡等更是为视频中人的行为识别研究带来了很大的挑战。

视频中异常行为的判断还处于人工识别的阶段，人工识别虽然比计算机识别的准确率高，但要通过人工的方式实时地处理大量的监控数据几乎是不可能的，再者想要快速地从大量视频数据中提取有用信息的难度更大。

为了提高视频中异常行为检测的效率与分类的准确率，大量研究者们开始从事计算机视觉相关技术来进行针对视频中异常行为识别方面的研究。通过对监控视频进行分析、定位、跟踪来分析目标的动作序列，另外还通过综合场景特征来实现异常行为的判定，以提高异常行为识别的效率。

随着社会的进步与经济的不断发展，公共安全事务越来越受到社会各界的关注。暴力事件的频繁发生，威胁着每个人的人身和生命安全，而无处不在的监控可以用来防范、制止暴力事件的发生。基于这些实际考虑，我们将重点放在利用计算机视觉和深度学习技术检测人类暴力行为上。

暴力行为检测现在主要有基于全局特征和局部特征两种方法。局部特征大多是提取周围兴趣点的特征描述符，如流强、方向、梯度等，虽然局部特征方法在提供运动的精确表示方面表现良好，但是当场景拥挤时，精确度就大大下降。全局特性多是利用光流直方图来检测拥挤场景中的异常行为。现有的局部和全局方法都是针对特定任务而主观设计的，而基于多特征的暴力行为检测需要提取声音、纹理等特征，在医院、学校等地点这些特征是很难以被提取的。

发明内容

为了解决现有技术的不足，本公开提供了基于帧间差分的暴力行为检测方法、系统、设备及介质；

第一方面，本公开提供了基于帧间差分的暴力行为检测方法；

基于帧间差分的暴力行为检测方法，包括：

将待检测视频的所有帧图像，均输入到预先训练好的第一卷积神经网络中，输出每一帧图像的外观特征；

利用帧间差分法对待检测视频进行处理，提取出若干个差分帧图像；将每一个差分帧图像，均输入到预先训练好的第二卷积神经网络中，输出每一个差分帧图像的动作特征；

将每一帧图像的外观特征输入到预训练的第一分类器中，输出当前帧图像的第一分类标签；

将每一个差分帧图像的动作特征输入到预训练的第二分类器中，输出当前差分帧图像的第二分类标签；