[发明专利]一种基于深度神经网络的人群情绪异常检测和定位方法

说明书

本发明涉及一种基于深度神经网络的人群情绪异常检测和定位方法，通过监控设备获取视频数据，并对其进行视频关键帧数据提取，并从视频关键帧数据获取每一帧的人脸图像数据，并进行对齐、分组、排序预处理，然后输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并通过训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员，本发明设计合理，通过模型能够得到人群情绪异常与人群异常之间的关系，避免了人群异常与具体异常事件相关联而导致的检测局限性问题，另外，模型采用了混合的深度神经网络结构模型，从而进一步提高了视频人群情绪异常检测和定位的效率。

技术领域

本发明涉及一种计算机视觉技术领域，尤其是一种基于深度神经网络的人群情绪异常检测和定位方法。

背景技术

随着社会的持续稳定发展和人民群众物质文化生活水平的不断提高，城市人群聚集区域的娱乐活动、商业活动等越来越被公众关注，这些活动往往场地空间有限且参与人数众多，一旦发生异常情况，极易对广大人民群众的生命和财产安全产生严重危害，为了尽早的发现异常情况，及时采取措施，主要借助城市中广泛存在的监控设备，通过监控设备进行异常情况的检测和定位；

异常检测主要分为两类：整体异常检测和局部异常检测，整体异常指的是由场景中的所有个体引发的异常，整体异常检测的任务是检测异常事件，并确定异常事件的起始和终止位置，以及它们之间的过渡；

局部异常是指由某个个体引发的异常，这个个体可能有别于其他正常的个体，局部异常检测的任务是检测异常事件，并定位异常发生的位置。

异常检测根据对异常的不同定义而有所区别，通常对于异常的定义会与具体发生的事件关联起来，而人群情绪异常的定义是指人群中整体或个体出现的不正常情绪变化，即对于异常的检测并不与具体的异常事件直接关联。例如，当人群恐慌事件发生时，人群整体上从中性情绪到恐慌情绪的变化，就是一种人群情绪异常情况，需要关注的是情绪的异常变化情况，而不需要知道具体的异常事件；

对于情绪的定义，在研究中普遍采用Ekman的离散情绪模型，它将情绪分为高兴、愤怒、厌恶、恐惧、悲伤、惊奇六类，为了更有效地刻画情绪的变化，在这基础上我们增加了焦虑情绪及中性情绪，

而对于目前来说，监控设备远没有达到智能监控的程度，仍需要大量的工作人员来监测异常情况，对异常情况进行反馈，通过对监控视频异常情况的分析，不仅需要大量工作人员，而且分析结果也不准确，而且反馈具有迟延性，往往在异常情况出现时，才能发现异常情况，极其不利于工作人的监控以及对异常情况的处理。

发明内容

针对现有技术的不足，本发明提供一种基于深度神经网络的人群情绪异常检测和定位方法，从而解决现有人群异常检测技术中存在的异常定义与具体异常事件直接关联而导致的检测局限性问题。

本发明的技术方案为：一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：

S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；

S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；

S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；

S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，并将情绪标注后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调整模型全连接层权重，从而得到训练好的基于监控视频数据的人脸情绪识别模型