[发明专利]一种基于深度神经网络的人群情绪异常检测和定位方法

权利要求书

1.一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：

S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；

S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；

S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；

S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，然后将情绪标记后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调整模型全连接层权重，从而得到训练好的基于监控视频数据的人脸情绪识别模型；

S5)、构建人群情绪检测和定位模型：将人脸情绪识别模型的全连接层输出的特征按时间维度组合成时序特征，并将时序特征输入长短期记忆循环神经网络模型中，构建并训练得到整体的人群情绪检测和定位模型；

S6)、异常情绪检测和定位：重新从监控设备中获取视频数据作为监测视频数据，按照步骤S2、S3)对监测视频数据进行预处理，利用训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员。

2.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S4)中，所述的情绪标记包括高兴、愤怒、厌恶、恐惧、悲伤、惊奇、焦虑、中性。

3.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S4)中，所述的基于卷积神经网络的人脸情绪识别模型的构建包括以下步骤:

S401)、获取公开的人脸图像数据集作为训练样本集，并对人脸表情数据集进行人脸对齐，以及人脸图像情绪标记；

S402)、将步骤S401)中处理后的训练样本集中的每一张人脸图像转换为灰度图像，由灰度图像转换为像素矩阵X＝[x_ij]_M×N，其中，x_ij表示图像的第i行第j列的像素值，M为图像的高，N为图像的宽，其中，宽、高以像素为单位；

S403)、对所有灰度图像的像素矩阵进行去均值处理，其计算式为：

S404)、将去均值处理后的像素矩阵X输入到卷积神经网络模型中；

S405)、对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：

式中，i为输入特征图的索引，j为输出特征图的索引，N_in为输入特征图个数，l为网络层的索引，表示第l层网络的第j个输出特征图，表示第l层网络的第i个输入特征图对应的卷积核，为偏置；

使用下采样函数down对上一层输出的特征图进行下采样，计算式为：

其中，为偏置；

获取网络结构中最后的下采样层输出的一系列特征图将每一个特征图中的像素依次取出，拼接成一个向量，向量形式为：

S406)、将拼接后的向量R^l作为全连接层的输入，其计算式为：X^l＝f(W^lR^l+b^l)，

其中，W^l表示第l层的权重矩阵，b^l表示第l层的偏置；

S407)、将全连接层输出的向量X^l，经激活函数计算得到最后的预测值y_i，其计算式为：

y_i＝g(UX^l+c)，

其中，U为权重矩阵，c为偏置；

S408)、使用交叉熵损失函数，计算预测值y_i与真实值的损失函数值，并最小化损失函数值，其计算式为：

其中，i为人脸图像数据的索引，j为人脸图像数据所属8类情绪标识的索引；

S408)、通过随机梯度下降法，调整网络权重k、W、U和偏置a、β、b、c，根据更新后的网络权重k、W、U和偏置a、β、b、c，重新计算上述损失函数值，不断迭代直至损失函数值不再减小或到达设定的迭代次数，从而得到训练好的基于卷积神经网络的人脸情绪识别模型。

4.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S6)中，异常情绪检测和定位还包括以下步骤：

S601)、通过情绪异常检测和定位模型，获取人群情绪的预测结果是否异常；

S602)、若预测结果标识为异常，利用人脸情绪识别模型，输出监测视频数据中存在异常的个体对应的情绪变化情况；

S603)、根据监测视频数据中具体人群中个体情绪异常情况，根据出现异常的个体数，从而判定当前视频人群异常检测结果属于整体异常还是局部异常情况。