[发明专利]一种基于深度学习的视频人群情绪分析方法及系统

说明书

本发明涉及一种情绪分析的技术领域，公开了一种基于深度学习的视频人群情绪分析方法，包括：获取待分析的视频流数据，利用高斯降噪方法对视频流中的每一帧图片进行降噪处理，并利用鬼影消除算法对视频帧图片进行鬼影消除处理；利用尺度自适应的人群姿态获取算法提取视频帧图片中人群的姿态特征；利用人脸检测算法检测视频帧图片的人脸，并对检测到的人脸进行裁剪，得到人脸图像；利用表情识别算法对人脸图像进行特征提取，提取到人脸表情特征；根据提取的人群姿态特征以及人脸表情特征，利用情绪识别模型对视频中人群进行情绪分析处理。本发明还提供了一种基于深度学习的视频人群情绪分析系统。本发明实现了视频中的人群情绪分析。

技术领域

本发明涉及情绪识别的技术领域，尤其涉及一种基于深度学习的视频人群情绪分析方法及系统。

背景技术

随着这些年来大数据的爆发和计算能力的提升，人工智能是相对火热的一个研究方向，在计算机方面它是一个重要的领域。21世纪是属于计算机的，人们对计算机计算能力的要求也更加精细化，其逐渐变成人类生活里面必不可少的要素。随之而来的变化是人们对人机交互的迫切要求，如何利用人工智能技术实现视频中人群情绪的识别，成为当前研究领域的热门话题。

在视频序列中，各个片段之间的表情强度存在很大差异，直接去测量每一帧的容错率是很难执行并产生令人满意的结果；同时大多数情绪识别方法比较重视识别表情峰值高的图像，而忽略了细微的低强度表情，从而具有一定的识别误差。

鉴于此，如何提取视频序列中的不同情绪特征，并准确对人群情绪进行识别，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于深度学习的视频人群情绪分析方法，通过利用尺度自适应的人群姿态获取算法提取人群的姿态特征，并利用人脸检测算法检测视频帧画面的人脸图像，利用表情识别算法提取人脸表情特征，从而根据人群姿态特征和人脸表情特征，分析视频中人群的情绪。

为实现上述目的，本发明提供的一种基于深度学习的视频人群情绪分析方法，包括：

获取待分析的视频流数据，利用高斯降噪方法对视频流中的每一帧图片进行降噪处理，并利用鬼影消除算法对视频帧图片进行鬼影消除处理；

利用尺度自适应的人群姿态获取算法提取视频帧图片中人群的姿态特征；

利用人脸检测算法检测视频帧图片的人脸，并对检测到的人脸进行裁剪，得到人脸图像；

利用表情识别算法对人脸图像进行特征提取，提取到人脸表情特征；

根据提取的人群姿态特征以及人脸表情特征，利用情绪识别模型对视频中人群进行情绪分析处理。

可选地，所述利用鬼影消除算法对视频帧图片进行鬼影消除处理，包括：

1)选取视频中无运动物体的帧图片作为参考图片，参考图片的灰度级概率密度为p_r(r)，非参考图片的灰度级概率密度为p_z(z)，计算参考图片与非参考图片的映射关系为：

其中：

z表示参考图片像素；

r表示非参考图片像素；

H(·)表示直方图匹配操作；

对非参考图片中的每个像素进行直方图匹配处理，得到曝光调整后的视频帧图片，使得非参考图片和参考图片具有相似的曝光度；

2)计算参考图片和非参考图片之间的差分图像：

D^k＝|I_k-I|

其中：