[发明专利]观众情绪识别方法、装置及系统

说明书

本发明涉及情绪识别技术领域，提供一种观众情绪识别方法、装置及系统，所述方法包括：提取包含多个观众的视频图像的每一帧图像；对每一帧图像进行人脸表情识别，获得每一帧图像的表情类别；对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将综合判定后的表情类别作为视频图像的情绪类别；对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。本发明提供的技术方案，能够全面、准确地识别观众在观看节目过程中的整体情绪。

技术领域

本发明涉及情绪识别技术领域，特别涉及一种观众情绪识别方法、一种观众情绪识别装置及一种观众情绪识别系统。

背景技术

情绪是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。情绪识别现多指AI(Artificial Intelligence，人工智能)通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。

现有的情绪识别方法大多用于对单张人脸进行情绪识别，在同时识别多张人脸时，其结果并不准确。且现有的情绪识别方法在情绪识别过程中仅考虑了单一的影响因素，例如，人的面部表情因素，而人的情绪的展现往往是很复杂的，因此，仅考虑单一因素无法对人的情绪进行全面、准确地识别。此外，现有技术中还未出现过对观看节目的观众进行情绪识别，从而判断观众在观看节目过程中的整体情绪的技术方案。

发明内容

有鉴于此，本发明旨在提出一种观众情绪识别方法、装置及系统，能够全面、准确地识别观众在观看节目过程中的整体情绪。

为达到上述目的，本发明的技术方案是这样实现的：

一种观众情绪识别方法，所述方法包括：

提取包含多个观众的视频图像的每一帧图像；

对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；

对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；

对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；

对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。

优选地，所述对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别，包括：

对所述每一帧图像均进行以下操作：

对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；

对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；

对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别。

优选地，所述对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别，包括：

对每张人脸识别图像均进行以下操作：

采用KNN算法将一张人脸识别图像中的所述人脸特征点与预设表情类别的特征点进行比较，将与所述人脸特征点匹配度最高的特征点所对应的预设表情类别作为该张人脸识别图像对应的表情类别。

进一步地，在对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别之后，对所述每一帧图像还进行以下操作：

根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度；

根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；