[发明专利]观众情绪识别方法、装置及系统

权利要求书

1.一种观众情绪识别方法，其特征在于，所述方法包括：

提取包含多个观众的视频图像的每一帧图像；

对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别；

对所有帧的表情类别进行综合判定，获得综合判定后的表情类别，将所述综合判定后的表情类别作为所述视频图像的情绪类别；

对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别；

对所述视频图像的情绪类别和所述音频的情绪类别进行综合判定，获得观众情绪识别结果。

2.根据权利要求1所述的观众情绪识别方法，其特征在于，所述对所述每一帧图像进行人脸表情识别，获得所述每一帧图像的表情类别，包括：

对所述每一帧图像均进行以下操作：

对一帧图像进行人脸识别，获得多张人脸识别图像，其中，每张人脸识别图像中均包括人脸特征点；

对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别；

对所有的人脸识别图像的表情类别进行综合判定，获得该帧图像的表情类别。

3.根据权利要求2所述的观众情绪识别方法，其特征在于，所述对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别，包括：

对每张人脸识别图像均进行以下操作：

采用KNN算法将一张人脸识别图像中的所述人脸特征点与预设表情类别的特征点进行比较，将与所述人脸特征点匹配度最高的特征点所对应的预设表情类别作为该张人脸识别图像对应的表情类别。

4.根据权利要求2所述的观众情绪识别方法，其特征在于，在对每张人脸识别图像进行人脸表情识别，获得所述每张人脸识别图像对应的表情类别之后，对所述每一帧图像还进行以下操作：

根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度；

根据一帧图像中每张人脸识别图像的表情变化程度，计算该帧图像的表情变化程度；

根据所述该帧图像的表情变化程度计算该帧图像的情绪得分；

所述方法还包括：

根据每一帧图像的情绪得分计算所述视频图像的情绪得分。

5.根据权利要求4所述的观众情绪识别方法，其特征在于，所述人脸特征点包括：眼睛特征点、嘴巴特征点和脸部特征点，所述根据一张人脸识别图像中的所述人脸特征点计算该张人脸识别图像的表情变化程度，包括：

计算所述眼睛特征点与预设的无表情人脸图像的眼睛特征点之间的偏离程度，获得眼睛变化程度；

计算所述嘴巴特征点与预设的无表情人脸图像的嘴巴特征点之间的偏离程度，获得嘴巴变化程度；

计算所述脸部特征点与预设的无表情人脸图像的脸部特征点之间的偏离程度，获得脸部变化程度；

对所述眼睛变化程度、所述嘴巴变化程度和所述脸部变化程度进行加权平均，获得所述该张人脸识别图像的表情变化程度。

6.根据权利要求4所述的观众情绪识别方法，其特征在于，所述对与所述视频图像对应的音频进行声音情绪识别，获得所述音频的情绪类别，包括：

对所述音频进行声源提取，获得至少一个声源；

对每个声源进行情绪识别，获得所述每个声源的情绪类别；

对所有声源的情绪类别进行综合判定，获得所述音频的情绪类别。

7.根据权利要求6所述的观众情绪识别方法，其特征在于，所述对每个声源进行情绪识别，获得所述每个声源的情绪类别，包括：

对每个声源均进行以下操作：

将一个声源转化为频谱图；

从所述频谱图中提取该声源的声音特征点；

采用KNN算法将所述声音特征点与预设声音情绪类别的特征点进行比较，将与所述声音特征点匹配度最高的特征点所对应的预设声音情绪类别作为该声源的情绪类别。