[发明专利]基于神经网络的人脸影像多维度情感判别系统及方法

说明书

技术领域

本发明属于图像处理技术领域，具体涉及基于神经网络的人脸影像多维度情感判别系统及方法。

背景技术

人们运用表情、手势、肢体与语言来传达讯息与沟通，识别脸部情绪是了解人类所传达的讯息最直接的方法之一。传统的人脸情绪识别领域主要包括以下几个方面：

关键点检测之情绪识别：识别出人脸所在区域，使用传统算法人脸关键点五官与轮廓定位，提取关键点特征作为情绪识别之特征，其作法受到关键点定位准确度之限制，且仅人脸轮廓，缺乏脸肌肉之变化，这样的方式过于概括，情绪难以准确的被识别。

另一方面，情绪识别之分类：人的情感变化，难以用离散的类别来解释，举例来说，生气与伤心并非一线之隔，人的情绪是交杂且连续的，若一个人脸只用一种情绪表示，这样的方式过于笼统，且不能仔细地描述人细腻的情感。

发明内容

针对现有技术中的缺陷，本发明提供基于神经网络的人脸影像多维度情感判别系统及方法,提高人脸情绪分析的准确度。

一种基于神经网络的人脸影像多维度情感判别系统，包括：

脸部定位模块，用于识别待检测图像中人脸区域，并利用人脸检测算法提取待检测图像中的人脸图像；

特征提取模块，用于提取所述人脸图像的情绪特征；

识别模块，用于识别所述情绪特征得到情感信息；

输出模块，用于输出所述情感信息。

优选地，所述特征提取模块通过卷积神经网络提取所述人脸图像的情绪特征。

优选地，所述卷积神经网络的训练包括：

采用通过一个多维的情绪向量来描述脸部图像的训练资料进行训练；所述特征提取模块输入为所述人脸图像，输出为多维的情绪向量。

优选地，所述特征提取模块的输出和所述识别模块的输出均为多维向量，所述多维向量包括多个情绪类别。

优选地，所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。

一种基于神经网络的人脸影像多维度情感判别方法，适用于上述基于神经网络的人脸影像多维度情感判别系统，包括：

识别待检测图像中人脸区域，并利用人脸检测算法提取待检测图像中的人脸图像；

提取所述人脸图像的情绪特征；

识别所述情绪特征得到情感信息；

输出所述情感信息。

优选地，所述情感信息为多维向量，所述多维向量包括多个情绪类别。

优选地，所述情绪类别包括生气、厌恶、害怕、开心、难过、惊讶或中性。

由上述技术方案可知，本发明提供的基于神经网络的人脸影像多维度情感判别系统及方法,适应不同脸部角度、肤色与脸型，来提取情绪特征向量，体现该脸部图像的所属多维情绪，提高人脸情绪分析的准确度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为基于神经网络的人脸影像多维度情感判别系统的结构框图。

图2为基于神经网络的人脸影像多维度情感判别方法中图像处理方法。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例：

一种基于神经网络的人脸影像多维度情感判别系统，如图1、2所示，包括：

脸部定位模块，用于识别待检测图像中人脸区域，并提取待检测图像中的人脸图像；脸部定位的方法是通过在影像、视频或待检测图像中执行人脸检测的算法(不限于何种机器学习的方法)借以提取人脸图像。

特征提取模块，用于提取所述人脸图像的情绪特征；根据输入的人脸图像，通过训练神经网络得到深度学习模型，并且在测试时通过深度学习模型在最后一层的特征层提取人脸图像相对应得特征向量。

识别模块，用于识别所述情绪特征得到情感信息；根据每一个输入人脸图像所描述的特征向量，通过多维度情感判别分类器(可同时描述不同情感发生的可能性之分类器,每一类别的机率输出值皆为0到1)得到情感信息。

输出模块，用于输出所述情感信息。