[发明专利]基于人脸表情识别的顾客满意度获取方法

权利要求书

1.一种基于人脸表情识别的顾客满意度获取方法，其特征在于，包括以下步骤：

S1、通过摄像头采集图像；

S2、基于Haar特征的AdaBoost人脸检测方法，对采集图像进行人脸检测，并对检测到的人脸图片进行标记及转化；

S3、选取fer2013表情数据集，训练卷积神经网络，得到表情识别模型；

S4、由表情识别模型对标记的人脸图片进行表情识别，得到表情分类结果；

S5、根据表情分类结果，获取对应的顾客满意度结果；

所述步骤S3具体包括以下步骤：

S31、选取fer2013表情数据集作为表情识别数据集，将表情识别数据集中的图片按照8:1:1的比例划分为训练集、验证集和测试集，并将训练集、验证集和测试集分别转化成对应的二维矩阵；

S32、对表情识别数据集中的所有图片进行灰度化和归一化处理；

S33、构建卷积神经网络，其中，卷积神经网络的结构由依次连接的处理层、flatten层、第一全连接层、第一dropout层、第二全连接层、第二dropout层和softmax层组成，其中，处理层包括依次连接的三个子处理层，子处理层由依次连接的第一零填充层、第一卷积层、第二零填充层、第二卷积层、最大池化层和子处理dropout层组成；

S34、输入训练集的二维矩阵给卷积神经网络，在子处理层中，第一零填充层对训练集进行扩充，在训练集图片外围补充0像素点，之后输入第一卷积层，由过滤器进行卷积运算，得到第一特征图，第一特征图依次经过第二零填充层和第二卷积层后，得到第二特征图，再由最大池化层对第二特征图进行区域最大化操作，最终从子处理dropout层输出处理后的训练集二维向量；

S35、经过三个子处理层后，将处理后的训练集二维向量输入给flatten层，使二维向量展平成一维向量，再依次经过第一全连接层、第一dropout层、第二全连接层和第二dropout层，最终由softmax层输出训练集的分类结果，完成卷积神经网络的参数确定；

S36、输入验证集和测试集的二维矩阵给参数确定完成的卷积神经网络，由验证集对参数确定完成的卷积神经网络的泛化能力进行验证，由测试集得到卷积神经网络的损失函数的值，若该损失函数的值在预设阈值范围内，则完成卷积神经网络的训练，得到表情识别模型，否则需返回步骤S34。

2.根据权利要求1所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、从采集图像中提取Haar特征；

S22、基于训练数据集，对AdaBoost分类器进行训练分类，得到人脸分类器；

S23、根据采集图像中提取的Harr特征，由人脸分类器进行人脸检测，对采集图像中检测到的人脸图片进行标记，并将标记的人脸图片转化为48像素×48像素。

3.根据权利要求2所述的一种基于人脸表情识别的顾客满意度获取方法，其特征在于，所述步骤S21具体是将采集图像的内部特征分为四种类型：边缘特征、线性特征、中心特征和对角线特征，所述边缘特征、线性特征、中心特征和对角线特征组合成Haar特征模板，其中，Haar特征模板内包括白色矩形区域和黑色矩形区域，Haar特征的特征值具体为：

式中，C表示Haar特征的特征值，GS表示灰度值，W表示白色矩形区域，B表示黑色矩形区域。