[发明专利]人脸表情识别方法、系统、存储介质、计算机程序、终端

权利要求书

1.一种人脸表情识别方法，其特征在于，所述人脸表情识别方法包括：

第一步，根据给定的深度图和RGB图片组合预训练一个图像生成模型，训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像；

第二步，生成RGB图像中表情的眉、眼以及嘴部，训练着重考虑眉、眼以及嘴部的卷积神经网络，卷积神经网络实现表情识别；

所述第一步包括将不同场景下采集的图片转化为统一的预训练场景，通过预训练的生成模型，根据深度图生成RGB图，实现不同场景数据统一成训练场景数据；具体包括：

（1）选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型，pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像；

（2）用公开数据库Bosphorus中的图片作为预训练模型的数据来源；训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图；

所述第二步还包括：

（1）通过眉、眼以及嘴部的坐标确定在图中的位置，剪切出来，经过加强，再放入神经网络训练；

（2）神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习眉、眼以及嘴部的特征信息，得到描述眉、眼以及嘴部的4个特征图；

所述图像生成模型生成的RGB图，整个放入残差学习网络ResNet-18训练，学习整张脸关于表情的特征信息；在通过ResNet-18的第一层后，图像的通道数刚好是64，矩阵大小是64×64，特征图为A；将得到的关于眉、眼以及嘴部的特征图对应地叠加A上，实现在网络训练时加强眉、眼以及嘴部信息的学习。

2.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行如权利要求1所述的人脸表情识别方法。

3.一种人脸表情识别系统，其特征在于，所述人脸表情识别系统包括：

深度图转化模块，根据给定的深度图和RGB图片组合预训练一个图像生成模型，训练好的图像生成模型能根据训练所用的RGB图像样式将输入的深度图转化为RGB图像；将不同场景下采集的图片转化为统一的预训练场景，通过预训练的生成模型，根据深度图生成RGB图，实现不同场景数据统一成训练场景数据；具体包括：

（1）选择pix2pix网络作为人脸表情识别方法的预训练图像生成模型，pix2pix网络被用于训练根据输入的深度图生成对应的RGB图像；

（2）用公开数据库Bosphorus中的图片作为预训练模型的数据来源；训练后的模型即能根据深度图生成与Bosphorus数据库场景一致的RGB图；

表情识别模块，生成RGB图像中表情的眉、眼以及嘴部，训练着重考虑眉、眼以及嘴部的卷积神经网络，卷积神经网络实现表情识别；

（1）通过眉、眼以及嘴部的坐标确定在图中的位置，剪切出来，经过加强，再放入神经网络训练；

（2）神经网络通过步长为2、卷积核大小为7、通道数为64的卷积层、BN层、relu层、池化层、两个残差块加强学习眉、眼以及嘴部的特征信息，得到描述眉、眼以及嘴部的4个特征图；

所述图像生成模型生成的RGB图，整个放入残差学习网络ResNet-18训练，学习整张脸关于表情的特征信息；在通过ResNet-18的第一层后，图像的通道数刚好是64，矩阵大小是64×64，特征图为A；将得到的关于眉、眼以及嘴部的特征图对应地叠加A上，实现在网络训练时加强眉、眼以及嘴部信息的学习。

4.一种终端，其特征在于，所述终端搭载如权利要求3所述的人脸表情识别系统。