[发明专利]基于VR情景人脸图像复原的表情识别方法、设备及介质

权利要求书

1.一种基于VR情景人脸图像复原的表情识别方法，其特征在于，包括步骤：

合成VR情景叠加人脸图像：将所拍摄的VR人脸图像和VR人眼图像合成为VR情景叠加人脸图像；

复原完整人脸图像：采用公开人脸数据集进行VR设备的模拟穿戴及人眼叠加，有监督地训练生成对抗网络，输入合成的所述VR情景叠加人脸图像，复原出完整人脸图像；

表情识别分类器的实现：使用并训练小型卷积神经网络得到表情识别分类器；

完整人脸图像的表情识别：使用训练好的表情识别分类器对复原出的完整人脸图像进行表情识别；

所述的对抗网络包括生成器G和判别器D，生成器G用于生成复原后的人脸图像；所述判别器D用于判断输入的图像是真实人脸图像还是生成器G生成的人脸图像；整个训练学习过程中，所述判别器D分辨真假人脸图像的能力不断提升，所述生成器G生成的复原后的人脸图像与真实的人脸图像相似度不断提升，同时使判别器D将其生成的复原后的人脸图像当做是真实的人脸图像，从而实现生成器G和判别器D的对抗博弈过程；所述生成器G从一个随机噪声开始学习，即初始的复原人脸图像为一个随机噪声；每一轮训练过程均计算当前训练样本实例生成器G输出的复原人脸图像和真实人脸图像的L1损失，使用Resnet50提取复原人脸图像和参考人脸图像的特征向量并计算MSE作为ID损失，对总体的损失函数进行反向传播以更新生成器G的网络参数。

2.根据权利要求1所述的表情识别方法，其特征在于，所述合成VR情景叠加人脸图像时，采用仿射变换将VR人眼图像合成到VR人脸图像上，得到叠加人脸图像。

3.根据权利要求1所述的表情识别方法，其特征在于，所述VR人眼图像通过VR头戴设备中内嵌的红外摄像头拍摄的被VR设备遮挡的人脸眉毛、眼睛区域的图像得到；所述VR人脸图像通过使用者正前方摄像头拍摄未被VR设备遮挡的鼻子、嘴唇及下巴人脸图像得到。

4.根据权利要求1所述的表情识别方法，其特征在于，所述复原完整人脸图像时，采用公开人脸数据集进行VR设备的模拟穿戴及人眼叠加，使用每个人的三张图像有监督地训练生成对抗网络，通过生成的对抗网络输出复原后的完整人脸图像。

5.根据权利要求4所述的表情识别方法，其特征在于，所述的每个人的三张图像包括：VR情景人眼图像合成至VR情景人脸图像上得到的所述VR情景叠加人脸图像、非VR情景下的真实人脸图像和此人的另一张参考人脸图像。

6.根据权利要求5所述的表情识别方法，其特征在于，生成器G使用Unet网络，所述判别器D使用简单分类网络。

7.根据权利要求1所述的表情识别方法，其特征在于，所述表情识别分类器的实现过程中，采用公开表情数据集进行数据预处理及数据增强后对小型卷积神经网络进行训练，得到表情识别分类器。

8.根据权利要求7所述的表情识别方法，其特征在于，所述数据预处理包括对人脸表情数据集分别进行直方图均衡处理，得到直方图均衡数据集；对人脸表情数据集进行线性映射处理，得到线性映射数据集；对人脸表情数据集进行直方图均衡与线性映射的混合加权处理，得到混合加权数据集，所述混合加权的权重取(0.3,0.7)～(0.7,0.3)二者权重和为1；所述数据增强具体是对预处理得到的三个不同的数据集进行合并增加数据量。

9.一种电子设备，其特征在于：包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述程序时，实现如权利要求1至8中任一项所述的表情识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的表情识别方法。