[发明专利]一种通过三维可形变模型学习的二维人脸表情识别方法

权利要求书

1.一种基于三维可形变模型学习的二维人脸表情识别方法，其特征在于，三维可形变模型学习技术，重建二维人脸表情对应的三维人脸表情点云，采用编码器-解码器的网络结构，结合表情分类器和表情分类损失以及三维点云回归损失，在端到端地联合训练下，最终获得表情参数；其中：

所述二维人脸表情，是待表情分类的人脸图像；

所述三维人脸表情点云，是三维空间中人脸点云除去平静人脸点云后的部分，即对应于面部动作的点云；

所述表情参数，是对人脸表情的编码，可以通过解码器恢复相应的三维人脸表情点云；

所述编码器，用于对输入的二维人脸表情进行编码，输出表情参数；

所述解码器，用于对输入的表情参数进行解码，输出三维人脸表情点云；

所述表情分类器，采用SoftMax分类层，输出每种表情的预测概率；

所述表情分类损失，采用交叉熵损失，通过表情分类器施加于表情参数上；

所述三维点云回归损失，采用MSE均方误差损失，施加于解码器的输出上。

2.根据权利要求1所述的基于三维可形变模型学习的二维人脸表情识别方法，其特征在于，方法采用端到端地联合训练；具体方式为：

首先是预训练阶段：分别用二维人脸图片和相应的三维可形变模型的表情参数来训练编码器，用三维可形变模型的表情参数和相应的三维人脸表情点云来训练解码器；这样，是编码器和解码器就具备初步的功能；

然后是联合训练阶段：将预训练后的编码器和解码器联合训练，即将编码器输出的表情参数输入到解码器中，端到端地产生人脸图片对应的三维人脸表情点云；在联合训练过程中，通过表情分类器，对编码器输出的表情参数施加表情分类损失，使表情参数在其空间中的分布更加具有判别性，增大类间距离，从而提高表情分类的准确率；同时对解码器输出的三维人脸表情点云施加均方误差损失，使最终获得的表情参数仍然可以生成相应的三维人脸表情点云。

3. 根据权利要求2所述的基于三维可形变模型学习的二维人脸表情识别方法，其特征在于，所述三维可形变模型采用Basel Face Model和FaceWarehouse，于是表情参数就是29维的向量，三维点云有53215个顶点；所述编码器采用SphereFace，在其顶端添加一层29维的全连接层用来输出29维的表情参数；所述解码器采用两层的多层感知机，中间一层的维度是1000，输出层的维度是159645。

4.根据权利要求2所述的基于三维可形变模型学习的二维人脸表情识别方法，其特征在于,在联合训练阶段，将表情分类损失和三维点云回归损失的两种损失约束同时施加于编码器-解码器结构的神经网络上；为了使表情参数的空间分布更加可分，在联合训练的初始阶段，将三维点云回归损失的权重调低，表情分类损失和三维点云回归损失两者的权重为1:0.5；当表情分类损失饱和时，为了保证生成的三维人脸表情更加自然真实，将三维点云回归损失的权重调高，表情分类损失和三维点云回归损失两者的权重为1:5。