[发明专利]一种通过三维可形变模型学习的二维人脸表情识别方法

说明书

本发明属于图像处理技术领域，具体为一种基于三维可形变模型学习的二维人脸表情识别方法。本发明重建二维人脸表情对应的三维表情点云，采用编码器‑解码器的网络结构，结合表情分类器和表情分类损失以及三维点云回归损失，在端到端的联合训练下，最终获得的表情参数不但增强了判别性，提高了二维人脸表情分类的准确率，而且保持生成性，可以恢复相应的三维人脸表情点云。本发明可以同时实现二维人脸表情分类和三维人脸表情点云生成这两种功能，具有广泛的应用前景。

技术领域

本发明属于图像处理技术领域，具体涉及一种通过三维可形变模型学习的二维人脸表情识别方法。

背景技术

人脸表情识别技术在情感人工智能中具有重要作用，广泛应用于数字娱乐、驾驶员监测、儿童自闭症诊断以及其他人机交互的系统中。因此，可靠的智能人脸表情识别技术受到了学术界和产业界越来越多的关注。

三维可形变模型是一种基于统计的参数化的人脸三维点云模型，其中的表情参数可以描述面部的不同动作。为了利用三维可形变模型的表情参数来进行二维人脸表情分类，ExpNet^[1]采用ResNet 101^[2]作为回归器，直接回归二维人脸图片的表情参数，然后利用k最近邻分类算法对得到的表情参数进行分类，得到最终的表情类别结果。

ExpNet将人脸表情特征的提取阶段和分类阶段分开，远达不到端到端训练的分类效果。因此，ExpNet仍存在可以优化的空间。

为了解决以上的问题，我们提供了一种通过三维可形变模型学习的二维人脸表情识别方法，本发明采用编码器-解码器的网络结构，重建二维人脸表情对应的三维表情点云，结合表情分类器和表情分类损失以及三维点云回归损失，在端到端地联合训练下，获得的表情参数不但增强了判别性，提高了二维人脸表情分类的准确率，而且仍保持生成性，可以恢复相应的三维表情点云。本发明可以同时实现二维人脸表情分类和三维人脸表情点云生成这两种功能，具有广泛的应用前景。

参考文献：

[1]Feng-Ju Chang, Anh Tuan Tran, Tal Hassner, Iacopo Masi, RamNevatia, and Gérard G. Medioni. 2018. ExpNet: Landmark-Free, Deep, 3D FacialExpressions. In 13th IEEE International Conference on Automatic Face Gesture Recognition, FG 2018, Xi’an, China, May 15-19, 2018. IEEE ComputerSociety, 122–129. https://doi.org/10.1109/FG.2018.00027

[2] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deepresidual learning for image recognition. In Proceedings of Conference onComputer Vision and Pattern Recognition, June 2016.