[发明专利]基于深度学习的三维人脸重构方法、系统、设备及介质

说明书

本发明公开了一种基于深度学习的三维人脸重构方法、系统、设备及介质，本方法通过将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸；根据带有细节特征的三维重构人脸，获得重构三维人脸。本发明能够提高三维人脸重构精确度。

技术领域

本发明涉及三维人脸重构技术领域，尤其是涉及一种基于深度学习的三维人脸重构方法、系统、设备及介质。

背景技术

传统三维人脸重构工作中虽然能重构出三维人脸结构模型，但整体的生产周期很长，效率很低。在基于神经网络的技术方法中，由于目前制作对应训练数据集的成本较高，导致训练集大多为低分辨率且都为欧美人，因此训练出的网络模型对亚洲人的人脸鲁棒性不高，加上该技术中使用的是resnet-50作为backbone网络对二维人脸照片进行特征提取，网络层次较为简单且没有使用辅助训练方法，造成人脸细节性特征丢失，使得重构出的三维人脸模型的表情看起来很生硬，三维人脸重构精确度低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的三维人脸重构方法、系统、设备及介质，能够提高三维人脸重构精确度。

第一方面，本发明实施例提供了一种基于深度学习的三维人脸重构方法，所述基于深度学习的三维人脸重构方法包括：

获取二维人脸图像；

将所述二维人脸图像输入至粗略模型参数编码器，获得所述粗略模型参数编码器输出的粗略特征参数，并根据所述粗略特征参数，获得粗略三维重构人脸；

将所述二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，所述细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；所述细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；

将所述细节特征参数融入所述粗略三维重构人脸中，获得带有细节特征的三维重构人脸；

根据所述带有细节特征的三维重构人脸，获得重构三维人脸。

与现有技术相比，本发明第一方面具有以下有益效果：

本方法通过获取二维人脸图像，将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数，其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得，细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征，通过基于老师网络和学生网络训练细节模型参数编解码器网络，能够提高训练效果；将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸，根据带有细节特征的三维重构人脸，获得重构三维人脸，通过将细节特征参数融入粗略三维重构人脸中，根据带有细节特征的三维重构人脸自动生成三维重构人脸，能够提高三维人脸重构精确度，并且生产周期短，效率高，成本低。

根据本发明的一些实施例，所述细节模型参数编解码器网络包括特征提取层和中间层，在所述中间层中加入ECA-block模块，所述细节模型参数编解码器网络的训练过程包括：

获取二维人脸图像样本集；

采用PGD对抗网络在所述二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本；