[发明专利]参数预测模型的训练方法及三维人脸重建方法、装置

说明书

本发明提供一种参数预测模型的训练方法及三维人脸重建方法、装置，包括：获取二维人脸图像训练集，并输入至预先构建的神经网络模型中；通过主干网络从所述二维人脸图像训练集中提取得到人脸特征，并利用多个检测分支网络基于所述人脸特征预测得到多个第一人脸特征参数；从多个第一人脸特征参数中确定至少一个待提炼人脸特征参数，并将待提炼人脸特征参数输入至对应的分支提炼网络中，预测得到与待提炼人脸特征参数对应的第二人脸特征参数；根据第一人脸特征参数对应的第一损失以及第二人脸特征参数对应的第二损失对神经网络模型进行联合训练，得到训练好的神经网络模型。本发明能够在提升准确率的同时保证计算量不做任何增加。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种参数预测模型的训练方法及三维人脸重建方法、装置。

背景技术

3DMM(全称是3D Morphable Face Model，3D形变模型)是一种人脸形状和外观的统计模型，最早被提出是用于解决从二维人脸图像恢复三维形状的问题。目前，由于神经网络广泛使用，使得3DMM参数优化得到简化，即可以通过神经网络得到优化后的人脸特征参数，并基于该优化后的人脸特征参数完成三维人脸重建。

然而，现有的神经网络都是基于一组人脸形状和纹理的统计模型来表示任意一张人脸，仍然存在参数求解难，使得后续的三维人脸重建存在重建人脸判别性较差的问题。

为了提升重建人脸判别性，需要提升人脸特征参数预测的准确性，而如何训练得到一个神经网络模型，使得其在不增加神经网络模型任何计算量的情况下实现人脸特征参数的预测准确性提升是亟需解决的问题。

发明内容

本发明提供一种参数预测模型的训练方法及三维人脸重建方法、装置，用以解决上述问题。

本发明提供一种参数预测模型的训练方法，包括：

获取二维人脸图像训练集，并输入至预先构建的神经网络模型中；其中，所述预先构建的神经网络模型包括参数预测模型以及至少一个分支提炼网络；所述参数预测模型包括主干网络以及多个检测分支网络；

通过所述主干网络从所述二维人脸图像训练集中提取得到人脸特征，并利用所述多个检测分支网络基于所述人脸特征预测得到多个第一人脸特征参数；

从所述多个第一人脸特征参数中确定至少一个待提炼人脸特征参数，并将所述待提炼人脸特征参数输入至对应的分支提炼网络中，预测得到与所述待提炼人脸特征参数对应的第二人脸特征参数；

根据所述第一人脸特征参数对应的第一损失以及第二人脸特征参数对应的第二损失对所述神经网络模型进行联合训练，得到训练好的神经网络模型，该训练好的参数预测模型包括训练好的参数预测模型以及训练好的分支提炼网络；

其中，所述第一损失基于所述二维人脸图像训练集对应的真值与第一人脸特征参数得到；所述第二损失包括所述二维人脸图像训练集对应的真值与第二人脸特征参数之间的损失以及待提炼人脸特征参数与第二人脸特征参数之间的损失。

根据本发明提供的一种参数预测模型的训练方法，在所述通过所述主干网络从所述二维人脸图像训练集中提取得到人脸特征，并利用所述多个检测分支网络基于所述人脸特征预测得到多个第一人脸特征参数之后，方法还包括：

根据所述第一人脸特征参数、基准人脸坐标以及基准人脸参数，将所述第一人脸特征参数转化为人脸关键点；

相应地，所述分支提炼网络包括m个依次连接的卷积层，且第m个卷积层与前m-1个卷积层中的一个卷积层之间存在跳跃连接；

所述将所述待提炼人脸特征参数输入至对应的分支提炼网络中，预测得到与所述待提炼人脸特征参数对应的第二人脸特征参数，包括：

经由前m-1个卷积层对所述待提炼人脸特征参数进行特征提取，得到第m-1个卷积层输出的特征信息；