[发明专利]参数预测模型的训练方法及三维人脸重建方法、装置

权利要求书

1.一种参数预测模型的训练方法，其特征在于，包括：

获取二维人脸图像训练集，并输入至预先构建的神经网络模型中；其中，所述预先构建的神经网络模型包括参数预测模型以及至少一个分支提炼网络；所述参数预测模型包括主干网络以及多个检测分支网络；

通过所述主干网络从所述二维人脸图像训练集中提取得到人脸特征，并利用所述多个检测分支网络基于所述人脸特征预测得到多个第一人脸特征参数；

从所述多个第一人脸特征参数中确定至少一个待提炼人脸特征参数，并将所述待提炼人脸特征参数输入至对应的分支提炼网络中，预测得到与所述待提炼人脸特征参数对应的第二人脸特征参数；

根据所述第一人脸特征参数对应的第一损失以及第二人脸特征参数对应的第二损失对所述神经网络模型进行联合训练，得到训练好的神经网络模型，该训练好的神经网络模型包括训练好的参数预测模型以及训练好的分支提炼网络；

其中，所述第一损失基于所述二维人脸图像训练集对应的真值与第一人脸特征参数得到；所述第二损失包括所述二维人脸图像训练集对应的真值与第二人脸特征参数之间的损失以及待提炼人脸特征参数与第二人脸特征参数之间的损失。

2.根据权利要求1所述的参数预测模型的训练方法，其特征在于，在所述通过所述主干网络从所述二维人脸图像训练集中提取得到人脸特征，并利用所述多个检测分支网络基于所述人脸特征预测得到多个第一人脸特征参数之后，方法还包括：

根据所述第一人脸特征参数、基准人脸坐标以及基准人脸参数，将所述第一人脸特征参数转化为人脸关键点；

相应地，所述分支提炼网络包括m个依次连接的卷积层，且第m个卷积层与前m-1个卷积层中的一个卷积层之间存在跳跃连接；

所述将所述待提炼人脸特征参数输入至对应的分支提炼网络中，预测得到与所述待提炼人脸特征参数对应的第二人脸特征参数，包括：

经由前m-1个卷积层对所述待提炼人脸特征参数进行特征提取，得到第m-1个卷积层输出的特征信息；

将所述第m-1个卷积层输出的特征信息、通过跳跃连接与所述第m个卷积层连接的卷积层输出的特征信息以及所述人脸关键点输入第m个卷积层，从而输出第二人脸特征参数。

3.根据权利要求1所述的参数预测模型的训练方法，其特征在于，所述第二损失包括所述二维人脸图像训练集对应的真值与第二人脸特征参数之间的损失以及待提炼人脸特征参数与第二人脸特征参数之间的损失，包括：

利用均方误差计算方法分别计算得到所述二维人脸图像训练集对应的真值与第二人脸特征参数之间的损失以及待提炼人脸特征参数与第二人脸特征参数之间的损失。

4.根据权利要求2所述的参数预测模型的训练方法，其特征在于，所述第一人脸特征参数至少包括姿态参数、形状参数以及表情参数；

所述基准人脸参数包括基准表情参数以及基准形状参数；

相应地，所述根据所述第一人脸特征参数、基准人脸坐标以及基准人脸参数，将所述第一人脸特征参数转化为人脸关键点，包括：

分别获取表情参数与基准表情参数之间的乘积，以及形状参数与基准形状参数之间的乘积；

在基准人脸坐标的基础上，获取表情参数与基准表情参数之间的乘积与形状参数与基准形状参数之间的乘积的和，作为表情与形状的形变参数；

获取表情与形状的形变参数和姿态参数之间的乘积，作为在第一人脸特征参数下的人脸关键点。

5.根据权利要求1-4任一所述的参数预测模型的训练方法，其特征在于，所述分支提炼网络的数量与所述待提炼人脸特征参数的数量相同，且所述分支提炼网络与所述待提炼人脸特征参数一一对应；

相应地，所述从所述多个第一人脸特征参数中确定至少一个待提炼人脸特征参数，包括：

根据预设的精度提升目标从所述第一人脸特征参数中确定待提炼人脸特征参数；

将所述待提炼人脸特征参数输入至对应的分支提炼网络中。