[发明专利]基于深度学习的三维人脸重构方法、系统、设备及介质

权利要求书

1.一种基于深度学习的三维人脸重构方法，其特征在于，所述基于深度学习的三维人脸重构方法包括：

获取二维人脸图像；

将所述二维人脸图像输入至粗略模型参数编码器，获得所述粗略模型参数编码器输出的粗略特征参数，并根据所述粗略特征参数，获得粗略三维重构人脸；

将所述二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，所述细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；所述细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；

将所述细节特征参数融入所述粗略三维重构人脸中，获得带有细节特征的三维重构人脸；

根据所述带有细节特征的三维重构人脸，获得重构三维人脸。

2.根据权利要求1所述的基于深度学习的三维人脸重构方法，其特征在于，所述细节模型参数编解码器网络包括特征提取层和中间层，在所述中间层中加入ECA-block模块，所述细节模型参数编解码器网络的训练过程包括：

获取二维人脸图像样本集；

采用PGD对抗网络在所述二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本；

将所述二维人脸图像样本和所述二维人脸图像对抗样本输入至所述细节模型参数编解码器网络的特征提取层；

根据所述二维人脸图像样本和所述二维人脸图像对抗样本，获得联合损失目标函数；

根据所述联合损失目标函数进行剃度回归，并通过TCKD知识蒸馏方法训练加入所述ECA-block模块后的细节模型参数编解码器网络，获得训练好的细节模型参数编解码器网络。

3.根据权利要求2所述的基于深度学习的三维人脸重构方法，其特征在于，所述TCKD知识蒸馏方法中的KL散度损失计算公式为：

其中，表示老师网络输出的结果向量，表示学生网络输出的结果向量，TCKD表示KL散度损失。

4.根据权利要求3所述的基于深度学习的三维人脸重构方法，其特征在于，通过如下公式获得所述联合损失目标函数：

其中，E表示所述细节模型参数编解码器网络训练的总期望，D表示所有训练样本，x表示单批次采样原始样本，y表示原始样本对应的标签，L表示损失函数，s表示当前批次原始样本进入对抗样本生成网络后产生的噪音总分布，ε表示单批次采样噪音数据样本，x+ε表示单批次采样对抗样本。

5.根据权利要求4所述的基于深度学习的三维人脸重构方法，其特征在于，在将所述二维人脸图像样本和所述二维人脸图像对抗样本输入至所述细节模型参数编解码器网络之后，所述基于深度学习的三维人脸重构方法还包括：

在所述二维人脸图像样本经过所述细节模型参数编解码器中特征提取层的最后一层卷积后，采用批归一化处理；

在所述二维人脸图像对抗样本经过所述细节模型参数编解码器中特征提取层的最后一层卷积后，采用Auxiliary-BN处理。

6.根据权利要求2所述的基于深度学习的三维人脸重构方法，其特征在于，在将所述ECA-block模块加入至所述细节模型参数编解码器网络的中间层之后，所述基于深度学习的三维人脸重构方法还包括：

通过所述ECA-block模块每次进行多个一维卷积操作，并通过如下公式计算操作所述一维卷积的数量：

其中，k表示一维卷积的数量，C表示ECA-block的通道数量，b和γ表示超参数。

7.根据权利要求1所述的基于深度学习的三维人脸重构方法，其特征在于，所述粗略特征参数包括照相机参数、反照率参数、照明参数、面部特征参数、姿态参数和表情参数。