[发明专利]模型训练、人脸图像处理方法及装置、电子设备及可读存储介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取人脸图像的合成数据、真实数据及目标光照条件；

将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；

将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；

所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中，得到目标光照条件下的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述获取人脸图像的合成数据、真实数据及目标光照条件，包括：

获取可公开获取的3D人脸模型，对每个3D人脸模型，使用不同的高动态范围成像HDRI环境贴图进行渲染，并将渲染后的3D人脸模型转换为2D人脸图像，并将转换后的2D人脸图像保存为合成数据；

将每个合成数据所对应的HDRI环境贴图保存为目标光照条件，每个合成数据与每个合成数据所对应的目标光照条件成对存储在数据库中；

获取可公开获取的2D高清人脸图像，将每个2D高清人脸图像中的人脸区域保存为真实数据。

3.根据权利要求1所述的方法，其特征在于，所述将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，包括：

将合成数据输入到所述第一网络模型中，得到合成数据自带的光照条件下的第一人脸图像；

将目标光照条件输入到所述第一网络模型中，得到目标光照条件下的第二人脸图像；

根据第一预设损失函数，计算第一损失函数值，并使用链式法则计算第一网络模型各个层的梯度；根据所述梯度，使用梯度下降算法和反向传播算法更新第一模网络型的网络参数；

判断更新后的第一网络模型是否满足预设第一网络模型收敛条件，若是，判定当前模型收敛，将此时的第一网络模型确定为第一模型；若否，重复执行上述训练步骤，直至满足预设第一模型收敛条件。

4.根据权利要求3所述的方法，其特征在于，所述第一网络模型包括去光模型、光影特征模型、图像合成模型；所述将合成数据输入到所述第一网络模型中，得到预测光照条件下的第一人脸图像，包括：

将合成数据输入到所述去光模型，得到反照率贴图、法向贴图和第一预测光照条件；所述第一预测光照条件为合成数据自带的光照条件的预估值；

将所述第一预测光照条件及法向贴图输入到所述光影特征模型，得到第一预测光照条件下的高光贴图和第一预测光照条件下的阴影贴图；

将所述反照率贴图、法向贴图、第一预测光照条件下的高光贴图、第一预测光照条件下的阴影贴图，及第一预测光照条件输入到所述图像合成模型，得到第一预测光照条件下的第一人脸图像；

所述将目标光照条件输入到所述第一网络模型中，得到目标光照条件下的第二人脸图像，包括：

将目标光照条件及法向贴图输入到所述光影特征模型，得到目标光照条件下的高光贴图和目标光照条件下的阴影贴图；

将所述反照率贴图、法向贴图、目标光照条件下的高光贴图、目标光照条件下的阴影贴图，及目标光照条件输入到所述图像合成模型，得到目标光照条件下的第二人脸图像。

5.根据权利要求3所述的方法，其特征在于，所述第一预设损失函数包括以下项中的一项或多项的组合，包括：

所述反照率贴图，与，反照率贴图的真值，两者的内容损失函数；

所述法向贴图，与，法向贴图的真值，两者的内容损失函数；

所述目标光照条件下的高光贴图，与，目标光照条件下的高光贴图的真值，两者的内容损失函数；

所述目标光照条件下的阴影贴图，与，目标光照条件下的阴影贴图的真值，两者的内容损失函数；

所述第一人脸图像，与，输入到所述去光模型中的合成数据的真值，两者的内容损失函数；

所述第二人脸图像，与，目标光照条件下合成数据的真值，两者的内容损失函数；

所述预测光照条件，与，预测光照条件的真值，两者的光照损失函数；所述真值为对应在人脸图像上的像素值。