[发明专利]模型训练、人脸图像处理方法及装置、电子设备及可读存储介质

说明书

本发明涉及一种模型训练方法及装置、人脸图像处理方法及装置、电子设备及可读存储介质，其中一种模型训练方法通过获取人脸图像的合成数据、真实数据及目标光照条件，并基于合成数据先将模型训练至收敛，使得此时的模型学习到了合成数据的分布特点，然后加入真实数据与合成数据轮流对模型进行训练，其中合成数据的训练为模型学习真实数据的分布特点起到指导和监督的作用；由于模型训练过程中考虑了真实数据的分布特点，最终训练好的模型对真实数据的处理能力大大提升，使得训练出的人脸图像重光照模型，能够将目标光照条件更真实地重光照到待处理的人脸图像中，在处理后的人脸图像中最大化地保留了目标光照条件的光照特征。

技术领域

本发明涉及深度学习模型技术领域，具体涉及一种模型训练方法及装置、人脸图像处理方法及装置、电子设备及可读存储介质。

背景技术

随着数字图像处理技术的发展，对各种不同图像的处理中，得出图像光照条件的变化在图像成像过程中起着越来越重要的作用。尤其是在人脸图像领域，光照条件是影响人脸图像成像效果的最重要因素，为实现在复杂背景下光照条件的变化，需要在各种场景中对人脸图像进行重光照操作。

人脸图像重光照操作，就是根据光照或外部环境的变化情况，对目标人脸图像进行调整，并生成与指定的目标光照条件相一致的人脸图像。人脸图像重光照操作在人脸识别，基于图像的渲染以及电影后期制作的领域都有着非常广泛的应用。例如，将绿幕场景中的光照改为红幕背景下的光照，实现在摄影棚中制作出其他场景下的自然拍摄片段等。

现有技术中，人脸图像重光照方法依赖于人脸图像重光照模型的训练，由于很难以完全相同的角度去拍摄同一个人在不同场景下的人脸图像，因此，模型训练需要的监督数据获取非常困难，现有技术大多是基于合成数据进行模型训练。合成数据和真实数据的分布往往存在较大差异，因此基于合成数据训练的模型往往在真实数据上测试的效果比较差。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本发明提供一种模型训练方法及装置、人脸图像处理方法及装置、电子设备及可读存储介质，以解决现有技术中基于合成数据训练的人脸图像重光照模型在真实数据上测试效果比较差的问题。

根据本发明实施例的第一方面，提供一种模型训练方法，包括：

获取人脸图像的合成数据、真实数据及目标光照条件；

将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；

将真实数据与目标光照条件，及，合成数据与目标光照条件轮流输入到所述第一模型中进行训练，直至第一模型收敛，得到人脸图像重光照模型；

所述人脸图像重光照模型用于将指定的目标光照条件重光照到人脸图像中，得到目标光照条件下的人脸图像。

根据本发明实施例的第二方面，提供一种人脸图像处理方法，包括：

获取待处理的人脸图像和目标光照条件，所述目标光照条件包括：HDRI环境贴图或从指定的人脸图像中提取出的光照条件；

将所述人脸图像和目标光照条件输入到人脸图像重光照模型中，以使所述人脸图像重光照模型将所述目标光照条件重光照到所述人脸图像中，得到目标光照条件下的人脸图像；所述人脸图像重光照模型通过上述的模型训练方法训练得到。

根据本发明实施例的第三方面，提供一种模型训练装置，包括：

获取模块，用于获取人脸图像的合成数据、真实数据及目标光照条件；

第一训练模块，用于将合成数据及目标光照条件输入到预先构建的第一网络模型中进行训练，直至所述第一网络模型收敛，得到第一模型；