[发明专利]基于深度学习的人脸重光照方法及装置

说明书

本发明公开了一种基于深度学习的人脸重光照方法及装置，其中，方法包括：获得人脸图片对应的人脸区域图、法向图和表征光照分布图；利用相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；通过深度学习方法构建人脸重光照网络，其中，利用网络训练数据集进行训练，生成人脸重光照网络；利用相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用人脸重光照网络处理输出结果，得到人脸重光照结果。该方法可以利用深度学习方法构建人脸重光照网络，并利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，且利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。

技术领域

本发明涉及计算机视觉、计算机图形学、深度学习技术领域，特别涉及一种基于深度学习的人脸重光照方法及装置。

背景技术

在人们拍摄图像时，拍摄的内容以及拍摄时的条件(如时间、视角、光照)等都被记录在照片之中，一些图像处理技术可以避免重新拍照直接利用技术手段改变照片拍摄时的条件，得到新的照片。重光照技术就是改变照片拍摄时的光照得到相应新照片的方法，而人脸重光照技术针对的对象是人脸照片，其中，在图片的后期处理，电影的后期制作中，人脸重光照技术非常重要。

在相关技术中，人脸重光照往往是建立人脸光照模型对人脸进行重光照处理，但是人脸与光照之间的作用非常复杂，一个人为构建的模型往往很难表达人脸在各个光照下的真实表现，可靠性差，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度学习的人脸重光照方法，该方法可以有效提高人脸重光照的真实感和可靠性。

本发明的另一个目的在于提出一种基于深度学习的人脸重光照装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度学习的人脸重光照方法，包括以下步骤：利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络；利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。

本发明实施例的基于深度学习的人脸重光照方法，可以利用三维人脸模型拟合图片中的人脸，计算得到用以表征人脸上光照分布的原光照估计图片和目标光照估计图片，并利用深度学习方法构建人脸重光照网络，利用人脸逆重光照正则项和人脸识别网络特征正则项对人脸重光照网络进行训练，对于不同的人脸图片，只需用人脸三维重建方法拟合图片中的人脸模型，就可以利用人脸重光照网络对人脸进行重光照，从而可以有效提高人脸重光照的真实感和可靠性。

另外，根据本发明上述实施例的基于深度学习的人脸重光照方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，进一步包括：通过人脸特征点检测方法得到人脸图片中特征点位置；利用所述相机参数矩阵与所述光照模型渲染得到人脸渲染图片；迭代优化所述人脸渲染图片与人脸真实图片的像素值之差，获取所述人脸三维模型上特征点在二维图片上投影点的距离。