[发明专利]一种基于卷积神经网络的人脸图像光照迁移方法

说明书

一种基于卷积神经网络的人脸图像光照迁移方法，通过使用卷积神经网络CNN实现对人脸图像的光照迁移。该方法主要是由两个部分来实现：光照模型训练和光照分类、光照匹配以及在借鉴图像风格迁移的基础上实现的光照迁移。首先通过结合卷积神经网络VGG19和VGG16在Yale Face人脸数据集和PIE人脸数据集上完成光照的分类，得到能够分类人脸图像光照的模型；然后利用该模型，实现了对单幅人脸图像的光照匹配，能够从人脸图像光照数据集中，得到与给定的人脸图像光照相似的图像；最后通过光照分类模型，对给定的参考人脸光照图像提取并处理相关光照特征便于迁移到输入人脸图像，实现了对单幅人脸图像光照的整体迁移。

技术领域

本发明是一种基于卷积神经网络的人脸图像光照迁移方法，属于计算机视觉领域。

背景技术

图像的光照效果在计算机视觉领域内的多个研究方向都是研究热点，对人像图像自身也很重要。光影的效果在现代数字影视制作、人像摄影美化、广告等艺术设计方面都有广泛的应用需求。影视制作中的难题之一即如何捕捉到演员最佳镜头表现的同时，场景中的光照效果为最理想的效果。从改进拍摄工艺方面解决这一难题，面临昂贵的成本费用，从后期制作方面解决这一难题，面临复杂的技术处理手段。在人像摄影美化方面，面临与影视制作类似的难题，专业摄像设置理想的摄像光照场景成本过高，也受摄像师个人能力等因素的影响，而后期使用专业的图像处理软件也需要时间和人力成本，十分复杂。

人脸图像光照迁移将为上述难题提供一个简单的解决方案。在图像光照问题上，它只需给定理想光照效果的图像，即可将该光照效果迁移到目标图像上，使目标图像获得理想的光照效果。在视频图像问题上，它需要给定理想光照效果的图像或者视频，将该光照迁移到目标图像或视频中，两者中有一方或两方为视频文件。光照迁移旨在只需提供理想的光照效果，即可一步生成有理想光照效果的目标图像或视频，无需复杂的操作手段和方式，节省时间、人力、资源成本。目前人脸图像光照迁移方法均只改变了人脸图像面部的光照，没有处理人脸图像脖子和背景部分的光照。而实际应用场景中，人脸部分和非人脸部分密不可分，只改变人脸部分的光照不完全符合实际应用需求。本发明针对该问题，研究能够对整幅人脸图像做光照迁移的方法。它能使目标图像获得理想光照效果的同时，更接近实际的光照迁移应用场景。

发明内容

本发明的技术解决问题：在传统的人脸妆容和风格迁移的基础上提出基于卷积神经网络的人脸图像光照迁移。在结合了深度神经网络之后使光照迁移的效果更好、更接近真实图像光照效果，流程简单功能更强大。

本发明的技术解决方案：一种基于卷积神经网络的人脸图像光照迁移方法，包括如下步骤：

步骤1、数据集的准备及建立；

步骤2、预训练模型的准备；

步骤3、得到光照分类模型；

步骤4、基于光照分类模型的光照匹配；

步骤5、基于光照分类模型的光照迁移，具体如下：

其中，所述步骤1、数据集的准备及建立：目前光照分类比较详细的数据集有YaleFace数据集和PIE数据集。Yale Face数据集B包含10个摄影对象，9名男性1名女性，均为黑白图像。每位摄像对象包含9种姿势，每种姿势下有64种光照效果，总5760张包含背景的人脸光照图像。两个数据集共21888张人脸图像。PIE人脸数据集是彩色人脸数据集，共68个摄影对象，包含男性、女性和所有人种。其中，包含13种姿势的没有背景灯光的人脸光照图像，3种姿势的包含背景灯光的人脸光照图像，每种姿势下包含21种光照，以摄像机的x方向、y方向、z方向的位置来分类。该数据集的人脸光照图像部分共22848张图片，采用包含背景灯光且姿势为面对摄像机的图片，共1428张图片。