[发明专利]基于先验知识的单张图片重打光方法、系统、终端及存储介质

说明书

本申请提供基于先验知识的单张图片重打光方法、系统、终端及存储介质，包括：给定用于重打光的物体图片及作为环境光的全景图片；将所述物体图片和全景图片输入基于先验知识的卷积神经网络；通过所述卷积神经网络的编码器，提取物体图片中物体的高维度特征和所处环境光；将提取出的所处环境光替换为给定的环境光，并将作为环境光的图片与提取到的高维度特征输入所述卷积神经网络中的解码器，并在所述编码器和解码器中布置跳跃连接，据以获得重打光图片。本发明没有前置需求，无需在穹顶光场中预先拍摄所有光纤；渲染快，卷积神经网络在现有硬件条件下可达到实时；相比穹顶光场对于单个物体重打光需要的数个GB，本发明所占用的空间仅为数十MB。

技术领域

本申请涉及单张图片的重打光技术领域，特别是涉及基于先验知识的单张图片重打光方法、系统、终端及存储介质。

背景技术

重打光技术(Relighting)通常是指将特定物体的光影修改为受指定的环境光(EnvironmentMap)影响下的结果。目前的重打光技术主要为穹顶光场(Light FieldStage)，传统重打光技术需要预先在设备中拍摄所有光线，存在耗时多、数据多、渲染慢等问题，在目前移动端的表现欠佳。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供，用于解决现有技术中传统的重打光技术前置多、渲染慢、数据多等技术问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种基于先验知识的单张图片重打光方法，包括：给定用于重打光的物体图片及作为环境光的全景图片；将所述物体图片和全景图片输入基于先验知识的卷积神经网络；通过所述卷积神经网络的编码器，提取物体图片中物体的高维度特征和所处环境光；将提取出的所处环境光替换为给定的环境光，并将作为环境光的图片与提取到的高维度特征输入所述卷积神经网络中的解码器，并在所述编码器和解码器中布置跳跃连接，据以获得重打光图片。

于本申请的第一方面的一些实施例中，所述基于先验知识的卷积神经网络的训练过程包括：基于穹顶光场获取拍摄对象在不同光照条件下的多张图像；将所述多张图像作为训练集来训练卷积神经网络。

于本申请的第一方面的一些实施例中，所述方法还包括使用多尺度渐进式训练方式来训练所述卷积神经网络，其包括先使用64×64尺寸的图像输入卷积神经网络进行训练，并在收敛后每次将输出图像的尺寸翻一倍后再输入卷积神经网络中进行训练，直至图像尺寸达到512×512。

于本申请的第一方面的一些实施例中，所述提取物体图片中物体的高维度特征和所处环境光的过程包括：所述编码器通过若干层卷积层、激活层和池化层将512×512大小的输入图像编码为512层16×16大小的特征；其中，512层16×16大小的特征中间的3层被设定为输入图像所处的环境光。

于本申请的第一方面的一些实施例中，所述重打光图片的获取方式包括：预训练的卷积神经网络中的解码器通过数层上采样层、卷积层和激活层将512层16×16大小的特征和对应的跳跃连接解码为512×512的输出图像。

于本申请的第一方面的一些实施例中，所述卷积神经网络还设置损失函数；所述损失函数包括如下任一种或多种组合：从输入图像经过编码器输出的环境光与真实环境光的对数1范数距离；不替换环境光直接经过解码器输出的输出图像与输入图像的1范数距离和多尺度结构相似性；替换环境光之后经过解码器输出的输出图像与真实图像的1范数距离和多尺度结构相似性；替换环境光之后经过解码器输出的输出图像与真实图像的生成式对抗网络损失函数；输出的分割与真实分割的交叉熵损失；具有视频连续性的相邻两帧替换环境光之后经过解码器输出的两帧输出图像经过对应光流变换后的1范数距离和多尺度结构相似性。