[发明专利]基于先验知识的单张图片重打光方法、系统、终端及存储介质

权利要求书

1.一种基于先验知识的单张图片重打光方法，其特征在于，包括：

给定用于重打光的物体图片及作为环境光的全景图片；

将所述物体图片和全景图片输入基于先验知识的卷积神经网络；

通过所述卷积神经网络的编码器，提取物体图片中物体的高维度特征和所处环境光；

将提取出的所处环境光替换为给定的环境光，并将作为环境光的图片与提取到的高维度特征输入所述卷积神经网络中的解码器，并在所述编码器和解码器中布置跳跃连接，据以获得重打光图片。

2.根据权利要求1所述基于先验知识的单张图片重打光方法，其特征在于，所述基于先验知识的卷积神经网络的训练过程包括：基于穹顶光场获取拍摄对象在不同光照条件下的多张图像；将所述多张图像作为训练集来训练卷积神经网络。

3.根据权利要求2所述基于先验知识的单张图片重打光方法，其特征在于，所述方法还包括使用多尺度渐进式训练方式来训练所述卷积神经网络，其包括先使用64×64尺寸的图像输入卷积神经网络进行训练，并在收敛后每次将输出图像的尺寸翻一倍后再输入卷积神经网络中进行训练，直至图像尺寸达到512×512。

4.根据权利要求1所述基于先验知识的单张图片重打光方法，其特征在于，所述提取物体图片中物体的高维度特征和所处环境光的过程包括：所述编码器通过若干层卷积层、激活层和池化层将512×512大小的输入图像编码为512层16×16大小的特征；其中，512层16×16大小的特征中间的3层被设定为输入图像所处的环境光。

5.根据权利要求1所述基于先验知识的单张图片重打光方法，其特征在于，所述重打光图片的获取方式包括：预训练的卷积神经网络中的解码器通过数层上采样层、卷积层和激活层将512层16×16大小的特征和对应的跳跃连接解码为512×512的输出图像。

6.根据权利要求1所述基于先验知识的单张图片重打光方法，其特征在于，所述卷积神经网络还设置损失函数；所述损失函数包括如下任一种或多种组合：从输入图像经过编码器输出的环境光与真实环境光的对数1范数距离；不替换环境光直接经过解码器输出的输出图像与输入图像的1范数距离和多尺度结构相似性；替换环境光之后经过解码器输出的输出图像与真实图像的1范数距离和多尺度结构相似性；替换环境光之后经过解码器输出的输出图像与真实图像的生成式对抗网络损失函数；输出的分割与真实分割的交叉熵损失；具有视频连续性的相邻两帧替换环境光之后经过解码器输出的两帧输出图像经过对应光流变换后的1范数距离和多尺度结构相似性。

7.一种基于先验知识的单张图片重打光系统，其特征在于，包括：

图片输入模块，用于给定用于重打光的物体图片及作为环境光的全景图片；将所述物体图片和全景图片输入基于先验知识的卷积神经网络；

特征提取模块，用于通过所述卷积神经网络的编码器，提取物体图片中物体的高维度特征和所处环境光；

重打光模块，用于将提取出的所处环境光替换为给定的环境光，并将作为环境光的图片与提取到的高维度特征输入所述卷积神经网络中的解码器，并在所述编码器和解码器中布置跳跃连接，据以获得重打光图片。

8.根据权利要求7所述基于先验知识的单张图片重打光系统，其特征在于，所述系统还包括损失函数模块，用于为所述卷积神经网络设置损失函数；其中，所述损失函数包括如下任一种或多种组合：从输入图像经过编码器输出的环境光与真实环境光的对数1范数距离；不替换环境光直接经过解码器输出的输出图像与输入图像的1范数距离和多尺度结构相似性；替换环境光之后经过解码器输出的输出图像与真实图像的1范数距离和多尺度结构相似性；替换环境光之后经过解码器输出的输出图像与真实图像的生成式对抗网络损失函数；输出的分割与真实分割的交叉熵损失；具有视频连续性的相邻两帧替换环境光之后经过解码器输出的两帧输出图像经过对应光流变换后的1范数距离和多尺度结构相似性。