[发明专利]一种双尺度解耦的逼真图像颜色迁移方法及设备

说明书

本发明公开了基于双尺度解耦的逼真图像颜色迁移方法及设备，通过针对颜色迁移图像对的自适应滤波，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层、颜色迁移网络结构的优化、复合特征提取和图像融合从而获得特征无损失、靓丽显著的逼真图像颜色迁移结，从而实现质量更高的图像风格迁移效果。

技术领域

本发明涉及人工智能领域，具体涉及一种双尺度解耦的逼真图像颜色迁移方法及设备。

背景技术

现有的图像风格迁移技术，是指利用各类算法，将参考图像的风格迁移到输入图像的技术。逼真图像风格迁移技术是根据参考图像的风格及输入图像的内容重新生成一张新的图像，其本质为将参考图像的颜色迁移到输入图像。现有逼真图像颜色迁移技术有两大主流技术：一是基于参考风格损失与输入内容特征损失的损失函数的图像风格迁移方法；二是对输入图像进行去风格处理，然后在此基础上迁入参考图像风格。这两种方法的特点是图像的风格迁移与内容特征保持模块相互融合且造成相互干扰，导致最后生成的图像风格迁移结果产生颜色溢出、特征模糊等问题。

发明内容

本发明的目的在于在不损失甚至加强输入图像纹理特征的前提下，提供一种双尺度解耦的逼真图像颜色迁移方法及设备。

本发明设计的一种双尺度解耦的逼真图像颜色迁移方法，包括以下步骤：

步骤1，对图像进行语义分割；

步骤2，对输入图像与参考风格图像均进行解耦获得其结构层与特征纹理层；

步骤3，对图像结构层进行分通道颜色迁移； 步骤4，对步骤2得到特征纹理层与步骤3中颜色迁移提取的特征纹理层加权融合；

步骤5，对步骤3和步骤4处理后的图像进行融合得到颜色迁移结果图。

进一步地，步骤2中采用WLS滤波器提取输入图像与参考图像的结构层，设C表示输入图像，用R表示参考图像，WLS滤波器表示为：

其中IN是输入图像。C与R作为IN依次输入滤波器，S是IN的滤波结果。是引导滤波的与IN相关的变量，其结构与IN一致。其默认值为；λ用于平衡数据项与滤波项；IN为C时，设是L(C)与C的对数值之和，L(C)是C的光照信息：

其中指变量的平均值；τ是控制使用log(L(C))和log(C)的阈值；是值为0或1的触发器；其中当，，当。

进一步地，步骤3中颜色迁移使用的编码与解码结构如下：

从conv1_1层至conv4_1层，编码器采用预训练的VGG-19网络结构以及Haar小波池；解码部分是编码部分的镜向对称；在每一个解码层我们增加了一个结构优化模块来修复原网络产生的不自然的边界效应，其结构优化过程公式如下：

其中O_j是优化结果，表示C在j通道的特征纹理层；。是卷积层的输出，为其权值，S_j是C的WLS滤波结果j通道分量，为其权值，的滤波平滑结果，为其权值。