[发明专利]一种面向图像的非均匀风格迁移方法

说明书

一种面向图像的非均匀风格迁移方法，在图像中，检测各个像素的显著性，根据各个像素的显著性采用不同的风格化程度，生成非均匀的图像风格迁移结果。本发明首先对于输入的内容图像的每个像素自动计算显著性，进而设定每个像素的风格化程度，然后分特征图计算风格迁移中的内容损失和风格损失，最小化风格迁移的总损失，生成非均匀的风格迁移结果。本发明解决了图像风格迁移中过度风格化或风格化不足的问题，实现了在突出显著区域内容的同时强烈渲染不显眼区域的风格，在风格化的过程中更好的平衡风格化图像的内容保持程度和风格渲染程度。

技术领域

本发明属于计算机图像技术领域，涉及针对图像的风格迁移方法，具体为一种面向图像的非均匀风格迁移方法。

背景技术

图像风格迁移是指参照给定图像的风格，对另一幅图像进行渲染，使得生成与给定图的风格一致的风格化图像。其中，被风格化的图像称为内容图像，作为风格的图像称为风格图像，图像风格迁移生成的结果称为风格化图像。图像风格迁移可以帮助人们轻松地编辑图像，快速取得所需的图像编辑效果。

早期的图像风格迁移工作通过根据相似性度量对像素或图像块进行采样来合成新的图像，以此实现简单的风格化效果(如参考文献3、6)。但由于这些方法缺少图像的语义表示，无法有效地从图像内容中分离出风格，所以迁移结果的图像质量并不是很高，无法达到预期的风格化效果。近年来，随着卷积神经网络在图像处理中的应用逐步推广，一些学者将卷积神经网络用于图像风格迁移，这类方法可以很好的提取出参考图像的风格和输入图像的内容并将他们融合起来，提供高质量的风格化结果(如参考文献1)。

图像风格迁移中一个关键问题是如何平衡图像内容保持程度和风格渲染程度。现在的图像风格化方法均使用相同的参数设置进行风格化，易使结果过度风格化或者风格化不足，即风格化结果中难以辨别原图像的内容或者难以感受到风格的影响，如图2所示，图2(a)为原视频的视频帧取样，图2(b)显示了过度风格化结果，图2(c)显示了风格化不足的结果，图2(d)为期待的风格化结果。很多情况下，难以选择一个合适的全局参数实现风格化，总是不可避免的会过度风格化或风格化不足。

目前，仅有少量研究工作对非均匀风格化进行了尝试，例如对人脸部分特殊处理(参考文献4)，或者对位于不同景深的区域采用不同风格化程度加以区分(参考文献 5)。但这些方法只是割裂的考虑图像中特定内容的风格化，而没有关注图像整体的过度风格化和风格化不足的问题。

本发明所涉及的面向图像的非均匀风格迁移方法，提供了一种针对过度风格化或者风格化不足问题的解决方案，实现了在图像中对不同区域采用不同的风格化程度，生成非均匀的风格迁移结果。

发明内容

本发明要解决的问题是：解决图像风格迁移过程中可能产生的过度风格化或风格化不足的问题，目的是平衡风格化图像的内容保持程度和风格渲染程度。

本发明的技术方案为：一种面向图像的非均匀风格迁移方法，在图像中，检测各个像素的显著性，根据各个像素的显著性采用不同的风格化程度，生成非均匀的图像风格迁移结果。

本发明具体包括以下步骤：

1)对于输入的内容图像，自动求取各个像素的显著性，并根据显著性为每个像素设定风格化程度；

2)对于输入的内容图像，将其表示为一层或多层特征图，同时采用相同的方法将风格图像表示为一层或多层特征图，计算对应层的特征图在风格迁移中的内容损失函数和风格损失函数；

3)将内容损失函数和风格损失函数相融合，得到风格迁移总损失函数；

4)最小化风格迁移总损失函数，生成风格迁移结果。