[发明专利]一种基于流形对齐的图像任意风格迁移方法

说明书

本发明是一种基于流形对齐的图像任意风格迁移方法，构建风格迁移网络，包括编码器、解码器以及流形对齐模块；内容图与风格图输入编码器得到内容特征和风格特征，通过流形对齐模块，将内容流形投影到风格流形空间，对转化后的特征输入解码器解码得到对应的风格化图像，该风格化图像在保留了内容图内容的同时还保留了风格图像的风格；在流形投影矩阵上施加正交约束并进行相应框定区域之间的相似度计算，实现指定指定区域近邻的自主选择。本发明可以实现任意风格的风格迁移；且允许用户编辑从而实现用户指定语义区域之间的风格迁移，通过对投影矩阵施加正交约束可以实现真实感风格迁移。

技术领域

本发明属于计算机应用领域，具体涉及本发明涉及一种基于流形对齐的图像任意风格迁移方法。

背景技术

风格迁移即将某种艺术作品的风格通过一定的方法迁移到指定的内容图上，从而使生成的图像不仅保留有内容图的内容还具备艺术作品的风格。风格迁移是一种通过转换图像的艺术风格，从而创造新的艺术化图像的一种艺术形式，由于生成的图像艺术感强烈，深受大众的喜爱。

目前大多数的方法都基于图像的艺术风格纹理可以用卷积神经网络中生成的深层次特征图的全局统计量来描述，如采用Gram矩阵和协方差矩阵作为对图像风格纹理的描述。这种全局统计量是从整个的图像中捕捉风格纹理，并将其结合到内容图像中，而不会细节考虑具体内容信息是否语义匹配。但是对于大多数图像而言，实际包含多种不同的语义部分，那么这时基于全局统计量的风格迁移不足以根据内容和风格图像的语义匹配，进行多种语义的风格纹理的迁移。所以现有的方法会使得迁移结果的整体风格纹理看起来像风格图，但迁移的结果不能够很好的保持内容图像的局部语义结构。

故显然利用神经网络中深层特征的全局统计量来表示图像的艺术风格纹理信息的假设，可能在很多情况下是不合适的，因为一个图像会包含多个语义对象，单一的全局统计量无法完全的捕捉到不同语义的特征分布。一些研究者提出了基于局部语义对齐的风格迁移方法，这些方法在内容图像和风格图像之间找到了语义上相似或对应的区域，与简单基于全局统计量的方法相比而言，这些方法在相似语义区域的内容结构的保留以及风格纹理迁移的细节方面，都取得了更好的效果。但是这些方法，要么包含多阶段，要么有许多的损失项要进行权衡，从而使得整体的算法非常难以调节到最优，从而会无法兼顾效果和效率，导致风格迁移的整体效果下降。一般来说，风格迁移存在以下难点问题：1)风格化的方式具有丰富的多样性，而对应语义的风格迁移是一种合适的风格化方式，如何实现语义级别的风格迁移是目前研究的热点问题。2)当下风格迁移算法无法做到用户控制，即用户无法按照自己的需求控制相应区域获得指定的风格。3)目前风格迁移算法大多是只能处理真实感或非真实感风格迁移中的某一种场景，如何实现一种算法可以同时处理真实感与非真实感风格迁移两种场景也是值得探讨的问题。

发明内容

发明目的：本发明针对风格迁移这一任务提出一种基于流形对齐的图像任意风格迁移方法，通过流形假设将风格迁移问题转化为流形对齐问题，通过闭式解求解，实现任意图像的风格迁移同时还支持用户编辑以及真实感风格迁移。

技术方案：本发明所述的一种基于流形对齐的图像任意风格迁移方法，具体包括以下步骤：

(1)构建风格迁移网络，并进行训练；所述风格迁移网络包括编码器、解码器以及流形对齐模块；

(2)非真实感风格迁移流行对齐：用训练好的编码器分别对内容图与风格图提取内容特征与风格特征，将内容特征与风格特征看做是两个不同的流形分布，计算内容流形与风格流形之间的相似性矩阵，通过相似性矩阵提取出其K近邻矩阵，求解内容流形到风格流形的投影矩阵，利用此投影矩阵将内容特征投影到风格空间；

(3)真实感风格迁移流形对齐：若用户想要进行真实感风格迁移，则在步骤(2)计算投影矩阵时，对投影矩阵添加一个正交约束，保证内容特征在投影之后不会受到破坏，保持内容图的结构实现真实感的风格迁移；