[发明专利]一种基于流形对齐的图像任意风格迁移方法

权利要求书

1.一种基于流形对齐的图像任意风格迁移方法，其特征在于，包括以下步骤：

(1)构建风格迁移网络，并进行训练；所述风格迁移网络包括编码器、解码器以及流形对齐模块；

(2)非真实感风格迁移流行对齐：用训练好的编码器分别对内容图与风格图提取内容特征与风格特征，将内容特征与风格特征看做是两个不同的流形分布，计算内容流形与风格流形之间的相似性矩阵，通过相似性矩阵提取出其K近邻矩阵，求解内容流形到风格流形的投影矩阵，利用此投影矩阵将内容特征投影到风格空间；

(3)真实感风格迁移流形对齐：若用户想要进行真实感风格迁移，则在步骤(2)计算投影矩阵时，对投影矩阵添加一个正交约束，保证内容特征在投影之后不会受到破坏，保持内容图的结构实现真实感的风格迁移；

(4)用户编辑：若用户想要进行指定区域之间的风格迁移，则需要在内容图与风格图上框定相应的区域，在进行步骤(2)计算内容特征与风格特征之间的相似度图时，进行相应框定区域之间的相似度计算，实现指定区域近邻的自主选择；

(5)将通过非真实感风格迁移流形对齐或真实感风格迁移流形对齐模块得到的转换后的特征输入到训练好的解码器中即可重构出风格化图片；

所述步骤(3)实现过程如下：

真实感风格迁移优化目标如下所示：

s.t.P^TP＝I

求解如下所示：

P＝UV^T

其中，P是要求解的投影矩阵，A^cs是F_c与F_s的近邻关系矩阵，是投影后的特征中第i个位置上的局部特征，F_c、F_s分别是内容特征与风格特征，W_c、H_c、W_s、H_s分别是F_c、F_s的宽和高，N是构成的近邻对的个数，为归一化后的近邻关系矩阵。

2.根据权利要求1所述的基于流形对齐的图像任意风格迁移方法，其特征在于，所述步骤(2)实现过程如下：

非真实感风格迁移优化目标如下所示：

其中，P是要求解的投影矩阵，A^cs是F_c与F_s的近邻关系矩阵，F_c、F_s分别是内容特征与风格特征，W_c、H_c、W_s、H_s分别是F_c、F_s的宽和高，N是构成的近邻对的个数，当时，与的距离就会被优化得越来越近；

求出目标函数的闭式解，如下所示：

其中，

3.根据权利要求1所述的基于流形对齐的图像任意风格迁移方法，其特征在于，步骤(3)所述的真实感风格迁移流行对齐中还加入自适应权重跨层链接模块，增强图像真实感。

4.根据权利要求1所述的基于流形对齐的图像任意风格迁移方法，其特征在于，所述步骤(4)实现过程如下：

令表示用户在内容图和风格图上指定的一些相应语义区域，其中，m表示用户指定的相应语义区域的个数，将通过相应语义区域得到的近邻矩阵与原始近邻矩阵做“与”操作得到最终的近邻矩阵，其中定义为：