[发明专利]一种结合元学习机制与特征融合的图像风格迁移方法

权利要求书

1.一种结合元学习机制与特征融合的图像风格迁移方法，其特征在于，包括以下步骤：

步骤1)，预训练编码器：采集预训练图像集，通过训练图像集预训练编码器和解码器，得到预训练好的编码器和解码器，其中，编码器的初始权重通过预训练获得，解码器的权重通过元学习机制直接获得，编码器用于编码图像为特征图并用作损失网络，解码器用于解码特征图为图像，编码器取自VGG_16的前四层，解码器的结构与编码器对称；

步骤2)，获取特征图：选取内容图像Ic和风格图像Is，将内容图像Ic和风格图像Is输入步骤1)得到的编码器，提取到内容特征图f_c和风格特征图f_s,表示高维向量；

步骤3)，拉普拉斯滤波操作；对内容特征f_c与拉普拉斯算子p做卷积操作，得到拉普拉斯特征图f_c'，

步骤4)，特征选择操作；特征选择函数S(·)作用于风格特征图f_s，计算出风格特征图中重要的特征，得到筛选特征图f_s'，

步骤5)，特征融合；拉普拉斯特征图f_c'和筛选特征图f_s'做卷积运算，得到初步融合特征图f_cs，对初步融合特征图f_cs和拉普拉斯特征图f_c'再做插值计算，得到融合特征图F_cs；

f_s'＝S(f_s)

F_cs＝λ·f_cs+(1-λ)·f_c'

λ∈[0,1]

其中，f_cs表示初步融合特征图，F_cs表示融合特征图，表示卷积操作，·表示乘积操作，λ表示插值；

步骤6)，利用元学习机制获取解码器权重；对编码器中1_1层、2_1层、3_1层和4_1层的风格特征图f_sⁱ进行下采样操作，映射为ωⁱ，直接作为解码器中对应层的权重，其中，ωⁱ表示给定近似最优权重，3×3×Y表示解码器中不同层的权重的大小和维度，X×X×Y表示编码器中不同层的特征图的大小和维度，i的取值为1、2、3、4，分别对应编码器中的1_1层、2_1层、3_1层和4_1层；

步骤7)，解码融合特征图为图像；利用得到的权重ωⁱ作为解码器的近似最优权重，将融合特征图F_cs输入VGG_16解码器，得到合成图像I_cs；

步骤8)，损失计算；利用步骤1)得到的编码器作为损失网络进行内容损失和风格损失计算，具体的表达为：

l_total＝αl_c+βl_s

其中，i的取值为1、2、3、4，分别对应编码器中的1_1层、2_1层、3_1层和4_1层，{i_c}表示内容损失层数的集合，{i_s}表示风格损失层数的集合，n表示总的风格损失的层数，α和β是超参数，l_c表示内容损失，l_s表示风格损失，l_total表示总损失，Fⁱ表示第i层的特征图，Gⁱ表示第i层的Gram矩阵，即特征图间的协方差矩阵；

步骤9)，迭代编码器的权重；根据得到内容损失和风格损失采用Adam优化器，通过反向传播算法，最小化总损失l_total，迭代编码器的权重，直至损失趋于平衡，停止迭代，此时得到的权重是编码器的最优权重；同时输出损失趋于平衡时的合成图像。