[发明专利]一种基于特征融合的多风格图像生成方法

权利要求书

1.一种基于特征融合的多风格图像生成方法，其特征在于：包括如下步骤，

步骤1：将语义分割图输入内容特征提取网络，提取语义图中的内容特征向量；

步骤2：将风格图输入风格特征提取网络，提取风格图中的风格特征向量；

步骤3：将提取出的内容特征向量f_c和风格特征向量f_s输入内容风格特征融合网络进行特征融合，得到特征融合后的融合特征向量f_cs；

步骤4：构建由生成器和判别器组成的生成对抗网络，并通过设计损失函数在数据集上训练生成对抗网络，即训练得到损失函数最小化的生成对抗网络；

内容特征提取网络、风格特征提取网络和内容风格特征融合网络三部分网络组成的从语义图生成风格图像的网络框架，通过内容特征提取网络、风格特征提取网络分别提取内容特征和风格特征，还通过内容风格特征融合网络将前两个网络提取的特征进行融合，用来生成具有语义图内容和风格图风格的多风格图像；

步骤4中所述的生成器是内容特征提取网络、风格特征提取网络和内容风格特征融合网络三部分网络组成的从语义图生成风格图像的网络；判别器是由全局判别器D₁和局部判别器D₂组成的多级判别器，具有相同的网络结构，但是运行在不同的图像比例上；

步骤4中设计的损失函数为：

其中,λ₁,λ₂,λ₃,λ₄,λ₅为可设定参数,G是生成器,D₁是局部判别器,D₂是全局判别器,x是输入的语义图,t是输入的风格图,y是生成的多风格图像；

为计算内容差异的感知损失，其表达式为：

F⁽ⁱ⁾表示VGG16网络的第i个激活前层特征提取器，而w_i是第i层的自适应权重，特征的层数越深，加权的参数就越大；

是对抗损失，其表达式为：

是特征匹配损失，其表达式为：

其中T表示判别器D_k的网络层数，N_i表示每层的元素个数；

为计算风格差异的上下文损失，其表达式为：

其中，CX(φ^l(x),φ^l(t))是语义图x和风格图t的第l层VGG16特征的余弦相似度；

为总变分损失，其表达式为：

其中，i和j是图像中像素的坐标值，N是图像的像素范围大小；

步骤5：利用步骤4训练得到损失函数最小化的生成器，此时，步骤3得到的风格内容特征融合向量f_cs成为具有语义图内容和风格图风格的多风格图像t，即基于特征融合实现多风格图像生成。

2.如权利要求1所述的一种基于特征融合的多风格图像生成方法，其特征在于：还包括步骤6：将步骤5生成的具有语义图内容和风格图风格的多风格图像，应用于吸引注意力的场景，解决相关工程技术问题。

3.如权利要求2所述的一种基于特征融合的多风格图像生成方法，其特征在于：步骤6所述相关工程技术问题包括创意广告设计、游戏场景设计和教学场景图像设计等实际问题。