[发明专利]一种基于特征融合的多风格图像生成方法

说明书

本发明公开的一种基于特征融合的多风格图像生成方法，属于计算机视觉领域。本发明实现方法为：将语义分割图输入内容特征提取网络，提取语义图中的内容特征向量；将风格图输入风格特征提取网络，提取风格图中的风格特征向量；将提取出的内容特征向量f_c和风格特征向量f_s输入内容风格特征融合网络进行特征融合，得到特征融合后的融合特征向量；构建由生成器和判别器组成的生成对抗网络，并通过设计损失函数在数据集上训练生成对抗网络；利用训练得到的损失函数最小化的生成器，生成具有语义图内容和风格图风格的多风格图像。本发明能够将生成的具有语义图内容和风格图风格的多风格图像，应用于吸引注意力的场景，解决相关工程技术问题。

技术领域

本发明涉及一种从语义分割图生成多风格图像的图像生成方法，尤其涉及一种能够端到 端地实现从语义图到多风格图像的快速生成方法，属于计算机视觉领域。

背景技术

目前生成多风格图像的模型大多都是从真实图像进行风格图像生成的，为数不多的从语 义图进行风格图像生成的模型却只能使用同一个数据集中的图像作为输入的风格，不能实现 对任意风格的快速迁移。

从语义图端到端地生成任意风格的图像在艺术设计和虚拟现实教育资源生成方向有着重 要的意义，在艺术设计领域中艺术创作者或者设计师可以只要指定每个物体在语义图中的位 置和大体形状以及想要生成的风格，那么就可以快速的生成符合语义图和风格约束的风格图 像，极大的减少创作和设计所需的时间成本；而在多媒体教育资源生成方向，老师可以使用 简单的语义图信息生成多风格的教学场景图像，多风格的教学场景图像可以极大的丰富教学 资源，而风格多样的教学场景也可以更好的吸引学生的注意力提高学生的学习兴趣。同时， 快速的从语义图生成教学场景图像可以极大的减少生成新的图像资源所花费的时间。

发明内容

针对背景技术中从语义图生成多风格图像具有很大局限性的问题，本发明公开的一种基 于特征融合的多风格图像生成方法要解决的技术问题是：提供具有内容特征提取网络、风格 特征提取网络和内容风格特征融合网络三部分网络组成的从语义图生成风格图像的网络框架， 通过内容特征提取网络、风格特征提取网络分别提取内容特征和风格特征，还通过内容风格 特征融合网络将前两个网络提取的特征进行融合，用来生成具有语义图内容和风格图风格的 多风格图像。本发明具有快速便捷、适用性广、生成效果好的优点。将生成具有语义图内容 和风格图风格的多风格图像应用于吸引注意力的场景，解决相关工程技术问题。

为达到以上目的，本发明采用以下技术方案。

本发明公开的一种基于特征融合的多风格图像生成方法，将语义分割图输入内容特征提 取网络，提取语义图中的内容特征向量。将风格图输入风格特征提取网络，提取风格图中的 风格特征向量。将提取出的内容特征向量f_c和风格特征向量f_s输入内容风格特征融合网络进 行特征融合，得到特征融合后的融合特征向量。构建由生成器和判别器组成的生成对抗网络， 并通过设计损失函数在数据集上训练生成对抗网络。利用训练得到的损失函数最小化的生成 器，生成具有语义图内容和风格图风格的多风格图像。本发明能够将生成的具有语义图内容 和风格图风格的多风格图像，应用于吸引注意力的场景，解决相关工程技术问题。

本发明公开的一种基于特征融合的多风格图像生成方法，包括如下步骤：

步骤1：将语义分割图输入内容特征提取网络，提取语义图中的内容特征向量。

步骤1中的内容特征提取网络主要由全局空间路径GSP(Global Space Path)、分类空间 路径CSP(Category Space Path)和分类语义路径CCP(Category Context Path)三条分支路径 组成的多路特征提取网络。所述全局空间路径GSP用于提取全局空间特征，分类空间路径 CSP用于提取语义图的分类空间特征，分类语义路径CCP用于提取分类语义特征。