[发明专利]一种基于双重注意力模块的实时任意风格迁移方法

说明书

一种基于双重注意力模块的实时任意风格迁移算法属于计算机视觉中的图像风格迁移领域，本发明分为两个阶段：训练阶段和部署阶段。在训练阶段对方法所用模型进行训练，得到一个预训练的图像风格迁移模型。部署阶段将训练阶段所得到的预训练模型部署在应用中，通过输入一组内容图像和指定风格图像的图像对，得到生成的风格迁移图像。本发明在保证方法可对任意风格进行迁移的普遍适用性前提下，在生成质量和速度之间进行平衡，在生成速度达到实时性的同时，具有很高的图像生成质量。

技术领域

本发明属于计算机视觉中的图像风格迁移领域，是一种利用卷积神经网络对图片艺术风格进行改变的方法。

背景技术

图像风格迁移是指通过计算机技术将图像的语义内容与其他图像的色彩、纹理等风格信息结合在一起的技术。它使图像在保有原有图像内容信息的同时，具有新的视觉风格。一直以来，研究者们一直在关注通过计算机技术生成具有特定艺术风格的图像。

早期的风格迁移方法只能针对特定的色彩、纹理或者笔触，通过色彩转换、滤波和纹理替换与合成等方法实现。在此基础上的一些图像处理方法如风格滤镜，已经成为了图像处理软件中的热门功能。不过这些方法中，每种方法仅能针对一种风格，实现效率有待加强，并且难以大规模应用。2016年深度学习技术在风格迁移任务中的应用使风格迁移可以实现对于任意风格的迁移。随之诞生的修图APP Prisma在用户中获得了巨大的热度并深受用户欢迎，这也展示了风格迁移技术在图像处理应用领域的巨大潜力。

目前的风格迁移方法存在一定局限性。一些方法可以获得很好的迁移速度，但生成图像的质量有待提高。一些方法可以获得较高的生成图像质量，但图像生成速度有限。此外，一些方法针对特定任务进行训练，可以在特定任务中取得十分优异的效果，但在其他任务中效果不佳，这影响了方法的普遍适用性。为了在更多领域获得更好的应用前景，平衡风格迁移方法的速度、质量和普遍适用性来获得一个效率更高的方法十分重要。

发明内容

本发明针对图像风格迁移方法的生成速度、质量和普遍适用性难以平衡的问题，提出了一种基于双重注意力模块的风格迁移方法，在保证方法可对任意风格进行迁移的普遍适用性前提下，在生成质量和速度之间进行平衡，在生成速度达到实时性的同时，具有很高的图像生成质量。

本发明提出的方法可分为两个阶段：训练阶段和部署阶段。在训练阶段对方法所用模型进行训练，得到一个预训练的图像风格迁移模型。部署阶段将训练阶段所得到的预训练模型部署在应用中，通过输入一组内容图像和指定风格图像的图像对，得到生成的风格迁移图像。

一种基于双重注意力模块的实时任意风格迁移方法，其特征在于：网络的输入为一个内容图像I_C和一个风格图像I_S，生成风格化图像I_CS；网络结构分为三部分：编码器、双重注意力模块、解码器；模型使用预训练的VGG-19网络作为编码器和对称解码器；通过两个并行的双重注意力模块进行联合训练以实现风格迁移；

首先，利用VGG网络对内容图像和风格图像进行编码F_C＝E(I_C)和F_S＝E(I_S)，并提取来自不同层的特征映射图；随后将来自同一层的内容特征图和风格特征图送入到一个双重注意力模块，生成经双重注意力模块处理后的特征图F_D：

F_D＝DA(F_C，F_S)

接下来将来自两个双重注意力模块输出的特征图进行融合；将来自Relu_5_1层的特征图经过上采样后与来自Relu_4_1层的特征图同位对应相加，并经过3×3卷积来组合两个特征图，得到

最后将送入解码器生成风格化的输出图像I_CS；

1.2双重注意力模块