[发明专利]一种基于适应性注意力机制的多模态的图像风格迁移方法

说明书

该发明公开了一种基于适应性注意力机制的多模态的图像风格迁移方法，属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架，同时，借鉴了EM注意力机制算法和通道尺度变换的思想，并将EM注意力机制进行通道域上的改进，使网络对风格特征增加关注度，并利用噪声对注意力模块中的基进行加权，使其能够适应性地发生改变，最终使风格发生变化。此时噪声和图片同时输入网络，并利用生成对抗网络地对抗训练算法。在训练好网络后，改变噪声的大小就可以进行多模态的风格迁移。通过上述方法，本发明充分利用了EM注意力机制和生成对抗网络的优势，并提出了适应性通道域EM注意力模块，提高了现有方法在风格迁移后的图片质量和图片多样性。

技术领域

本发明属于计算机视觉领域，主要涉及多模态的图像风格迁移问题；主要应用于影视娱乐产业，人机交互以及机器视觉理解等方面。

背景技术

图像风格迁移是指通过计算机技术对不同风格的图片进行分析后，使其中一种风格的图片在保留图片内容的情况下，将其风格转变为其他不同种类的风格的技术。影视娱乐产业，人机交互以及机器视觉理解等领域，对图像风格迁移的需求越来越大。例如：通过摄像头可以实时将人物头像变成卡通人物头像；在自动驾驶中，可以利用风格迁移辅助图片向分割图片转换等。现有的图像风格迁移的方法，主要分为基于图片优化和基于模型优化的方法。

基于图片优化的风格迁移方法是出现时间较早且较为稳定的一种方法，其基本原理可以分为三个步骤。第一个步骤是选择一个能提取图片特征的神经网络，第二个步骤是利用神经网络对原始图片和目标图片进行特征提取，并利用特征去设计损失函数，第三个步骤是利用损失函数对原始图片进行求导操作，并不断优化迭代使原始图片的风格向目标图片的风格靠近。这类方法不需要大量的数据，所以简单且便于操作；但其缺点在于迭代时间过长，无法实时地转换图片。参考文献：.L.A.Gatys,A.S.Ecker,M.Bethge.Image styletransfer using convolutional neural networks,IEEE Conference on ComputerVision and Pattern Recognition,2016,pp.2414-2423。

基于模型迭代的方法主要是通过大量不同风格图片去训练模型，从而使模型学习从一种图片风格与其他种类图片风格的映射函数，然后往训练好的模型中输入一种风格图片，就可以从模型输出中获取不同种类风格，但内容一致的图片。这种方法的优点在于训练好模型后就不需要进行迭代步骤，可以实时地进行图像风格迁移，并且这类方法可以通过输入额外变量，可以达到输入一种类别风格图片，而同时输出多个不同种类风格的图片。但其缺点在于训练时没有的风格种类，在测试时无法很好地进行迁移，且在进行多模态的风格迁移时样本多样性仍然欠缺。参考文献：A.Yazeed,S.Neil,W.Peter.Latent filterscaling for multimodal unsupervised image-to-image translation.2019,pp.1458-1466

近年来，基于模型优化的方法越来越成熟，多模态的风格迁移的需求也愈发增高。目前的方法在多模态的风格迁移中，多样性以及图片质量仍然不足。多模态风格迁移指的是，给定一张输入图片，可以同时得到输出不同的风格图片，如图2所示，第一张为输入图片，其他为同时输出的多风格图片。本发明针对该领域，并考虑以上不足之处，提出了一种基于适应性注意力机制的多模态的图像风格迁移方法，取得了出色的结果。

发明内容

本发明是一种适应性通道域EM注意力机制的多模态风格迁移方法，解决现有技术中风格多样性欠缺的问题。