[发明专利]基于多头注意力机制的高分辨率的图片的生成方法

说明书

本发公开了一种基于多头注意力机制的高分辨率的图片的生成方法，具体涉及计算机视觉算法技术领域。其解决了现有的生成模型如果生成高分辨率的图片，对于图片的细节会生成的质量比较差以及出现图文不符的情况的不足。该方法基于堆积生成对抗网络(StackGAN)提出了一种对文本描述加入多头注意力机制的方法，对于描述图片的关键信息赋予高的权重，对生成不同分辨率图片的生成器加入不同的文本编码向量和类别向量，使最终的高分辨率的生成器能够生成细节完美的图片。

技术领域

本发明涉及计算机视觉算法技术领域，具体涉及基于多头注意力机制的高分辨率的图片的生成方法。

背景技术

生成模型是利用少量真实数据来生成大量的与真实时候相媲美的数据。该技术主要是在一定程度上缓解建模的过程中遇到的数据集不足的问题，起到补充数据集的作用，应用于人工智能系统、自动驾驶系统、数据增强系统等领域。

目前的生成模型主要包括:

(1)基于VAE建模进行生成数据，流程图如图1所示，

对于自编码模型来说，输入的数据经过神经网络降维到一个编码(code)，接着又通过另外一个神经网络去解码得到一个与输入原数据一模一样的生成数据，然后通过去比较这两个数据，最小化他们之间的差异来训练这个网络中编码器和解码器的参数。当这个过程训练完之后，我们可以拿出这个解码器，随机传入一个编码(code)，希望通过解码器能够生成一个和原数据差不多的数据。

基于VAE建模生成数据，生成的数据质量不高，以图片为例，生成的图片的分辨率比较低，图片比较模糊；无法生成多种类别的数据。

(2)基于堆积生成对抗网络(StackGAN)进行生成数据

第一阶段的StackGAN就是一个标准的条件对抗生成网络(Conditional GAN)，输入就是随机的标准正态分布采样的z和文本描述向量C0。第一步的对抗生成网络生成一个低分辨率的64*64的图片和真实数据进行对抗训练得到粗粒度的生成模型。第二阶段的StackGAN将第一阶段的生成结果和文本描述作为输入，用第二个对抗生成网络生成高分辨率的256*256的图片，具体单个网络进行生成数据的流程图如图2所示。

基于堆积生成对抗网络(StackGAN)建模生成数据，对于对于通过文本描述生成图片来说，由于LSTM生成文本向量的时候，认为每个词的重要程度是一致的，所以文本向量也就存在不准确的问题，所以如果是希望生成高分辨率的图片的话，对于图片的细节会生成的质量比较差，即生成图文不符的图片；如果希望生成多种类别的数据，在进行生成的时候，需要的类别越多，生成的质量会越差，出现模式崩溃的问题，即容易全部生成同一类的数据。

发明内容

本发明的目的是针对现有的生成模型如果生成高分辨率的图片，对于图片的细节生成的质量比较差，而且容易出现图文不符的不足，提出了一种利用多头注意力机制先对文本描述转换为文本向量，文本向量作为不同的生成器的输入部分，使堆积生成对抗网络更好的利用文本描述生成细节完美的高分辨率的图片的基于多头注意力机制的高分辨率的图片的生成方法。

本发明具体采用如下技术方案：

基于多头注意力机制的高分辨率的图片的生成方法，利用多头注意力机制将图片在不同阶段生成不同的图片文本描述向量，利用one-hot生成图片的类别向量，包括如下步骤：

(1)数据预处理：将多个类别的高分辨率的图片进行下采样，分别得到多个类别的低分辨率的图片，将图片、该图片的文件描述以及图片的类别组成“图片-文本-类别”对的形式；