[发明专利]一种基于BlockGAN的图像生成和识别模块及方法

说明书

本发明公开了一种基于BlockGAN的图像生成和识别模块及方法，该模块包括：图像分割模块；模式分解模块；多个区块，多个区块形成一个BlockGAN(区块GAN)，每个区块中包含一个生成器以及与所述生成器连接的多个判别器；第一融合模块；第二融合模块。该方法主要解决复杂图像生成过程中模式多样性的问题、识别过程中准确性的问题以及运行效率的问题。本发明每个区块由一个生成器和多个判别器组成，负责对一种类型的物体进行生成和识别，多个判别器可对同一物体的多个模态进行判别，以增加图像识别的准确性。多个区块可并行处理，生成器生成的单一物体可融合成复杂图像，判别器的判别结果融合后形成对复杂图像的准确识别。

技术领域

本发明涉及图像生成和识别技术领域，具体涉及一种基于BlockGAN的图像生成和识别模块及方法。

背景技术

GAN(Generative Adversarial Nets，生成式对抗网络)借鉴零和博弈的思想，通过生成器和判别器的博弈，使得生成器与判别器的性能在对抗过程中不断提升，最终生成器能够生成以假乱真的图像，而判别器无法判别生成图像的真伪。GAN的方法简单实用，被广泛应用于图像生成领域，近年来研究发现其在图像识别领域同样有着好的表现。

简单图像的生成和识别已经取得了瞩目的成绩，成果显著，而复杂图像的生成和识别仍存在较大问题，是目前研究的重点和难点，其困难主要体现在以下3个方面：1)复杂图像背景复杂，含有多种物体和模式，生成复杂图像往往存在模式多样性的问题，而用传统GAN去生成复杂图像则需要海量图像数据的训练和庞大的模型参数空间，运算量过大；2)复杂图像的识别是一个多标签图像分类问题，是图像分类领域最难的分支，而复杂图像的干扰信息过多，其识别的准确性存在较大问题；3)相比于简单图像，复杂图像的处理难度显著增加，处理过程更加复杂，无论是生成还是识别的开销都明显增大，因此模型训练和运行的效率也是不可忽视的问题。

发明内容

针对以上问题，本发明提供了一种基于BlockGAN的图像生成和识别模块及方法，该方法主要解决复杂图像生成过程中模式多样性的问题、识别过程中准确性的问题以及运行效率的问题。本发明方法由多个区块构成，每个区块由一个生成器和多个判别器组成，负责对一种类型的物体进行生成和识别，其中多个判别器可对同一物体的多个模态进行判别，以增加图像识别的准确性。多个区块可并行处理，其中生成器生成的单一物体可融合成复杂图像，判别器的判别结果融合后形成对复杂图像的准确识别。

本发明在GAN技术的基础上，提出了一种新的GAN的体系结构BlockGAN(区块GAN)，用于复杂图像的生成和识别，有效解决复杂图像生成过程中模式多样性的问题、识别过程中准确性的问题以及模型运行效率的问题，其解决方法如下：

1.为解决复杂图像生成过程中模式多样性的问题，区块GAN由多个区块组成，每个区块由一个生成器和多个判别器组成，负责一种物体或模式的生成和识别；

2.为解决复杂图像识别过程中准确性的问题，采用多区块融合判别模式，首先每个区块由多个判别器组成，负责对同一物体的多种模态进行判别，提升了对同一物体识别的准确性；其次，每个判别器可根据自己判别的目标不同而采用不同的目标函数，进一步提升识别精度；最后，多个区块的判别器的输出形成判别矩阵，对判别矩阵融合处理后得到对复杂图像的准确识别，融合方式的多样性使得BlockGAN可适用于各种不同的应用；

3.为解决模型运行效率的问题，多个区块并行运行，每个区块各司其职，负责对复杂图像中的一个物体的生成和识别，生成和识别结果融合后生成复杂图像或得到对复杂图像的识别。BlockGAN(即区块GAN)具有很好的并发性，适合GPU的处理，具有很高的运行效率，其并发性主要体现在以下方面：

1)在训练阶段，每个区块只需学习对某类物体的生成和识别，用来训练的数据集相互独立，因此多个区块相互独立运行，可以并行训练；