[发明专利]一种基于CycleGAN的图片训练的网络结构ArcGAN及方法

说明书

本发明公开一种基于CycleGAN的图片训练的网络结构ArcGAN及方法，网络结构ArcGAN由生成器和双鉴别器组成，双鉴别器包括粗糙鉴别器和精细鉴别器；编码器包括一个输入层和三个下采样卷积层，每个下采样卷积层后接两个和输入层结构一样的平卷积层；转换器包括五个没有池化层的密集卷积块，每块包含五个带有瓶颈层的密集卷积层，块与块之间设有压缩层；解码器包括三个上采样反卷积层和一个输出层，每个上采样反卷积层后接两个和输入层结构一样的平卷积层；编码器中的每层下采样和与之对应的解码器中的上采样进行复制式连接。粗糙鉴别器用于处理高层视觉信息，由六层下采样层和一个输出层构成；精细鉴别器和粗糙鉴别器计算的损失相结合，与生成器共同完成对抗一致性训练。

技术领域

本发明主要涉及深度学习和图像处理领域，尤其涉及一种基于CycleGAN的图片训练的 网络结构ArcGAN及线条建筑自动上色的方法。

背景技术

自20世纪90年代中期以来，有大量的研究探索如何自动将图像转化为带有特殊风格的 合成艺术品。Gatys等人的开创性工作展示了卷积神经网络(CNN)通过分离和重组图像内容和 风格来创造艺术意象的力量^[2]。使用CNN呈现不同风格的内容图像的过程称为神经风格迁移 (NST)。从那时起，NST成为学术界和工业界的热门话题，它正受到越来越多的关注，并提 出了各种改进或扩展原始NST算法的方法。

深度神经网络是最近使用最多、效果最好、效率最高的方法。最近对生成对抗网络(GAN) ^[3,4]的研究在广泛的图像合成应用中取得了巨大的成功，包括盲运动去模糊^[5,6]，高分辨率图像 合成^[7,8]，光现实超分辨率^[9]和图像绘制^[10]。GAN的训练策略是定义两个竞争网络之间的博弈。 生成器试图愚弄一个同时经过训练的鉴别器，该鉴别器将图像分类为真实的或合成的图像。 GAN以其具有良好的感知质量的样品而闻名，然而，如^[11]所述，GAN的普通版本存在许多 问题，如模式崩溃、消失梯度等。Arjovsky等人^[12]讨论了由vanilla损失函数引起的GAN训 练的困难，并提出了用Earth-Mover(Wasserstein-1)距离近似作为评判的方法。Gulrajani等人 ^[13]通过梯度惩罚进一步提高了它的稳定性，从而能够训练更多的结构，几乎不需要进行超参 数调整。基本的GAN框架也可以使用边信息进行扩充。一种策略是向生成器和鉴别器提供 类标签，以生成类条件样本，即CGAN^[14]。这种边信息可以显著提高生成样本的质量^[15]。但 这种深度网络框架并不具有普遍性。

参考文献：

[1]SUN,Q.,LIN,J.,FU,C.-W.,KAIJIMA,S.,AND HE,Y.2013.A multi-touchinterface for fast architectural sketching and massing.In Proceedings of theSIGCHI Conference on Human Factors in Computing Systems,ACM,247–256.

[2]L.A.Gatys,A.S.Ecker,and M.Bethge,“A neural algorithm of artisticstyle,”ArXiv e-prints,Aug.2015.

[3]Ian Goodfellow,Jean Pouget-Abadie,Mehdi Mirza,Bing Xu,David Warde-Farley,Sherjil Ozair,Aaron Courville,and Yoshua Bengio.2014.Generativeadversarial nets.In Advances in neural information processing systems.2672–2680.