[发明专利]一种基于U-GAT-IT改进的戏曲卡通人物生成方法

说明书

本发明涉及计算机技术，具体公开了一种基于U‑GAT‑IT改进的戏曲卡通人物生成方法，包括以下步骤：数据收集；数据预处理；将预处理好的真实人物与卡通人物数据集分别按照8:2的比例划分为训练集和测试集并导入模型结构中，模型结构的生成器对数据集进行特征提取，得到编码特征图之后通过CAM注意力模块得到注意力特征图，之后通过多层感知机MLP获取参数并用于Self‑AdaLIN引导自适应残差块，之后以AdaLIN的方式将归一化后的解码特征进行反归一化，之后生成转换后的卡通图像，卡通图像通过编码器模块和CAM注意力模块进行特征提取，通过判别器进行判别输出，得到秦腔卡通人物。本发明具有使生成的秦腔卡通人物具有更生动形象的优点。

技术领域

本发明属于计算机技术领域，涉及深度学习技术，尤其涉及一种基于U-GAT-IT改进的戏曲卡通人物生成方法。

背景技术

戏曲艺术作为中华非物质文化遗产，是中华文明传承的重要载体。戏曲艺术的传播、传承、推广，对传承我国优秀文化、丰富人们精神世界、增强民族自信有着十分深远而重大的意义。在如今社会经济快速发展的时代，人们的物质生活水平逐渐提高，对精神文化的要求也日益加强，回归传统成为时代的潮流，戏曲脸谱艺术作为中国民族文化的传统艺术，再次掀起了浪潮，受到人们的高度关注。秦腔等戏曲角色以卡通的形式已经逐渐渗透到人们的日常生活中，如书签、积木、钥匙扣、刺绣、玩偶、摆件、壁画等等，戏曲角色的卡通化更是对中华民族传统文化的一种传播，使得世界上越来越多的人认识到传统戏曲的艺术魅力，了解到中国这一传统文化的内涵，因此对戏曲角色的卡通化研究十分必要。

目前，对图像卡通化相关算法的研究从最初的基于图形特征的传统生成方法，已发展到现如今流行的基于深度学习的生成方法。但由于卡通图像往往有清晰的边缘，平滑的色块和简化的纹理，且秦腔等戏曲卡通图像具有特定的妆容造型，与其他艺术风格有很大区别，使用传统图像处理技术生成的卡通图像无法自适应地处理复杂的光照和纹理，效果较差，而基于风格迁移的方法没有保护图像语义信息。

因此，亟需一种能够转换戏曲角色特定妆容的模型，以支撑对于戏曲文化艺术风格研究的戏曲卡通人物生成方法。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于U-GAT-IT改进的戏曲卡通人物生成方法，能够更好地保持输入图像的语义内容，只需少量非成对训练数据，就能使生成的戏曲卡通人物具有更生动的形象。

为了实现上述目的，本发明提供了一种基于U-GAT-IT改进的戏曲卡通人物生成方法，具有采用以下技术方案予以实现：

一种基于U-GAT-IT改进的戏曲卡通人物生成方法，包括以下步骤：

步骤1、收集戏曲真实人物图像和戏曲卡通人物图像数据集，对收集到的数据集进行数据增强处理，并进行归一化和尺寸统一操作；

步骤2、对收集到的戏曲真实人物与戏曲卡通人物数据集进行预处理，预处理操作包括检测人脸及关键点、根据关键点旋转校正人脸、将关键点边界框按固定的比例扩张并裁剪出人脸区域、使用人像分割模型将背景置白；

步骤3、将预处理好的戏曲真实人物与戏曲卡通人物数据集分别按照8:2的比例划分为训练集和测试集，将划分好的训练集和测试集导入到模型结构中，模型结构包括生成器和判别器，生成器用于由真实图像生成卡通图像，判别器将生成的卡通图像与输入的卡通图像进行判别输出；

步骤4、生成器中特征提取部分对导入的数据集进行特征提取，特征提取部分包含下采样模块和残差模块，通过特征提取部分将预处理之后的图像进行下采样，配合残差模块增强图像特征提取，从而得到编码特征图，并通过CAM注意力模块得到具有权重信息的注意力特征图；