[发明专利]模型训练方法、图像生成方法及相关装置

说明书

本申请提供了一种模型训练方法、图像生成方法及相关装置，应用于人工智能领域，该方法包括：获取包括多组图像的训练样本，每组图像包括无损图像及其对应的破损图像；将上述多组图像输入至生成模型中，以对生成模型进行训练；其中，基于DCGAN的生成模型用于基于破损图像生成所对应的无损图像，该模型包括注意力模块，用于对接收到的第一特征图进行卷积操作，得到第二特征图，经掩码图像的处理后的第二特征图用于对第一特征图进行加权操作，得到第三特征图，对第三特征图进行卷积操作，得到第四特征图。本申请的方法，解决了修复图像的像素之间不连续的问题，缓解了像素之间不连续给视觉带来的不良体验，有利于获得良好的视觉效果。

技术领域

本申请涉及人工智能领域，尤其涉及一种模型训练方法、图像生成方法及相关装置。

背景技术

图像复原是一种改善图像质量的处理技术，其根据已知图像内容去推测并修复出破损或缺失区域内容，使得修复后的图像内容信息合理和主观视觉真实。此技术的核心挑战在于为缺失的区域合成视觉逼真和语义上合理的像素，以便与现有的像素保持一致。图像修复具有重要的现实意义，尤其在艺术作品的保护，修复老照片以及基于图像的渲染和计算机摄影方面有很多应用。

目前，大量图像修复算法的原理都是基于深度卷积生成对抗网络(deepconvolutional generative adversarial networks，DCGAN)实现的。

但是，使用DCGAN对图像进行修复时，会出现修复后图像的像素之间不连续的问题。

发明内容

本申请提供了一种模型训练方法、图像生成方法及相关装置，用以解决修复后图像的像素之间不连续的问题。

第一方面，本申请提供了一种模型训练方法，该方法包括：获取训练样本，所述训练样本包括多组图像，每组图像包括无损图像及其对应的破损图像，所述破损图像由预设的掩码图像对所对应的无损图像处理得到；将所述多组图像输入至生成模型中，以对所述生成模型进行训练；其中，所述生成模型用于基于破损图像生成所对应的无损图像，所述生成模型基于DCGAN训练得到，所述生成模型包括注意力模块，所述注意力模块用于对接收到的第一特征图进行卷积操作，得到第二特征图，所述第二特征图经掩码图像的处理后，用于对所述第一特征图进行加权操作，得到第三特征图，所述注意力模块还用于对所述第三特征图进行卷积操作，得到第四特征图。

本申请中，将获取的训练样本中的多组图像，依次输入至包括注意力模块的生成模型中，对接收到的第一特征图分别进行卷积操作(得到第二特征图)和掩码图像的处理，采用掩码处理后的特征图用于对第一特征图进行加权操作，之后再对加权操作后的特征图进行卷积操作，这样可以解决在修复破损图像时，存在的破损边界的像素不连续的问题，从而缓解像素之间不连续给视觉带来的不良体验，有利于获得良好的视觉效果。

结合第一方面，在第一方面的某些实现方式中，所述第一特征图包括所述破损图像中包含的多个像素点的像素值。

结合第一方面，在第一方面的某些实现方式中，所述生成模型还包括卷积层，所述卷积层用于对输入的图像进行卷积操作，得到所述第一特征图。

结合第一方面，在第一方面的某些实现方式中，所述生成模型还包括归一化模块，所述归一化模块用于：对所述第四特征图和所述掩码图像分别进行归一化操作并求和，得到求和后的数据；对所述第四特征图进行卷积操作，得到第五特征图；使用预定义的激活函数对所述第五特征图与所述求和后的数据的乘积进行处理。

结合第一方面，在第一方面的某些实现方式中，所述归一化操作满足如下公式：

其中，y为归一化后的像素值，x为归一化前的像素值，μ为所述归一化前的像素值的均值，S为所述归一化前的像素值的标准差。