[发明专利]基于动态记忆模块和生成对抗网络的动漫草图上色方法

权利要求书

1.一种基于动态记忆模块和生成对抗网络的动漫草图上色方法，其特征在于，该方法包括以下步骤：

步骤S1：获取训练数据集，包括彩色动漫图片、相应的图片标签和草图；

步骤S2：构建草图上色网络模型生成器的编码器部分，将草图和对应的图片标签输入到生成器中，获取图像特征和文本特征；并将图像特征和文本特征拼接，得到更新的图像特征；

所述的草图上色网络模型包含一个生成器和一个判别器，所述的生成器包含一个图像编码器、两个文本编码器、一个主解码器和一个辅助解码器；

步骤S3：将更新的图像特征输入到辅助解码器中，生成一张上色图像，防止神经网络的梯度消失；

步骤S4：构建动态记忆模块，动态地从图片标签的文本中选择对上色最重要的部分，并利用门控机制动态地组合文本和图像信息；

步骤S5：构建多个动态记忆模块，作为主解码器进行处理，直到图像特征大小与原本图片的大小相同；

步骤S6：在主解码器中添加一个3*3卷积、一个LeakyRelu激活层、一个3*3卷积和一个Tanh激活层，生成上色图片；

步骤S7：将步骤S6中生成的上色图片和真实彩色图片输入到判别器中，令判别器去判别图像的真假以及输入的图像文本标签，交替训练生成器和判别器，相应的最小化生成器和判别器各自的损失函数。

2.根据权利要求1所述的一种基于动态记忆模块和生成对抗网络的动漫草图上色方法，其特征在于，所述的步骤S2具体为：

步骤S21：将草图输入到图像编码器中，获得相应的图像特征其中，N＝H×Q表示图像特征中的像素个数，H和Q分别为图像特征的长和宽；表示第i个像素特征，表示图像像素特征的维度；

将图片标签转换为one-hot向量，并分别输入到两个文本编码器中，两个文本编码器分别输出一个与图像特征的长宽相同的文本特征和另一个文本特征W＝w₁，w₂，…，w_T，其中和w_j分别表示W₁中的第i个单词特征、W中的第j个单词特征；T表示单词个数，N_w1和N_w分别表示W₁和W中单词特征的维度；

步骤S22：将图像特征和文本特征W₁沿特征维度拼接：

得到更新的图像特征R＝r₁，r₂，…，r_N，其中