[发明专利]一种基于多视角注意力机制的灰度图像自动上色方法

说明书

本发明涉及一种基于多视角注意力机制的灰度图像自动上色方法，属于灰度图像上色技术领域。通过步骤1，数据收集与处理，步骤2，模型构建，对特征图F进行全局平均池化，将特征图F进行通道池化，将输入特征图F不做任何变换成为F_{out_3}；有益效果在于，采用多视角注意力机制，多视角注意力模块能够让上色模型自适应地获取不同视角、不同尺度的注意力信息，更好地支持模型重建彩色图像。能够自适应地学习不同视角的特征信息，提高了编码‑解码结构的特征提取能力，强化了图像内语义信息和上下文信息的建模。通过将该模块嵌入编码‑解码结构，在保证上色结果图像质量的同时提高了颜色的饱和度和多样性。

技术领域

本发明涉及一种基于多视角注意力机制的灰度图像自动上色方法，属于灰度图像上色技术领域。

背景技术

灰度图像上色是当前图像处理领域的研究热点，该项技术广泛地应用于影视处理、广告制作以及艺术创作。通过图像上色技术能够修复老照片，给黑白电影赋予生动的色彩，同时可以为动漫、卡通人物进行辅助上色，降低艺术创作的复杂度。由此可见，灰度图像上色具有较大的使用价值和趣味性。传统的灰度图像上色方法往往需要人为参与，其中一种需要用户给定一张参考图像，上色模型从参考图像中迁移适合的颜色，而合适的参考图像往往难以获取，当参考图像和待上色的灰度图像目标、背景相差较大时难以得到生动的上色效果。第二种则需要用户人为地在灰度图像上进行颜色涂鸦，这要求用户需要一定的专业知识来选择合适的颜色，而且在上色过程中需要进行较大范围的颜色涂鸦来保证上色效果。近年来，由于深度学习技术兴起以及获取大规模图像数据集简易性，出现了一大批基于卷积神经网络(CNN)和生成对抗网络(GAN)的灰度图像自动上色方法。在目前的灰度图像自动上色模型中，以CNN为基础的编码器-解码器结构能够基于大规模数据集自动学习从灰度图像到彩色图像的映射，但往往得到的上色图像饱和度不够且多样性低，原因在于这种编码解码的方式只是逐像素学习映射关系，难以对图像中的语义和上下文信息有效建模。在以GAN为基础的生成式上色模型中，通过生成器和判别器的对抗训练来让生成器根据输入的灰度图像，近似地模拟真实彩色图像的分布，该种方法能够在一定程度上提高上色结果的多样性，但是生成的图像质量不佳，且GAN模型训练不稳定，难以收敛。

综上所述，当前的基于深度学习的灰度图像自动上色方法无法保证上色结果的多样性和图像质量，限制了该项技术的应用场景。为了保证灰度图像自动上色的结果生动，提高生成彩色图像的质量，需要针对现有的模型方法加以改进。

发明内容

本发明的目的在于提供一种基于多视角注意力机制的灰度图像自动上色方法，从而克服现有技术中的不足。

本发明的技术方案在于，包括以下步骤：

步骤1，数据收集与处理，采用开源的大规模图像数据集ImageNet,在获得数据集后对图像进行中心裁剪，得到分辨率为256*256的训练图像，随后对图像进行颜色空间变换，从RGB颜色空间变换到CIE Lab空间，对训练集中的每一张图像，以其L通道的数据作为灰度输入，ab通道作为颜色标签；

步骤2，模型构建，基于编码-解码架构设计全卷积的自动上色模型；采用多视角注意力机制，通过多视角注意力模块能够让上色模型自适应地获取不同视角、不同尺度的注意力信息，更好地支持模型重建彩色图像；

多视角注意力机制包括以下方法：多视角注意力模块接受一个尺寸为R^H×W×C的特征图F作为输入，随后该特征图进入三个分支；

分支1：对特征图F进行全局平均池化，将其转换为F₁₁，尺寸为R^1×1×C；将特征图F₁₁输入到两层连续的全连接层进行仿射变换，两层全连接层之间有一层ReLU激活函数，第二层全连接层后有一层Sigmoid,最终得到特征图F_{out_1}，其尺寸为R^1×1×C，该过程用公式(1)、(2)进行规约；