[发明专利]基于视觉显著性和通道注意力机制的色彩传递方法

说明书

本发明公开了一种基于视觉显著性和通道注意力机制的色彩传递方法，属于数字图像处理技术领域。本发明基于参考图像的视觉显著性特征提取，并基于结合了通道注意力机制的生成对抗网络模型，提出了针对参考图像颜色特征进行着色的色彩传递方法，提高了颜色特征提取的准确性和最终色彩传递的效果，能够获得色彩更加真实、自然的着色结果，并且该结果能够学习到更符合人眼视觉系统认知的参考图像颜色风格。

技术领域

本发明属于数字图像处理技术领域，尤其涉及基于视觉显著性和通道注意力机制的色彩传递方法。

背景技术

图像着色课题的研究目标是对灰度图像或黑白线稿添加颜色，可以应用多种场景，例如医学影像着色、老照片色彩重建、漫画线稿着色等，具有较高的应用价值。

在图像着色技术发展之前，早期的纯手工着色方式往往是由艺术家们通过手工的方式在胶片上绘制颜色，但是该过程通常需要花费较长的时间以及较多的人力物力，且需要上色者有一定的美术功底。在1970年，威尔逊·马克尔最早提出了着色（colorization）这个术语，用于描述他为黑白电影、电视节目等添加色彩而发明的计算机辅助技术。随后也出现了很多利用图像处理技术来进行着色的方法。近几年，随着深度学习技术的快速发展，有研究学者们开始使用神经网络进行图像着色的研究，且取得了不错的着色结果。

按照是否依赖用户引导，可以将基于深度学习的图像着色方法分为自动式着色方法和交互式着色方法，自动式着色方法只需要向网络中输入线稿图像（或灰度图像）就可以得到着色之后的图像，交互式着色方法则还需要用户添加一定的引导，例如点、线或参考图像等交互。其中，以用户提供参考图像的为引导的着色方法，需要用户提供一副参考图像，然后着色模型会学习该参考图像的颜色特征，并以此对线稿图像（或灰度图像）进行着色，这一类方法也称为色彩传递方法，即将色彩从参考图像传递到待着色图像。

生成对抗网络（Generative Adversarial Networks，GANs）是一类无监督学习算法，它通过生成器和判别器两个模型相对对抗和优化，能够生成更加真实的图像，给图像生成领域上带来了较大的发展。因此，近几年，生成对抗网络也成为了图像着色领域中的主流网络模型。

利用生成对抗网络进行着色模型的训练，能够得到质量较高的着色结果，但是当前主流方法的着色结果依旧存在着一定的问题：一是由于大部分的生成对抗网络中仍采用了卷积结构，而由于卷积神经网络本身的感受野限制，着色模型缺乏对远距离特征的捕捉，导致对图像中各个位置的理解不够充分，影响到局部区域的着色；二是生成图像细节的不足，这是由于生成网络在下采样特征提取过程中以及判别网络的图像判别过程中，会存在大量的冗余特征，这会影响到模型的特征学习能力，导致着色图像的细节信息不足。

发明内容

为解决上述技术问题，本发明提供了基于视觉显著性和通道注意力机制的色彩传递方法，利用生成对抗网络进行图像色彩传递任务，同时结合了视觉显著性机制和通道注意力机制，通过视觉显著性机制更好的捕捉到参考图像的颜色风格，通过通道注意力机制获得图像的全局上下文特征与通道间的依赖关系，得到更加真实、细节更加丰富的着色结果。

为实现上述目的，本发明采用以下技术方案：

提供一种基于视觉显著性和通道注意力机制的色彩传递方法，所述方法包括以下步骤：

S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像。

S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图。

S30：将参考图像的颜色三通道划分呈N个颜色区间，记为，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为，其中，。