[发明专利]一种基于着色溢出约束的图像自动着色方法及系统

说明书

本发明涉及一种基于着色溢出约束的图像自动着色方法及系统。该方法包括：获取多张原始彩色图像；将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。本发明能够达到完整着色效果。

技术领域

本发明涉及图像处理领域，特别是涉及一种基于着色溢出约束的图像自动着色方法及系统。

背景技术

作为图像处理的一种手段，为灰度图像补充彩色信息，可以获得更佳的观赏效果与体验。对画家来说，灰度图像着色是一项简单的任务，可以轻松地为灰度图像着色，例如蓝色的海洋和红色的太阳。只要使用正常生活场景的颜色常识，着色对象就可以是多种模式的。自然着色的图像是人类最现实的写照，包括漫画行业的图像着色，可以使人和场景更加生动，并提高人们对其的欣赏度。随着社会着色需求的提高，对于图像的自动着色技术的要求也越来越高，因此图像着色技术对于人类的生活应用以及相关产业的发展有着重要的应用价值和研究意义。

通常，图像着色的问题集中在着色区域的准确性和颜色选择的合理性上。为了解决这些问题，已经开发了大量算法。它们可以分为三类方法：基于用户指导的辅助着色方法，用户手动在需要着色的区域进行标记来以此获取着色来源并且颜色会自动在空间中分布；基于参考图像的自动着色方法，根据参考图像中类别的颜色以及相近的区域来进行着色；全自动着色方法，通过大量的训练数据来为着色图像提供参考。

对于第一种基于用户指导的辅助着色方法，需要人为的干预来完成着色，着色的准确性与人为标注的准确性息息相关。Levin提出了一种基于该方法优化的框架，但仅限于具有相似强度的相邻像素才能保持相似的颜色，不适用于较大范围的应用。Sykora提出了一种基于图形切割的优化框架，具有灵活的手绘卡通着色风格，该工具易于应用各种绘画风格，但是并没有考虑边缘信息来进行着色工作，因此，这些方法的结果自然会导致颜色边界溢出。为了防止对象的颜色边界溢出，Huang通过应用自适应边缘检测改进了该方法，从而确保了色彩传输的完整性。换言之，这类方法依赖于用户标注着色区域的精度，容易造成颜色错误、混乱的结果。

对于第二种基于参考图像的自动着色方法，需要根据参考图像中的颜色信息传递到目标图像中。Welsh提出了一种基于参考颜色直方图进行着色的方法。也有一些方法通过计算输入图像和参考图像的颜色统计量，然后建立映射功能以将参考图像的颜色分布映射到输入图像，例如一些颜色转移技术。与第一种方法相比，减少了着色错误的可能，但仍需要提供着色对应的参考图像，在实际工作中比较耗时。

对于第三种全自动着色方法。在反向传播出现之后，神经网络已开始用于多种任务，而且卷积神经网络模型也已成功应用于各个领域，也包括图像着色。全自动着色方法吸引了大量研究工作者的投入，Lizuka提出了一种基于全局和局部图像的自动着色方法，它通过训练一个大型数据集来完成分类任务，并利用该特征对灰度图像进行着色。Larsson使用卷积神经网络模型预测灰度图像中每个像素的颜色直方图，这种方法通常会生成合适的着色图像，实际上与原始图像的颜色相比，结果是不一致的。

随着生成对抗网络(Generative Adversarial Networks，GAN)的出现，替换了许多基于CNN领域的应用。与CNN模型相比，生成对抗网络的图像翻译工作在图像着色任务中将更加有效，并且与输入图像越接近，学习映射效果就越好。Zhu等人工作中，GAN网络模型包括一个基于John的生成器和一个判别器PatchGAN，ResNet体系结构充当转换网络生成以输入为条件的图像，后在相似的场景或角色中成功地在未配对的图像之间进行转换。该方法特别适合于图像着色，它可以在该模型的相似场景或动作中着色，但是，先前提出的自动着色方法没有针对着色边缘进行实现容易导致着色效果溢出，无法达到完整着色的效果，着色效果差。

发明内容