[发明专利]一种图像解耦表征下的文本指导图像上色方法

说明书

本发明公开了一种图像解耦表征下的文本指导图像上色方法。对于每幅彩色图像，生成灰度图像，提取彩色图像中的图像配色信息；构建编码器‑解码器网络作为学习图像解耦表征的网络，利用图像配色信息和彩色图像、灰度图像处理输入训练编码器‑解码器网络，并且通过颜色表征向量和内容表征向量重构图像；将文本语义和颜色信息相关联，得到与文本语义相关的文本配色信息；将文本配色信息映射到训练后网络的颜色表征向量所在的编码器中，得到文本颜色表征向量；结合文本颜色表征向量和图像内容表征向量，生成上色结果。本发明将文本语义信息与图像上色任务结合起来，并且解决了图像上色方法依赖于复杂的人工标记图像或者寻找参考图像的问题。

技术领域

本发明涉及了一种图像解耦表征下的文本指导图像上色方法。本发明涉深度学习，图像处理，学习图像解耦表征等技术。

背景技术

色彩是图像中最重要的组成部分之一，能够给人留下深刻的印象，对于表达信息至关重要。比如商家常常根据不同的季节，来设计不同配色的营销海报。此外，经过验证，图像颜色对于图像分类等任务的性能有很大影响。然而，由于成像设备和光照的限制，很多图像的色彩不尽人意，甚至没有颜色。因而图像上色是图像处理领域很重要的研究课题。

图像上色任务通常由专业人士手动完成，非常复杂且耗时。随着深度学习的兴起，许多基于深度网络的图像上色方法致力于减轻人力的负担并更有效地执行这些任务。这些方法可以分为三类：基于涂鸦着色，基于示例着色和基于学习着色。基于涂鸦的方法根据在图像不同区域标注的颜色来对于整体图像上色，仍然需要手工工作和专业技能来提供可靠的标注。基于示例的方法通过匹配全局颜色的统计信息，将颜色信息从参考图像传送到目标灰度图像，颜色分布的结构性较差，并且上色结果取决于选择的参考图像。基于学习的方法通过线性系统解决着色问题，无需人为干预，但是这种方法对一个灰度图像只能生成一种结果。并且这种端到端的学习式方法是一种黑盒模型，人们无法得知生成上色结果的来龙去脉，可解释性较差。

此外，在互联网海量的数据中，图文多模数据是一种很重要的数据形式。结合图像和文本数据，利用其多模数据的互补性可以消除歧义和不确定性，获得更准确的数据理解。文本数据在表达语义上更明确具体，并且具有更好的可解释性，但是在图像上色任务中，文本信息很少被考虑进来。人类能够很容易理解文本并将其与颜色对应起来，但是对于机器来说并不容易。不同模式的数据之间存在语义“鸿沟”，由文本直接生成彩色图像是比较困难的，如何跨过图像-文本间的语义“鸿沟”，将文本的语义信息用于指导灰度图像的上色任务也是本发明要解决的技术问题之一。

本发明中使用学习图像的解耦表征的方法来实现图像的上色，能够产生不同的上色结果，并且具有一定的可解释性。本发明中提出的模型是一种编码-解码结构的模型，存在“瓶颈”现象，即图像的信息会在编码和解码的过程中丢失。为了重构出高质量的彩色图像，要尽可能保留图像的关键信息，这也是本发明要解决的问题之一。

本发明中要解决的问题包括：减少人力的消耗；提高上色结果的颜色结构性和图像质量；增加上色结果的多样性；结合文本信息，提高方法的可解释性，生成符合文本语义的上色结果。

发明内容

本发明的目的在于解决现有图像上色方法忽略文本信息，依赖于人工标注、选择参考图像，或者上色结果结构性差、多样性低的问题的技术问题，提供一种图像解耦表征下的文本指导图像上色方法。

本发明是通过以下技术方案来实现的：

步骤1)对于数据库中的每幅原始的彩色图像x_c，生成原始的灰度图像x_g，提取彩色图像中的图像配色信息p_i，图像配色信息p_i用于辅助训练；