[发明专利]基于参考信息的图像彩色化

说明书

根据本公开的实现，提出了一种图像彩色化方案。在该方案中确定灰度源图像和彩色参考图像呈现的内容之间的相似度，并使用学习网络，基于相似度确定灰度源图像对应的彩色目标图像。具体地，基于相似度确定灰度源图像中与彩色参考图像在内容上相似的第一组图块和在内容上不相似的第二组图块，基于彩色参考图像中与第一组图块对应的图块中的颜色，确定第一组图块的第一颜色，独立于彩色参考图像来确定第二组图块的第二颜色，以及基于第一颜色和第二颜色变换灰度源图像，以生成彩色目标图像。通过该方案，可以提供图像彩色化中的用户可控性和定制化效果。此外还无需严格要求彩色参考图像与灰度源图像之间的对应性，这使彩色化对参考图像的选择更鲁棒。

背景技术

图像彩色化指的是将一幅灰度图像变换为彩色图像。图像彩色化在老照片着色、黑白电影彩色化等多种场景下具有很高需求。由于灰度图像仅具有亮度信息，因此图像彩色化是为了向灰度图像增添颜色。图像彩色化的目标在于使生成的彩色图像具有感知意义并且在视觉上美观。对于灰度图像中的特定像素或区域而言，可以向其分配许多可能的颜色，例如灰度图像中的叶子可以被彩色化为绿色、黄色、红色或棕色等。因此，绝对正确的图像彩色化方案较难获得。

发明内容

根据本公开的实现，提出了一种用于基于参考信息的图像彩色化方案。在该方案中确定灰度源图像和彩色参考图像呈现的内容之间的相似度，并使用学习网络，基于相似度确定灰度源图像对应的彩色目标图像。具体地，基于相似度确定灰度源图像中与彩色参考图像在内容上相似的第一组图块和在内容上不相似的第二组图块，基于彩色参考图像中与第一组图块对应的图块中的颜色，确定第一组图块的第一颜色，独立于彩色参考图像来确定第二组图块的第二颜色，以及基于第一颜色和第二颜色变换灰度源图像，以生成彩色目标图像。通过该方案，可以提供图像彩色化中的用户可控性和定制化效果。此外还无需严格要求彩色参考图像与灰度源图像之间的对应性，这使彩色化对参考图像的选择更具鲁棒性。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开的多个实现的计算环境的框图；

图2示出了根据本公开的一个实现的用于图像彩色化的学习网络架构的框图；

图3示出了根据本公开的一个实现的图2的相似度确定学习网络的框图；

图4示出了根据本公开的一个实现的用于训练图2的彩色化学习网络的训练架构的框图；

图5示出了根据本公开的一个实现的用于选择彩色参考图像的系统的框图；

图6示出了根据本公开的一个实现的用于图像彩色化的过程的流程图；以及

图7示出了根据本公开的一个实现的用于训练图像彩色化的学习网络的过程的流程图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。