[发明专利]基于参考信息的图像彩色化

权利要求书

1.一种计算机实现的方法，包括：

确定灰度源图像和彩色参考图像呈现的内容之间的相似度；以及

使用学习网络，基于所述相似度来确定所述灰度源图像对应的彩色目标图像，包括：

基于所述相似度确定所述灰度源图像中与所述彩色参考图像在内容上相似的第一组图块和在内容上不相似的第二组图块，

基于所述彩色参考图像中与所述第一组图块对应的图块中的颜色，确定所述第一组图块的第一颜色，

独立于所述彩色参考图像来确定所述第二组图块的第二颜色，以及

基于所述第一颜色和所述第二颜色变换所述灰度源图像，以生成所述彩色目标图像。

2.根据权利要求1所述的方法，其中确定所述内容相似度包括：

确定所述彩色参考图像对应的灰度参考图像；

提取所述灰度源图像的第一特征图和所述灰度参考图像的第二特征图；以及

基于所述第一特征图与所述第二特征图之间的差异，确定所述内容相似度。

3.根据权利要求2所述的方法，其中提取所述第一特征图和所述第二特征图包括：

提取至少所述灰度源图像的高层特征图作为所述第一特征图；以及

提取至少所述灰度参考图像的高层特征图作为所述第二特征图。

4.根据权利要求1所述的方法，还包括通过以下来获取所述彩色参考图像：

获取多个彩色候选图像；

确定所述多个彩色候选图像分别对应的多个灰度候选图像；

提取所述灰度源图像的第一特征图和所述多个灰度候选图像的多个第二特征图；以及

基于所述第一特征图和所述多个第二特征图之间的差异，从所述多个彩色候选图像选择所述彩色参考图像。

5.根据权利要求4所述的方法，其中选择所述彩色参考图像包括：

基于所述第一特征图和所述多个第二特征图之间的差异，从所述多个彩色候选图像确定多个中间彩色候选图像；

确定所述灰度源图像的第一亮度分布和所述多个中间彩色候选图像的多个第二亮度分布；以及

至少基于所述第一亮度分布和所述多个第二亮度分布的相关性，从所述多个中间彩色候选图像中选择所述彩色参考图像。

6.根据权利要求5所述的方法，其中从所述多个中间彩色候选图像中选择所述彩色参考图像包括：

还基于所述第一特征图与所述多个中间彩色候选图像对应的多个第二特征图之间的差异，来选择所述彩色参考图像。

7.根据权利要求1所述的方法，其中确定所述相似度包括：

确定从所述灰度源图像到所述彩色参考图像的第一方向相似度以及从所述彩色参考图像到所述灰度源图像的第二方向相似度。

8.根据权利要求1所述的方法，其中确定灰度源图像与彩色参考图像之间的内容相似度包括：

向用户指示所述彩色参考图像；以及

响应于所述用户对所述彩色参考图像的选择，确定所述灰度源图像与所述彩色参考图像之间的内容相似度。

9.根据权利要求1所述的方法，其中所述第二颜色包括由所述学习网络学习到的与所述第二组图块在内容上相似的图块中的颜色。

10.一种计算机实现的方法，包括：

确定灰度源图像和彩色参考图像呈现的内容之间的相似度；

使用学习网络，基于所述相似度确定所述灰度源图像中与所述彩色参考图像在内容上相似的第一组图块和在内容上不相似的第二组图块；

使用所述学习网络，基于所述灰度源图像对应的真实彩色图像来确定所述第一组图块和所述第二组图块的颜色，用以生成第一预测彩色图像；

使用所述学习网络，基于所述彩色参考图像确定所述第一组图块和所述第二组图块的颜色，用以生成第二预测彩色图像；以及

基于所述第一预测彩色图像和所述第二预测彩色图像与所述真实彩色图像之间的相应差异来更新所述学习网络。