[发明专利]一种基于着色溢出约束的图像自动着色方法及系统

权利要求书

1.一种基于着色溢出约束的图像自动着色方法，其特征在于，包括：

获取多张原始彩色图像；

将每张所述原始彩色图像转换为灰度图像，并利用边缘检测算法，将每张所述原始彩色图像转换为线条图像；

将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像；

根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型；所述图像自动着色模型用于对任一灰度图像进行自动着色。

2.根据权利要求1所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述获取多张原始彩色图像，之后还包括：

将所述原始彩色图像进行处理，生成尺寸为256×256×3的原始彩色图像；所述尺寸256×256×3分别为所述原始彩色图像的宽度像素值、长度像素值以及通道数量。

3.根据权利要求1所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述将所述灰度图像以及所述线条图像同时输入至双通道生成器中，生成预测彩色图像，具体包括：

将所述灰度图像以及所述线条图像输入至所述双通道生成器内的特征提取器中进行三次卷积，生成卷积后的灰度图像特征图以及卷积后的线条图像特征图；

融合所述卷积后的灰度图像特征图以及所述卷积后的线条图像特征图，生成特征融合后图像；

将所述特征融合后图像内的灰度特征以及线条特征输入至所述双通道生成器内的特征转换器中，转换为颜色特征；

根据所述颜色特征生成预测彩色图像。

4.根据权利要求1所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述根据所述预测彩色图像与所述原始彩色图像构建图像自动着色模型，具体包括：

根据所述预测彩色图像以及所述原始彩色图像构建单向映射损失函数，并基于所述单向映射损失函数调整所述预测彩色图像，生成色调调整后的彩色图像；

提取所述预测彩色图像的预测彩色图像特征以及所述原始彩色图像的原始彩色图像特征，并根据所述预测彩色图像特征生成预测彩色图像Gram矩阵以及根据所述原始彩色图像特征生成原始彩色图像Gram矩阵；

根据所述预测彩色图像Gram矩阵以及所述原始彩色图像Gram矩阵计算风格损失函数，并根据所述风格损失函数调整所述色调调整后的彩色图像，生成风格调整后的彩色图像；

基于对抗损失函数，将所述风格调整后的彩色图像以及所述原始彩色图像输入至判别器中，判断所述风格调整后的彩色图像与所述原始彩色图像的相似度是否大于相似度阈值；

若是，确定所述双通道生成器为训练好后的图像自动着色模型；

若否，建立循环损失函数，并基于所述循环损失函数使所述第一生成器从所述原始彩色图像中学习得到颜色映射，直至所述风格调整后的彩色图像与所述原始彩色图像的相似度大于相似度阈值。

5.根据权利要求4所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述单向映射损失函数为：

L_uml(G)＝E[||y₁-y||₁]；其中，L_uml为预测彩色图像y₁和彩色图像y的期望值；y₁为预测彩色图像；y为原始彩色图像；E为期望函数；|| ||₁为预测彩色图像y₁和彩色图像y的均值的绝对值。

6.根据权利要求5所述的基于着色溢出约束的图像自动着色方法，其特征在于，所述风格损失函数为：

其中，L_style为风格损失函数；i为所述双通道生成器的第i层；为预测彩色图像Gram矩阵；G(x,z)为以灰度图像x为第一输入，线条图像z为第二输入，经过所述双通道生成器生成的预测彩色图像；所述为原始彩色图像Gram矩阵；Φ表示所述双通道生成器第i层的特征图。