[发明专利]基于视觉显著性和通道注意力机制的色彩传递方法

权利要求书

1.一种基于视觉显著性和通道注意力机制的色彩传递方法，其特征在于包括以下步骤：

S10：分别读取原始图像和若干未着色图像，并将所述原始图像作为色彩传递模型的参考图像；其中，所述未着色图像的图像类型包括灰度图像和线稿图像；

S20：对参考图像进行视觉显著性检测，根据其频率先验、位置先验、颜色先验三种先验知识分别计算频率显著性、位置显著性和颜色显著性，再通过频率显著性、位置显著性和颜色显著性计算得到所述参考图像的显著性特征图；

S30：将参考图像的颜色三通道划分呈N个颜色区间，记为，并取每个区间的颜色中心值作为代表颜色，再对每个颜色区间查找参考图像中属于该颜色区间的像素点的位置分布并记录，记为，其中，；

S40：将步骤S30中得到的位置合集与步骤S20中得到的视觉显著性检测结果结合，查找每个像素点在显著性特征图中的权值；

S50：对每个颜色区间，将它所包含像素的显著性权值逐个相加，作为其整体的显著性颜色统计值，再根据值的大小对所有的从高至低排序，取前N个颜色区间的代表颜色作为参考图像的颜色直方图特征；

S60：以对抗函数包括对抗损失和色度损失的生成对抗网络为基础建立色彩传递模型，所述生成对抗网络包括生成器和判别器，其中，对抗损失用于计算参考图像的数据分布和生成的着色图像的数据分布之间的距离，所述色度损失用于衡量参考图像和生成的着色图像在颜色和结构上的差异，所述对抗损失和色度损失满足如公式（1）中所示的计算公式：

（1）

其中，代表权重超参数，用于设定色度的权值；

所述对抗损失记为，其包含了生成器损失和判别器损失，可由公式（2）-（4）计算得到：

（2）

（3）

（4）

其中，为输入灰度图像，为参考图像，为颜色直方图特征，为分布函数的期望值，为生成数据的分布，为真实数据的分布，为生成器的输出，为判别器的输出；

色度损失的公式如（5）中所示：

（5）

其中，为L1范数；

所述色彩传递模型的建立步骤包括：

S61：将步骤S10中获取的未着色图像和步骤S50中得到的颜色直方图特征分别作为训练数据集和条件特征输入生成器中，所述生成器进行特征提取和着色图像的生成；其中，所述的生成器采用包括上采样路径和下采样路径的U-Net结构，所述生成器包括瓶颈层、上采样路径和下采样路径，所述瓶颈层包括若干个残差模块，所述下采样路径包括一个下采样卷积模块和X组交替的下采样模块和全局上下文模块，所述上采样路径包括X组上采样模块和一个上采样卷积模块，所述上采样模块包括一个卷积层、一个残差模块和一个PixelShuffle层，所述上采样卷积模块包括Tanh激活函数、卷积层和Leaky ReLU激活函数；

S62：将步骤S10中获取的参考图像和步骤S61中生成器生成的着色图像输入鉴别器中，进行真假鉴别，以完成对生成对抗网络的训练；

S63：将训练结束后的生成器作为色彩传递模型；

S70：使用若干灰度图像或线稿图像作为测试图像测试步骤S60中得到的色彩传递模型的着色效果，测试通过后输出所述色彩传递模型，将待着色图像与所述颜色直方图一同输入所述色彩传递模型，得到着色后的彩色图像。