[发明专利]一种基于联合显著性的色盲图像重新着色方法及系统

权利要求书

1.一种基于联合显著性的色盲图像重新着色方法，其特征在于，包括以下步骤：

根据图像检索技术，检索到内容相似的图像；

对检索到的图像进行色盲模拟；

使用联合显著性检测对色盲模拟图像与原始图像进行显著性检测；

分析检测结果，挑选最佳参考图像；

使用基于参考图像的图像着色技术对灰度图进行重新着色；

其中，所述联合显著性检测包括：

使用BING的方法在图像中提取256个对象建议窗口；

为了更加广泛的考虑信息,使用K-means对对象建议窗口进行分类,根据公式计算图像间的一致性；

通过打分的形式对提取到的特征进行筛选，采用贝叶斯框架对图内对比度与组内对比度一致性来计算联合显著性得分；

为得到清晰的边界，将对象建议窗口的联合显著分数转化为像素级别的显著图，根据前景区域协议FRA,分别应用于图像内与图像间两个阶段,对于图内FRA,将图像进行超像素化，使用图像分类的池化方法，单个像素的联合显著性分数等于计算对象建议窗口内所有像素的联合显著性得分和；

对于中图间 FRA的像素，计算与之相邻像素特征的欧几里得距离，从而得到最为相似的像素；

根据图像间超像素的一致性，将图像间与图像内的显著性结点相结合，得到图像组内的显著性图。

2.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述图像检索技术包括：

人类视觉系统对颜色，方向和强度信息更加敏感,在HSV空间量化特征，将H,S和V颜色通道统一量化为6、3和3个bin；

经过量化后的V，表示强度信息；

使用强度信息检测边缘图像以及Sobel 算子检测图像的边缘信息,均匀量化后，得到图像的边缘方向图；

由于HSV空间的形状可以模拟为圆柱坐标系，在HSV空间内定义颜色体积用来描述显著性特征；

为进一步有效表示特征，将三维坐标转换到二维坐标系下，定义某点的颜色体积；

将三维坐标与二维坐标信息相结合，使用高斯金字塔信息表示模拟中心-周围感受野；

经过中心环绕后得到特征图,使用二维Gabor函数进行建模，对模型使用Gabor能量，挑选合适的方向检测显著结构并描述图像特征；

将检索到图像的特征与目标图像进行对比，筛选与目标图像相似的图像。

3.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述色盲图像模拟包括：

将RGB颜色空间转换到LMS空间；

将LMS空间转换到λ，Y-B，R-G空间；

在λ，Y-B，R-G空间对颜色进行调整，实现色盲图像模拟。

4.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，所述分析检测结果包括：

均方误差根（RMSE），预测值与真实值的误差平方根的均值；

平均绝对误差（MAE），计算模型输出的显著图与真实显著图之间的平均绝对误差；

由于PR曲线的查准率（Precision）跟查全率（Recall）不能全面的评估显著性图片,使用查全率和查准率在非负权重下的加权调和平均值F度量值(F-measure)进行评估。

5.如权利要求1所述的一种基于联合显著性的色盲图像重新着色方法，其特征是，灰度图像着色包括：

对参考图像进行亮度重映射，使得其与目标图像的亮度值尽可能相似，然后再进行区域匹配；

为使得匹配更加准确，在亮度特征相似的两个图像子区域中，利用局部纹理LBP完成整个匹配过程；

根据参考图像以及目标图像的亮度特征以及LBP纹理特征，从而得到彩色参考图像R与目标灰度图像T之间的相似度；

得到图像之间的相似度之后，根据目标图像与参考图像之间的相似性对目标灰度图像进行着色；

当目标图像与参考图像之间不存在相似关系的时，使用端对端的网络，对灰度图像进行着色,对于色度分支，将相似关系作为网络的输入，输出着色后的结果；

对网络输出的结果与地面真实色度值进行损失计算，使得着色后图像效果更加真实；

对于在参考图像中找不到相似区域的部分，采用感知损失函数(Perceptual loss)进行训练。