[发明专利]一种正交色彩传递网络及方法

说明书

本发明涉及一种正交色彩传递网络及方法，该网络由预训练的前端网络和可训练的后端网络组成，前端网络根据EMCCD图像的纹理和语义将像素点分散到不同的特征通道上，后端网络根据各特征图内像素点的编码统计特征进行色彩传递。本发明经大量图像验证具有一定普适性，在不同场景和照度下均取得较自然的色彩效果。

技术领域

本发明涉及图像处理领域，尤其是一种正交色彩传递网络及方法。

背景技术

电子倍增电荷耦合器件(EMCCD)是具有电子倍增放大特性的高灵敏度固态成像器件，响应波段涵盖可见光和近红外(NIR)波段。真彩色图像能有效提高观察人员对场景的感知能力、降低目标识别的错误率。EMCCD一方面采用红(R)、绿(G)、蓝(B)滤光获得彩色，另一方面通过R、G、B滤光通道在近红外波段具有高透过率(即R+NIR、G+NIR、B+NIR)获得低照度下的高灵敏度。然而，近红外成分的引入会导致彩色图像产生颜色失真，由此涌现了众多的颜色失真校正方法。

色彩传递最初用于校正彩色图像由于光照、天气原因引起的偏色，根据颜色鲜艳、亮度高的参考图像的色彩统计量调整偏色源图像的色彩统计量，使之获得与参考图像类似的色貌。色彩传递由Erik Reinhard等人提出，主要分为三个步骤：

(1)颜色空间变换，将参考图像和源图像均从RGB空间变换到Ruderman等人提出的lαβ正交空间，l、α、β分量的相关性弱，调整其中一个分量时不影响其它两个分量；

(2)对源图像和参考图像像素点在lαβ空间进行分簇，匹配统计距离最接近的源图像和参考图像像素簇；

(3)将源图像像素簇的色彩统计量(均值和方差)调整为匹配的参考图像像素簇的色彩统计量。

Alexander Toet首次将色彩传递用于夜视图像，提出了基于色彩传递的可见光(400～700nm)、近红外(700～900nm)和中波红外(3～5μm)图像彩色融合方法，并利用主成分分析对多通道图像降维、空间金字塔技术对亮度通道进行细节增强。后续的研究大都围绕色彩传递的三个步骤进行改进：聚簇方面，Gupta等人提出超像素分割方法；像素簇匹配方面，Pierre等人提出耦合全变分模型；色彩统计量调整方面，Dong Wang等人提出L₀范数约束，但是赋色效果的提升是以耗时的循环迭代计算为代价。近年来，得益于并行计算的发展，具有高效特征提取能力的深度学习和卷积神经网络为色彩传递注入了新的活力。Mingming He等人利用预训练的VGG网络提取源图像和参考图像的金字塔特征，在不同的特征层次对源图像与参考图像的特征按块进行最近邻匹配，得到粗估计的赋色引导图，再进行局部色彩传递将引导图的色彩传递到源图像上，最终得到了接近真实的彩色效果。

然而，EMCCD彩色滤光片引入近红外成分依旧会导致的颜色失真和颜色分布压缩问题。为了解决上述问题，以及抽象出更为普适的针对两种颜色空间转换关系建立的参数化模型，有必要对方法进行优化。

发明内容

本发明针对EMCCD彩色滤光片引入近红外成分导致的颜色失真和颜色分布压缩问题，以及更为广泛的颜色空间转换的问题，提出一种正交色彩传递网络及其构建方法。

本发明通过约束已配准的源图像和参考图像在标准正交颜色空间中具有相同的坐标表示，推导了广义的色彩传递模型；通过卷积神经网络引入特征维度，改善因偏色和颜色分布压缩导致的一对多颜色映射问题。在广义色彩传递模型的指导下，利用全连接网络融合深度特征编码信息，设计出一种端到端的色彩传递网络，该网络在训练阶段需要与源图像配准的参考图像，测试时不需要参考图像。

本发明的技术方案具体如下：

一种正交色彩传递网络，所述网络将源图像和参考图像均转换到标准正交颜色空间内进行色彩传递；