[发明专利]一种低照度条件下含有近红外彩色图像颜色复原方法

说明书

本发明公开了一种低照度条件下含有近红外彩色图像颜色复原方法，是一种利用普通彩色CMOS/CCD在低照度条件下提高获取真彩色图像质量的方法。方法包括训练和复原过程，训练包括四个步骤：低照度条件下用CMOS/CCD分别在“热镜”打开和关闭拍摄得到含有和不含近红外的ColorChecker标准24色卡图像2幅；分别对图像进行降噪处理；分别求出图像中每一色块平均RGB值，得到含有和不含有近红外的RGB训练数据对；利用数据对，采用最小二乘方式得到从含有近红外到真彩色图像的变换矩阵。复原过程是应用时通过变换矩阵将含有近红外图像变换到真彩色图像。本发明只需要ColorChecker标准24色卡；不需要增加近红外辅助照明；是一种算法简单提高低照度条件下获取真彩色图像及视频质量方法。

技术领域

本发明提出一种低照度条件下含有近红外彩色图像颜色复原方法, 属于颜色与数字成像技术领域，是一种低照度条件下提高真彩色图像及视频质量的方法。

背景技术

在低照度下用CCD/CMOS捕获彩色图像一直是一个难题，对低照度环境下捕获的彩色图像降噪和去模糊是非常困难的^[1]。一般相机采用两种方法，一是采用可见光闪光灯，二是采用延长曝光时间。使用闪光灯会产生阴影和镜面反射影响颜色采集，长时间曝光会使拍摄图像中同时产生强噪声和运动模糊，对于采集视频图像将降低帧频。研究者提出许多复杂的图像去噪^[2]和去模糊方法^[3]，但难度较大，效果并不理想。在正常照明条件下，成像系统使用红外光截止滤光片（IR-cut filter，称“hot-mirror：热镜”）放置在传感器的前面除去近红外(NIR)。在低照度条件下，为了提高信噪比，一般移去“热镜”，并增加NIR辅助照明。由于NIR光源光谱完全不同于可见光光谱，夜间根本无法实现场景彩色真实获取，此时采用黑白模式。视频监控系统具有“白天/夜间”彩色/黑白切换模式。如何利用NIR波段提高低照度条件下真彩色图像质量成为重要研究内容。

2009年，英国剑桥大学Hertel团队研究了在夜间不同照明环境高动态范围条件下^[1]，去掉“热镜”获取含有NIR的彩色图像和灰度图像的颜色校正问题。去掉热镜后采集的彩色图像R'G'B'包含了NIR，必须从R'G'B'信号中消除NIR信号部分，他们原理上提出估计入射光中NIR部分。矩阵元素采用Macbeth色卡作为训练样本得到。实验结果表示，对于色卡和附近的颜色以及类似的照明条件下的颜色复原效果很好，但对于夜间照明光源下的不同物体，颜色复原效果较差，特别是对不是反射颜色，而是自发光的车灯颜色很差，其亮度可能远远超出设定的范围。2009和2011年，瑞士Susstrunk研究团队研究了在传统传感器阵列去掉“热镜”^[4]，增加一个滤掉可见光滤光片，两次连续拍摄同一场景的可见光和NIR图像，设计了一个去马赛克插值算法估计可见和NIR信息。用25个图像作为训练集来计算相关矩阵和相应的CFA和去马赛克矩阵，剩下图像用来测试获得的CFA和去马赛克矩阵的有效性。2013年，日本Takeuchi研究团队提出了用含有噪声的彩色图像和一种近红外辅助光源的NIR图像的合成彩色成像的方法^[5]。其方法是合成的彩色图像的亮度分量和色度分量使用不同的图像源估计。通过光谱估计方法从闪光图像估计亮度分量，从含噪声彩色图像去噪后估计色度分量。提出的方法优于单纯的彩色图像降噪，也优于已有的噪声彩色图像和近红外闪光拍摄的灰度图像。2015年，东京大学Sugimura团队提出了一种在极低光照条件下获取彩色图像序列的成像系统和方法^{[6, 7]}。系统分别同时采集近红外灰度图像（NIR）和可见光彩色图像（RGB）。RGB采用长曝光时间来获取足够的颜色信息，NIR采用短曝光时间获取场景结构信息。使用捕获的同景图像对，采取基于梯度和颜色相关的自适应平滑算法重建一个降噪、去模糊、清晰的彩色图像序列。