[发明专利]具有多光谱滤光器阵列的相机系统及其图像处理方法

说明书

技术领域

本公开涉及一种具有多光谱滤光器阵列的相机系统及其图像处理方法。

背景技术

各种方法被用于提高数码相机(诸如闭路电视CCTV等)的图像感光度。作为最常用的方法，RGB传感器和红外截止滤光片(IRCF)被使用。在这种方法中，当白天存在大量的光时，IRCF和RGB传感器被用于防止溢散的光入射到RGB传感器，并用于提高图像的质量。此外，当存在少量的光时(诸如在夜间)，不使用IRCF，并且输出黑白图像以使入射到RGB传感器上的光的量最大，从而增加图像的信息量。然而，IRCF增加了彩色图像检测设备的生产成本。

作为提高图像感光度的另一方法，近红外(NIR)传感器和RGB传感器被使用而无需IRCF。在RGB传感器和NIR传感器中，滤色器被安装在与R、G和B相应的像素上，并且滤色器未被安装在与NIR相应的像素上，从而提高了传感器的感光度。

发明内容

技术问题

本发明的一个或更多个实施例包括一种能量存储系统和控制所述能量存储系统的方法，其中，所述能量存储系统能够稳定地向负载提供能量。

技术方案

本公开提供了一种在不使用单独的红外截止滤光片(IRCF)的相机系统中，考虑彩色通道和近红外(NIR)通道之间的相关性来对高分辨率通道进行插值的方法。

本公开还提供了一种在包括滤色器和NIR滤光器的相机系统中提供用于识别对象的图像的方法，而不管图像是在白天还是夜间被捕获的。

根据示例性实施例的一方面，提供了一种对从包括多光谱滤光器阵列的图像传感器输出的图像进行处理的方法，所述多光谱滤光器阵列包括滤色器和近红外(NIR)滤光器，所述方法包括：通过使用包括红色通道、绿色通道和蓝色通道的彩色通道的空间信息，对所述图像的NIR通道进行插值；通过使用NIR通道的空间信息，对所述图像的彩色通道进行插值。

所述方法还可包括：通过使用插值后的NIR通道的亮度信息，恢复插值后的彩色通道的色彩。

所述方法还可包括：将包括恢复后的彩色通道的彩色图像和包括插值后的NIR通道的NIR图像进行融合。

根据示例性实施例的另一方面，提供了一种具有多光谱滤光器阵列的相机系统，所述相机系统包括：图像传感器，包括多光谱滤光器阵列，其中，所述多光谱滤光器阵列包括滤色器和近红外(NIR)滤光器；NIR通道插值器，通过使用包括红色通道、绿色通道和蓝色通道的彩色通道的空间信息对从图像传感器输出的图像的NIR通道进行插值；彩色通道插值器，通过使用NIR通道的空间信息对所述图像的彩色通道中的每个彩色通道进行插值。

NIR通道插值器可包括：第一分析器，针对插值像素分析相邻的彩色像素之间的彩色通道值的变化趋势以及相邻的NIR像素之间的NIR通道值的变化趋势，其中，所述插值像素是彩色像素中的一个像素；第一插值器，基于彩色通道值的变化趋势和NIR通道值的变化趋势来确定所述插值像素的NIR通道值。

NIR通道插值器可包括：第二插值器，基于噪声特性和构成所述图像的像素的边缘信息的局部特性来对插值后的NIR通道的噪声特性和局部特性进行修正。

彩色通道插值器可包括：第二分析器，针对插值像素分析相邻的彩色像素之间的彩色通道值的变化趋势以及相邻的NIR像素之间的NIR通道值的变化趋势，其中，所述插值像素是NIR像素和除了进行插值的彩色通道之外的彩色通道的彩色像素中的一个像素；第三插值器，基于彩色通道值的变化趋势和NIR通道值的变化趋势来确定所述插值像素的彩色通道值并执行初始插值。

彩色通道插值器还可包括：第四插值器，通过使用插值后的NIR通道的边缘信息和细节信息来更新执行了初始插值的彩色通道的边缘信息和细节信息。

所述相机系统还可包括：色彩恢复器，通过使用插值后的NIR通道的亮度信息来恢复插值后的彩色通道的色彩。

色彩恢复器可包括：第三插值器，分析插值后的彩色通道的色彩和插值后的NIR通道的亮度之间的相关性；通道权重计算器，基于所述相关性来确定每个各个彩色通道的权重；减法器，通过使用各个彩色通道的权重来去除包括在彩色通道中的每个通道中的NIR分量，以产生恢复后的彩色通道。

恢复色彩的步骤可以基于逐像素被执行。

所述相机系统还可包括：图像融合器，将包括恢复后的彩色通道的彩色图像和包括插值后的NIR通道的NIR图像进行融合。