[发明专利]图像传感器的去马赛克方法及装置

说明书

技术领域

本发明涉及图像信号处理领域，特别是涉及一种基于以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的去马赛克方法及装置。

背景技术

Bayer格式的图像传感器在每个像素位置上只采样红绿蓝三原色中的一种。为了提升去马赛克后输出图像的分辨率，Bayer格式图像传感器在其2×2的最小采样周期的对角线位置上采样绿色。

某些应用要求成像设备能够同时提供被摄场景的RGB图像和红外图像，从降低成本的角度考虑，这就需要图像传感器在采样红绿蓝三原色的同时也采集红外光。在现有Bayer格式传感器基础上最简单的一种改进方法是将现有2×2最小采样周期对角线上的一个绿色滤镜换成红外滤镜。如图1所示，是一种改进型图像传感器。图2是这种改进型图像传感器对应的一个典型的量化响应曲线，横坐标是入射光波长，纵坐标是不同波长对应的量化效率。后续为了说明的方便，称这种改进型图像传感器为RGBIR传感器。

由于红外(Infrared Radiation，IR)通道和绿色通道对入射光的量化响应曲线形状存在极大差异，导致了对角线位置上绿色和红外的采样值一般也差异较大。而传统针对Bayer格式的去马赛克方法的处理流程一般是首先利用Bayer采样对角线上的两个绿色通道的相关性，内插出全分辨率的绿色通道，然后再基于局部色差一致性的假设，内插出全分辨率的红色和蓝色通道。不难看出，将一个绿色通道替换成了红外通道之后，四个通道的采样率一致，所以这种先内插高采样率的绿色通道的去马赛克方法显然不再适用于改进型的图像传感器。

虽然，将双线性(bilinear)、双三次(bicubic)等普通的内插方法分别作用于RGBIR传感器的四个通道可以完成RGBIR的去马赛克操作，输出四个全分辨率的图像。但是这类将每个通道独立内插的做法完全没有利用通道间的信息，去马赛克后输出图像的效果会存在分辨率低、亮色混叠严重等问题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种图像传感器的去马赛克方法及装置，其能够在保证输入例如RGBIR格式的RAW(原始)图像经过去马赛克操作后输出图像分辨率较高的同时抑制高频部分的亮色混叠现象，同时弱化了去马赛克输出图像常见的“网格”等人工痕迹。

为达上述及其它目的，本发明提出一种图像传感器的去马赛克方法，包括如下步骤：

步骤一，将以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；

步骤二，定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜的转换关系，并将步骤一中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；

步骤三，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号；

步骤四，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。

进一步地，步骤三中，亮度分量的去马赛克运算通过一个亮度滤波器和输入的RAW数据进行卷积运算从RAW数据中恢复出亮度信号或在3个色度分量都完成去马赛克运算之后由原始RAW数据和卷积得到的色度分量之和相减获得。

进一步地，所述亮度滤波器的参数预先设定或根据RAW图像中当前像素的局部特征动态调整。

进一步地，所述根据RAW图像中当前像素的局部特征动态调整包括如下方法：

先计算以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数；或者通过计算不同方向之间梯度差或比值并与预定义阈值比较，从而判断当前像素处于平坦区域还是边界区域或者是细节区域，若当前像素处于平坦区域，则选用对低频区域响应较好的亮度滤波器参数；若当前像素处于边界区域，则需要判断当前像素所在边界方向，并选用在此方向上响应较好的亮度滤波器参数；若当前像素处于细节区域时，则判断当前像素所在频段，并选用在该频段上响应较好的亮度滤波器参数。