[发明专利]图像处理装置、信号处理方法以及程序

说明书

技术领域

本发明涉及一种图像处理装置、信号处理方法以及程序。更具体地说，本发明涉及一种生成抑制了用相机拍摄的图像中产生的闪烁的图像的图像处理装置、信号处理方法和程序。

背景技术

当在荧光灯的照明下用包括地址扫描类型成像设备(例如互补金属氧化物半导体(CMOS)成像设备)的相机拍摄图像时，在图片信号中产生条带形式的亮度不均匀性或颜色不均匀性。这种现象被称为闪烁。这源于连接到商用(AC)电源的荧光灯基本上以电源频率两倍的周期重复闪烁的事实，以及成像设备的工作原理。

参照图1，描述如何在用CMOS图像传感器拍摄的图像中产生闪烁的原理。图1示出以下多个数据。

(a)荧光灯的亮度变化

(b)CMOS图像传感器的成像(曝光)顺序的示意图

(c)CMOS图像的读出时间

(d)输出图像的概念性说明

在图1中，时间(t)从左到右逝去。

假设荧光灯正在50Hz商用电源区域中操作。在此情况下，荧光灯以100Hz(电源频率(50Hz)的两倍)的频率重复闪烁。(a)中示出的精确曲线指示荧光灯的亮度变化。以100Hz(即以1/100秒的周期为单位)产生亮度变化。

在这种照明环境下，用具有卷帘快门(rolling shutter)的CMOS图像传感器以每秒60帧的帧速率拍摄图像。随着时间的逝去在每一拍摄的帧中从顶行朝向底行依次执行曝光处理。

在(b)所示的CMOS图像传感器的成像的示意图中，虚对角线是指示图像传感器的重置时机的线，实对角线是指示读出时机的线。在虚线指示的重置之后开始曝光，并且直到实线指示的读出时机的时段是曝光时间。通过卷帘快门从在帧的顶部的扫描线朝向在底部的扫描线执行曝光。

由两条相邻实对角线定界的区域指示图像传感器的一个帧。在每一虚线和实线夹住的曝光时间内，产生与照明的亮度变化对应的亮度变化。也就是说，因为曝光时机对于构成图像帧的行中的每一个不同(这是由于具有亮度变化的光源的影响)，所以产生水平条带形式的不均匀性或所谓的闪烁，如图1中的(d)输出图像表示的那样。

图1中的(d)输出图像指示四个连续拍摄的图像，帧#1至帧#4，它们是构成以每秒60帧(60fps)的帧速率拍摄的运动图像的图像帧#1至#4。

帧#3中示出顶部p、中部q和底部r。其被示出以用于显示地指示与(b)所示的CMOS图像传感器的成像的示意图中的曝光时机p、q和r对应的位置。

帧#3的顶部是在荧光灯的亮度为亮期间经受曝光的行部分。

帧#3的中部q是在荧光灯的亮度为从暗时段改变为亮时段期间经受曝光的行部分。

帧#3的底部r是在荧光灯的亮度为暗期间经受曝光的行部分。

因为如上所述荧光灯亮度在每一行(Row)的曝光时段中不一致，所以产生基于亮度不均匀性或颜色不均匀性的条带图案。

应该注意，典型成像设备具有这样的配置：例如，针对构成成像设备的像素中的每一个，有选择地输入光的RGB频率中的一个。例如，作为这种RGB布置，拜耳(Bayer)布置是已知的。例如，当用具有Bayer布置等的彩色图像传感器执行成像时，由于荧光灯的荧光体的衰变特性，闪烁的影响程度对于每一颜色信号(颜色通道)不同，以及由于幅度和相位方面的差别，产生颜色不均匀性。

例如专利文献1(日本待审专利申请No.2007-174537)是公开用于防止或抑制这种闪烁的相关技术。专利文献1(日本待审专利申请公开No.2007-174537)公开了一种处理，其通过设置电子快门等控制成像设备的曝光时间，由此调整单个拍摄图像的每一行的曝光时间，以减少行之间的亮度差。然而，该技术存在的问题是对成像设备的曝光时间施加约束，使得无法根据拍摄环境以任意方式设置电子快门，导致拍摄的自由程度的降低。

此外，为了避免上述问题，专利文献2(日本待审专利申请公开No.2005-347939)提出了一种配置，其对通过拍摄处理获得的图像信号执行校正处理，以由此抑制图片信号内荧光灯闪烁的影响。

在该专利文献2(日本待审专利申请公开No.2005-347939)中，通过正弦波对荧光灯的光照波形(闪烁波形)进行近似建模，然后根据该近似模型通过改变对用相机拍摄的图像信号进行校正处理时使用的校正增益来执行校正处理。通过该校正处理，根据荧光灯的光照波形(闪烁波形)来校正图像信号，由此实现抑制拍摄的图像中的行之间的亮度差的配置。