[发明专利]图像处理设备、图像处理方法和程序

说明书

技术领域

本公开涉及图像处理设备、图像处理方法和程序。特别地，本公开涉及生成宽动态范围的图像的图像处理设备、图像处理方法和程序。

背景技术

诸如CCD(电荷耦合器件)图像传感器或者互补金属氧化物半导体(CMOS)图像传感器之类的在摄像机或数字静态相机中使用的固体图像捕获元件累积与入射光的量相对应的电荷，并且执行光电转换，该光电转换输出与所累积的电荷相对应的电信号。然而，光电转换元件中累积的电荷量存在上限，并且当多于一定量的光被接收时，所累积的电荷的量达到饱和水平，使得在亮度大于一定值的拍摄对象区域中发生在饱和亮度水平处设定的所谓的突破高亮(blown out highlight)。

为了防止这种现象发生，执行以下处理：通过根据外部光的变化等等控制在光电转换元件中累积电荷的时段来调节曝光时间，并且还将灵敏度调节到最佳值。例如，对于明亮的对象，通过使用较快的快门速度来缩短曝光时间，从而缩短在光电转换元件中累积电荷的时段，并且在所累积的电荷的量达到饱和水平之前输出电信号。这种处理使得可以输出准确地再现对象的灰度级水平的图像。

然而，在对具有明亮区域和阴暗区域的混合体的对象捕获图像时，使用快的快门速度意味着曝光时间对于阴暗部分来说将是不足的，因此信噪比恶化并且图像质量恶化。为了准确地再现具有明亮区域和阴暗区域的混合体的对象的捕获图像中的明亮部分和阴暗部分的亮度水平，必须执行以下处理：对于入射光量为低的图像传感器像素增大曝光时间并且实现高的信噪比，并且避免入射光量为高的像素中的饱和。

作为用于实现这种处理的技术，已知一种连续捕获并且组合具有不同曝光时间的多个图像的技术。具体地，具有长曝光时间的图像和具有短曝光时间的图像被连续分别捕获。该技术通过执行组合处理来生成单个图像，该组合处理对于阴暗图像区域使用长曝光时间并且对于在长曝光时间图像中突破了高亮的明亮图像区域使用短曝光时间。以这种方式组合具有不同曝光的多个图像使得可以产生动态范围为宽并且没有突破高亮的图像，即宽动态范围图像(高动态范围(HDR)图像)。

例如，日本专利申请公开No.JP-A 2008-99158公开了一种通过组合具有不同曝光量的多个图像来产生宽动态范围图像的配置。将参考图1来说明该处理。图像捕获元件例如在捕获运动图像时在视频速率(30至60fps)内针对两个不同曝光时间输出图像数据。同样，在捕获静态图像时，也针对两个不同曝光时间来生成图像数据并输出该图像数据。图1是说明图像捕获元件生成的具有两个不同曝光时间的图像(长曝光时间图像、短曝光时间图像)的特性的示图。横轴是时间(t)，纵轴是构成与固体图像捕获元件的一个像素相对应的光电转换元件的光接收光电二极管(PD)中所累积的电荷(e)。

例如，在光接收光电二极管(PD)的光量很大(即，对应于明亮对象)的情况中，所累积的电荷随着时间的过去而迅速增大，如图1所示的高亮度区域11所示。相比之下，在光接收光电二极管(PD)的光量很小(即，对应于阴暗对象)的情况，所累积的电荷随着时间的过去而缓慢增大，如图1所示的低亮度区域12所示。

从t0到t3的时间等同于用于获取长曝光时间图像的曝光时间TL。低亮度区域12中所示的线示出，在甚至作为长曝光时间TL的时间t3处的累积电荷尚未达到饱和水平(非饱和点Py)，并且可以根据如下的像素灰度水平产生准确的灰度级表现：该像素灰度水平是利用基于累积电荷(Sa)产生的电信号而设定的。

然而，高亮度区域11中所示的线清楚地表明了，所累积的电荷在到达时间t3之前已经达到了饱和水平(饱和点Px)。因此，在高亮度区域11中，从长曝光时间图像只能产生与饱和水平的电信号相对应的像素值，结果产生突破了的像素。

因此，在高亮度区域11中，在到达时间t3之前，例如在图1所示的时间t1(电荷清扫起点P1)，所累积的电荷被从光接收光电二极管(PD)清扫一次。电荷清扫不是清除光接收光电二极管(PD)中全部的所累积电荷，而是将其向下清扫至由光电二极管(PD)控制的中间电压保持水平。在电荷清扫处理之后，光接收光电二极管(PD)被再一次短时间曝光，该短时间被定义为曝光时间TS(从t2到t3)。也就是说，在从短曝光时间起点P2到短曝光时间终点P3(均在图1中示出)的时段中，进行短时间曝光。通过该短时间曝光而产生所累积电荷(Sb)，并且利用基于所累积电荷(Sb)产生的电信号来设定像素的灰度水平。