[发明专利]图像处理装置及控制方法

说明书

技术领域

本发明涉及图像处理装置及控制方法，尤其涉及一种通过合成多个曝光不同的图像来扩展色调范围的动态范围扩展技术。

背景技术

近年来，诸如数字照相机和数字摄像机的一些摄像装置具有如下动态范围扩展功能：其通过合成多个曝光不同的图像(通过使用不同的曝光时间来拍摄被摄体的图像来获得这些图像)来获得色调范围得到扩展的图像。

在动态范围扩展功能中使用的动态范围扩展技术(即所谓的HDR(High Dynamic Range，高动态范围)图像生成技术)的基本概念如下。

●由曝光时间比曝光过度图像短的拍摄图像的图像元素，补偿曝光过度图像中的过曝高亮(blown-out highlight)区域的图像元素。

●由曝光时间比曝光不足图像长的拍摄图像的图像元素，补偿该曝光不足图像中的阴影细节丢失(shadow-detail loss)区域的图像元素。

以此方式，能够扩展图像的色调范围，而不引起任何的阴影细节丢失或过曝高亮。更具体地说，通过执行处理(例如替换为曝光不同的图像或适当曝光的图像的图像元素、或者对处理中使用的所有图像进行加权平均)来生成色调范围得到扩展的待生成图像(HDR图像)的各图像元素。请注意，由于曝光不同的图像因不同的曝光时间而具有不同的色调等级，因此，在对这些图像进行正规化后，通过加权平均处理等来合成这些图像。

通过这种动态范围扩展技术来生成HDR图像，需要通过具有不同曝光等级的多个摄像操作获得的多个待合成图像。然而，当被摄体包括运动物体时，待合成图像具有不同的运动物体区域，从而在通过合成待合成图像而获得的HDR图像中出现图像不连续问题。

更具体地说，当被摄体包括运动物体时，通过合成由多个摄像操作获得的图像而得到的HDR图像遇到与图像不连续相关的如下问题。例如，如图2所示，当假定在曝光过度图像200中运动物体区域201包括过曝高亮区域202的情况时，产生以下问题。

1.当使用在与过曝高亮区域202相同的位置的区域中不包括运动物体的曝光不足图像220的图像元素替换图像元素时，在HDR图像230的运动物体区域中生成可见背景的透明区域231(透明化)。

2.当使用在与过曝高亮区域202相同的位置的区域中存在运动物体、但其位置不同的曝光不足图像220的图像元素替换图像元素时，运动物体表面的纹理图案在对应区域232的边界处变得不连续。

3.与图2中不同，当曝光过度图像在背景区域中包括过曝高亮区域时，并且当在曝光不足图像中在该区域的遮蔽位置处存在运动物体时，通过将过曝高亮区域的图像元素替换为曝光不足图像的图像元素、就好像存在运动物体的多个图像，来合成图像(残像)。

不仅图像元素替换处理、而且利用半色调范围中的多个图像的加权平均的合成处理也会像进行传统的图像合成处理时产生的问题那样，引起诸如运动物体周围的多重边缘、以及相加的运动物体区域中的图案混合等的图像不连续。

为了避免在包括运动物体时由HDR图像生成处理输出的合成图像中的图像不连续，公开了用于在HDR图像生成处理中动态控制图像合成的技术。

日本特开2002-101347号公报公开了以下技术。即，当使用两个图像(即曝光不足图像和曝光过度图像)生成HDR图像时，基于正规化图像的色调等级之间的差分来指定可能出现图像不连续的区域，并且在该区域中禁止替换为曝光不足图像。

日本特开平10-243288号公报公开了以下技术。即，在利用半色调范围中的多个图像的加权平均的合成处理中，进行控制，以在合成处理中不使用待合成图像之间的运动物体的运动向量等于或大于阈值的图像，从而避免了多重边缘和图案混合。

然而，上述日本特开2002-101347号公报的方法是在假设用曝光不足图像替换曝光过度图像中的、色调等级等于或大于阈值的区域(过曝高亮区域)的图像的情况下提出的，并且该方法没有考虑曝光不足图像包括阴影细节丢失区域的任何情况。也就是说，上述日本特开2002-101347号公报的技术消除了过曝高亮区域中的图像不连续，但是无法同时消除过曝高亮区域、半色调区域以及阴影细节丢失区域所有这些区域中的图像不连续。

由于日本特开2002-101347号公报的方法仅仅假设了要合成两个曝光不同的图像的情况，因此该方法不适用于三个或更多个图像的合成。