[发明专利]图像处理装置及图像处理方法

说明书

技术领域

本发明涉及用于通过进行图像处理来校正由于成像光学系统导致的失真像差的失真像差校正机制。此外，本发明涉及包括模糊校正机制的图像处理装置，该模糊校正机构用于校正由于摄像装置的移动而导致在图像传感器上形成的图像的模糊。

背景技术

日本特开第2005-252626号公报讨论了包括如下功能的图像处理装置。该图像处理装置包括用于通过进行图像处理来校正成像光学系统固有的失真像差的功能。此外，图像处理装置包括能够校正由于拍摄图像时摄像装置的移动而引起的被摄体图像的模糊的模糊校正功能（即电子图像稳定功能）。

当对发生了成像光学系统固有的失真像差的图像进行用于减少失真像差的图像处理时，在图像中发生广角失真。在平面被摄体的图像中发生的广角失真不明显。然而，在立体被摄体的图像中发生的广角失真明显。特别地，当通过将包括变焦功能的成像光学系统的图像角度设置为广角来拍摄图像时，在图像中发生大量失真像差。因此，当校正失真像差时发生的广角失真也变大。

当发生广角失真时，画面的周边部分的被摄体在画面的图像高度方向上被拉长。在这种情况下，尤其当针对人脸发生广角失真时，图像给用户强烈的奇怪感。

图7A是例示失真像差被较好地校正了的图像的示意图。如图7A所示，在直线上形成的平面形状看起来是正常的。然而，广角失真倾向于发生在画面的周边部分的诸如人脸的立体被摄体上，使得图像给用户奇怪感。图7B是例示保留有桶型失真像差的图像的示意图。如图7B所示，在直线上形成的平面形状失真，使得图像给用户奇怪感。然而，在画面的周边部分的诸如人脸的立体被摄体在图像中看起来相对正常。因此，当发生大量失真像差时，通过以留下少量失真的方式的校正能够获得具有比较满意的在直线上形成的平面形状以及比较满意的广角失真的图像。

另一方面，作为图像稳定处理的电子图像稳定处理减少了由于摄像装置的抖动而引起的图像的模糊。电子图像稳定处理根据摄像装置的抖动使从图像中要实际输出（即，记录或显示）的剪切区域偏移，从而减少图像的模糊。

然而，当拍摄运动图像时，如果通过使用来自图像传感器的输出而生成的图像中保留有失真像差，则剪切图像中包括的失真像差的状态根据要实际输出的剪切区域的位置的改变而改变。图8A、图8B以及图8C是例示各剪切区域中保留的失真像差的状态根据剪切区域的位置的改变而改变的示意图。更具体地，图8B和图8C例示了通过改变剪切位置而由图8A所示的图像生成的图像。因此，图8B和图8C所示的各图像中保留的失真像差的状态不同。结果，由于这种图像连续的运动图像中的剪切位置的改变，所以图像中保留的失真像差的不同变得明显。

此外，如果被摄体的亮度低，则可以如下进行合成方法。进行多次摄像以获得多个图像数据，并且从获得的多个图像数据的各个中检测同一被摄体。然后，调整多个图像数据的位置，使得包括在多个图像数据的各个中的同一被摄体的位置相互匹配，并且合成多个图像数据。

在这种情况下，如果同一被摄体在图像传感器上的位置在多个图像间不同，则被摄体中保留的失真像差的状态也在多个图像间不同。图9A、图9B、图9C及图9D是例示由于被摄体在图像传感器上的位置的偏移而引起的、在根据被摄体而被剪切的各图像中保留的失真像差的状态在多个图像间的改变的图。更具体地，图9B和图9C例示了由图9A所示的图像生成的剪切位置不同的图像。在这种情况下，各图像中保留的失真像差的状态不同。因此，如果合成这种图像，则即使在被摄体相同时，也生成了不同形状的被摄体图像被合成的图像。结果，在图像中被摄体变得模糊。

发明内容

根据本发明的一方面，提供了一种图像处理装置，该图像处理装置包括：校正单元，其被配置为对发生了失真像差的图像数据进行失真像差校正；以及稳定单元，其被配置为基于当生成了所述图像数据时摄像单元的移动，进行从所述图像数据中剪切部分图像数据的图像稳定处理，其中，与进行所述图像稳定处理的情况相比，在不进行所述图像稳定处理的情况下，所述校正单元减少所述失真像差校正的量。

根据本发明的另一方面，提供了一种图像处理装置，该图像处理装置包括：失真像差校正单元，其被配置为对由于成像光学系统而发生了失真像差的多个图像数据进行失真像差校正；以及合成单元，其被配置为基于所述多个图像数据的各个中包括的被摄体的位置，进行用于通过调整所述多个图像数据的位置来合成所述多个图像数据的合成处理，其中，与进行所述合成处理的情况相比，在不进行所述合成处理的情况下，所述失真像差校正单元减少所述失真像差校正的量。