[发明专利]图像处理装置及图像处理方法

说明书

技术领域

本发明涉及校正由于振动而出现的图像拍摄数据的模糊的图像处理装置及图像处理方法。

背景技术

在使用个人计算机时，数字图像容易地使得以超过100％的倍率被放大显示。在放大的图像中，即使是由最轻微的相机抖动导致的图像模糊，也将变得突出。由于这一原因，随着数字相机的图像拍摄设备赢得更高的分辨率，用于校正在摄像时出现的相机抖动的处理也受到了大量关注。

图像稳定方法包括通过硬件实现的方法和通过软件实现的方法。在硬件方法中，在相机上安装陀螺仪传感器，并且在曝光期间，基于来自陀螺仪传感器的输出信号，来驱动透镜和图像拍摄设备以抵消相机的振动，从而消除相机抖动的影响。在例如日本专利特开2002-214657号公报中，描述了借助于透镜光学系统的图像稳定方法。

硬件图像稳定方法造成了部件数量增加以及制造成本增加的问题。当要在不贵的数字相机中实现类似功能时，需要软件图像稳定方法。

在软件图像稳定方法中，已经提出了对通过短时间曝光获得的图像(以下称为“短时间曝光图像”)和通过长时间曝光获得的图像(以下称为“长时间曝光图像”)进行合成的方法(例如，日本专利特开2002-258351号公报)。此外，已经提出了获取多个短时间曝光图像并对这些图像进行合成的方法(例如，日本专利特开2006-74693号公报及日本专利特开2006-86762号公报)。

日本专利特开2002-258351号公报的方法使用短时间曝光图像来校正长时间曝光图像的高频成分，以修复图像模糊。日本专利特开2006-74693号公报的方法对通过时分曝光(time-division exposure)获得的多个短时间曝光图像进行对准，以便减小它们的差异，并且对这些图像进行合成，从而修复图像模糊。同样，日本专利特开2006-86762号公报的方法在将模糊校正后的多个图像的位置对准的同时对它们进行合成，从而修复图像模糊。

然而，日本专利特开2006-74693号公报及日本专利特开2006-86762号公报的方法遇到以下的问题。为了适当地修复图像模糊，根据短时间曝光图像的位移量对多个短时间曝光图像进行适当地合成。换句话说，适当的图像模糊修复处理需要对位移量的精确获取。因此，必须计算给定短时间曝光图像与在该图像之前或之后立即拍摄的短时间曝光图像之间的振动量。然而，用于精确计算振动量的处理以及用于与振动量相对应地对图像进行变形及合成的处理，需要非常高的计算成本，从而导致连拍速度下降并且能够缓冲的图像拍摄数据的数量减少。

发明内容

在本发明的一个方面中，提供一种图像处理装置，该图像处理装置包括：输入部，其被构造为输入由拍摄单元时分曝光的多个图像拍摄数据；划分器，其被构造为将所述多个图像拍摄数据划分为合成图像或运动检测图像；检测器，其被构造为由所述运动检测图像的图像拍摄数据，来检测所述拍摄单元在时分曝光时的运动量；合成器，其被构造为通过合成所述合成图像，来生成合成的图像拍摄数据；以及校正器，其被构造为基于指示所述划分器执行的划分的划分模式以及所述运动量，来校正所述合成的图像拍摄数据的振动。

在本发明的另一方面中，提供一种图像处理方法，该图像处理方法包括以下步骤：输入由拍摄单元时分曝光的多个图像拍摄数据；将所述多个图像拍摄数据划分为合成图像或运动检测图像；由所述运动检测图像的图像拍摄数据，来检测所述拍摄单元在时分曝光时的运动量；通过合成所述合成图像，来生成合成的图像拍摄数据；以及基于指示所述划分步骤中的划分的划分模式以及所述运动量，来校正所述合成的图像拍摄数据的振动。

根据这些方面，能够有效地校正由于振动而出现的图像拍摄数据的模糊。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A及图1B分别是数字相机的外观图及截面图。

图2是示出与数字相机的控制、摄像及图像处理相关联的结构的框图。

图3是用于说明通过编码曝光处理来校正图像模糊的处理的流程图。

图4是示出图像模糊的校正原理的概念图。

图5是用于说明PSF生成处理的流程图。

图6是示出一般旋转运动中的PSF的示例的图。

图7A及图7B是示出当在0≤t≤T的情况下h(t)＝1作为标准曝光条件并且对于其他情况h(t)＝0时PSF的形状及频率特性的图。

图8A及图8B是示出编码曝光后的PSF的形状及频率特性的图。