[发明专利]图像处理方法、图像处理装置和图像拾取装置

说明书

技术领域

本发明涉及用于执行图像恢复处理以校正（减小）由图像拾取装置产生的图像的劣化的图像处理技术。

背景技术

由诸如数字照相机之类的图像拾取装置产生的捕获图像包括模糊分量，所述模糊分量是由图像捕获光学系统（在下文中被简称为“光学系统”）的诸如球面像差、慧形像差、像场弯曲和散光之类的各种像差引起的图像劣化分量。这样的模糊分量被生成是因为从对象的一个点发射的光通量在图像传感器的图像拾取表面上形成具有一些发散度的图像，而在没有像差或衍射的情况下所述光通量通常汇聚到一个点。

这里的模糊分量在光学上被表达为点分布函数（PSF），并与由散焦引起的模糊不同。此外，由于光学系统的纵向色差、色球差（chromatic spherical aberration）或色慧差（chromatic comatic aberration）生成的彩色图像中的颜色模糊可以被认为是各颜色波长的模糊程度之间的差。此外，由光学系统的倍率色差引起的横向颜色偏移可以被认为是由于对各光波长的图像捕获倍率的差异而引起的位置偏移或相位偏移。

点分布函数（PSF）的傅里叶变换提供了示出关于像差的频率分量信息并通过复数来表达的光学传递函数（OTF）。该光学传递函数（OTF）的绝对值（即幅值分量）被称为调制传递函数（MTF），而相位分量被称为相位传递函数（PTF）。MTF和PTF分别表示由于像差引起的图像劣化的幅值分量和相位分量的频率特性。在以下的描述中，相位分量通过以下表达式被表达为相位角度，其中Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。

PTF=tan^-1[Im(OTF)/Re(OTF)]

如上所述，光学系统的光学传递函数（OTF）对图像的幅值分量和相位分量产生了劣化，使得在对象的各点处劣化图像包括类似慧形像差的非对称模糊。

作为用于在劣化图像（输入图像）中校正这样的幅值分量（MTF）的劣化和相位分量（PTF）的劣化的方法，已知使用与光学系统的光学传递函数（OTF）有关的信息的方法。该方法被称为“图像恢复”或“图像复原”，并且在下文中，通过使用与光学系统的光学传递函数（OTF）有关的信息来校正劣化图像的处理被称为“图像恢复处理”。作为图像恢复处理中的一种，已知一种卷积方法，该卷积方法执行具有光学传递函数的逆特性的图像恢复滤波器对真实空间（real space）中的输入图像的卷积。

为了有效地执行图像恢复处理，需要获取更准确的光学系统的OTF。例如，与光学系统的设计值有关的信息使得能够计算OTF。此外，对点光源的捕获图像中的强度分布执行傅里叶变换使得能够计算OTF。

除了设计并制造成具有极其高性能的光学系统的OTF之外的普通光学系统的OTF取决于图像高度（输入图像中的位置）而明显变化。因此，为了对输入图像高度精确地执行图像恢复处理，需要使用基于OTF取决于图像高度的变化而产生的图像恢复滤波器。为了根据图像高度来改变图像恢复特性，希望随着真实空间中图像恢复滤波器的变化来执行图像恢复处理。

日本专利特开No.2007-183842公开了一种图像处理方法，该方法使用控制参数来控制图像恢复的程度，从而连续地改变图像恢复的程度。

然而，取决于光学系统中的透镜的特性或图像捕获条件，可能出现在图像传感器的奈奎斯特频带中MTF落到零或接近零的情况。在下文中，MTF落到零或接近零被称为“零落入”，零落入发生的频率在下文中被称为“零落入频率”。

零落入由像差或衍射而导致。此外，零落入还由使用图像拾取装置的用户的手抖动而导致。图12A示出了零落入的例子，其中横轴表示空间频率，纵轴表示MTF。在图中由向下的箭头指示的频率处发生零落入，该频率是零落入频率。

通常用于图像恢复处理的维纳（Wiener）滤波器提供了图12B所示的图像恢复滤波器的频率特性（恢复增益特性）的绝对值，其中横轴表示空间频率，纵轴表示恢复增益。将在之后对维纳滤波器进行详细描述。

在图12B中，在相比于由向下的箭头指示的频率的低频率侧频带中获得放大，而在相比于该频率的高频侧频带中获得低通滤波器效果。该恢复增益特性提供了具有图12C所示的真实空间中轮廓（滤波器中各位置（抽头）的系数）的图像恢复滤波器。使用这种图像恢复滤波器的图像恢复处理在输入图像中的高频细节中产生模糊。