[发明专利]图像处理设备、摄像设备和图像处理方法

说明书

技术领域

本发明涉及一种图像处理设备、摄像设备和图像处理方法，尤其涉及使用图像恢复处理的图像校正技术。

背景技术

通过利用摄像设备拍摄被摄体所获得的图像的图像质量特别是由于光学摄像系统的像差而劣化。例如，图像的模糊表示由于光学摄像系统的球面像差、彗星像差、像场弯曲和像散等而引起的图像质量劣化。通过忽略作为光波的特性的衍射的影响，来自被摄体的一点的光束由不具有像差的光学摄像系统会聚于摄像面上相同大小的一点(聚光点)。然而，除了衍射的影响以外，该聚光点实际还由于光学摄像系统的像差而扩散。

光学摄像系统的点扩散函数(PSF)表示聚光点附近的强度分布、即由于光学摄像系统的衍射和像差而引起的图像的模糊，因此被称为模糊成分。该模糊成分不表示由于离焦状态而引起的模糊，而表示即使在聚焦状态下也由光的衍射和光学摄像系统的像差所引起的模糊。

由于光学摄像系统的轴上色像差、彩色球面像差和彩色彗星像差而引起的彩色图像的色边(color fringing)可能是由与光的波长相对应的模糊程度的变化所造成的。由于光学系统的倍率色像差而引起的横方向上的颜色偏差可以表示由于与光的波长相对应的摄像倍率的变化而引起的位置不对准或相位偏移。

通过对点扩散函数(PSF)进行傅立叶变换所获得的光学传递函数(OTF)用作像差的频率成分信息，并且由复数来表示。将光学传递函数(OTF)的绝对值、即振幅成分称为MTF(调制传递函数)，并且将相位成分称为PTF(相位传递函数)。MTF和PTF是由于像差而引起的图像劣化的振幅成分和相位成分的频率特性。通过以下将相位成分PTF表示为相位角。

PTF=tan^-1(Im(OTF)/Re(OTF))                ...(1)

其中，Re(OTF)和Im(OTF)分别表示光学传递函数的实部和虚部。

如上所述，由于光学摄像系统的光学传递函数使图像的振幅成分和相位成分这两者都劣化，因此与发生彗星像差的情况相同，被摄体图像的各点相对于聚光点不对称地模糊。

倍率色像差表示成像位置由于依赖于光的波长的成像倍率的变化而偏移的现象。图像传感器通常设置有RGB颜色马赛克滤波器，并且各像素用于获得R、G和B颜色成分的其中一个。除了R波长、G波长和B波长之间成像位置的不对准以外，在所获得的各颜色成分内发生针对各波长的成像位置的不对准、即由于相位偏移而引起的图像的扩散。尽管倍率色像差无法准确表示由于简单的平行移位所引起的颜色偏差，但除非另外说明，在本说明书中将颜色偏差和倍率色像差用作同义词。

已知有被称为图像恢复方法或图像复原方法的如下方法，其中该方法用于使用光学摄像系统的光学传递函数的信息来校正振幅成分(MTF)和相位成分(PTF)的劣化。因此，以下将用于使用光学摄像系统的光学传递函数的信息来校正图像的劣化的处理称为图像恢复处理。

现在将说明图像恢复处理的概述。设g(x,y)是劣化图像，f(x,y)是原始图像，并且h(x,y)是通过对光学摄像系统的光学传递函数进行逆傅立叶变换所获得的点扩散函数。因而，

g(x,y)=h(x,y)*f(x,y)                ...(2)

其中，运算符“*”表示卷积并且(x,y)表示图像上的坐标。

对等式(2)进行傅立叶变换以获得二维频率面上的显示形式，从而得出如由以下所表示的各频率的积的形式。

G(u,v)=H(u,v)·F(u,v)                ...(3)

其中，H表示通过对点扩散函数进行傅立叶变换所获得的光学传递函数，并且(u,v)表示二维频率面上的坐标、即频率。

为了根据所拍摄的劣化图像获得原始图像，如由以下所示，仅需将等式(3)的两边除以H。

G(u,v)/H(u,v)=F(u,v)                 ...(4)

通过对F(u,v)进行逆傅立叶变换以返回至实面来获得原始图像f(x,y)作为恢复图像。

设以上等式中的1/H是已经过了逆傅立叶变换的R。然后，如由以下所示，可以通过对实面上的图像执行卷积处理来获得原始图像。

g(x,y)*R(x,y)=f(x,y)                 ...(5)