[发明专利]图像处理设备和图像处理方法

说明书

本申请是申请日为“2009年11月26日”、国家申请号为“200980149785.6”、发明名称为“图像处理设备和图像处理方法以及数据处理设备和数据处理方法”的分案申请。

技术领域

本发明涉及对劣化了的所拍摄图像进行校正的图像处理设备和图像处理方法以及数据处理设备和数据处理方法。

背景技术

已知存在以下的图像恢复处理：该图像恢复处理用于在诸如数字静止照相机等的摄像设备所拍摄到的图像发生例如由像差所引起的劣化时，恢复无任何劣化的图像。作为图像恢复算法，已知存在通过点扩散函数(PSF)来表现图像劣化特性并基于该PSF恢复无任何劣化的图像的方法。

日本特开昭62-127976公开了通过具有PSF的逆特性的滤波处理来校正模糊的发明。此外，日本特开2004-205802公开了根据PSF生成维纳(Wiener)滤波器并且使用维纳滤波器来恢复劣化图像的发明。此外，日本特开2000-020691公开了使用摄像设备的特性信息来获得高质量恢复图像的发明。

图像恢复的原理

设(x,y)是帧上的位置坐标，o(x,y)是无任何劣化的图像(以下称为被摄体图像)，z(x,y)是由于离焦、像差和照相机抖动等而劣化了的图像(以下称为劣化图像)，并且p(x,y)是由于模糊而扩散了的点的信息PSF。这三种信息满足等式(1)。

z(x,y)＝o(x,y)*p(x,y)…(1)

在等式(1)中，符号“*”表示卷积运算。因此，可以将等式(1)重写为通过等式(2)所表示的积分公式。

z(x,y)＝∫∫o(x,y)p(x-x′,y-y′)dx′dy′…(2)

如以下的等式(3)所示计算将等式(2)变换到空间频率(u,v)域上的傅立叶变换。

Z(u,v)＝O(u,v)·P(u,v)...(3)

其中，Z(u,v)是z(x,y)的频谱，

O(u,v)是o(x,y)的频谱，以及

P(u,v)是p(x,y)的频谱。

注意，P(u,v)是作为相当于PSF的二维傅立叶变换的光学传递函数(OTF)的绝对值的调制传递函数(MTF)。

如果除劣化图像z(x,y)以外、还可以利用任意方法检测作为PSF的p(x,y)，则可以通过计算它们的频谱并使用通过对等式(3)进行变形所获得的等式(4)来计算被摄体图像的频谱O(u,v)。然后，通过计算利用等式(4)所计算出的频谱的逆傅立叶变换，可以获得被摄体图像o(x,y)。

O(u,v)＝Z(u,v)/P(u,v)...(4)

注意，1/P(u,v)被称为逆滤波器。

劣化的MTF经常包括值为0的频率。MTF值为0表示存在由于劣化而未被传递(信息丢失)的频率成分。如果存在MTF值为0的频率，则不能完全恢复被摄体图像。因此，MTF的逆滤波器经常包括滤波器系数无穷大的频率，并且在该频率处被摄体图像的频谱值不定。

为了防止逆滤波器系数无穷大，图像恢复经常使用通过等式(5)所表示的维纳滤波器。

P(u,v)/{|P(u,v)|²+c}...(5)

其中，c是值非常小的常数。

为了根据劣化图像恢复被摄体图像，期望获取到精确的PSF(或OTF、MTF)。

众所周知，PSF根据像高、变焦、光圈和被摄体位置而变化。因此，提出了根据这些摄像信息来计算PSF并将该PSF反馈至恢复处理的方法。例如，日本特开平4-088765根据被摄体距离估计PSF，并且在恢复图像劣化时使用该PSF。由于特别关注以下的事实，日本特开2000-020691通过校正使用闪光灯时的PSF来执行恢复处理：在使用闪光灯的情况下的快门打开期间，被摄体的亮度变化大并且不同于在不使用闪光灯(亮度变化均匀)的情况下的快门打开期间的PSF。

在各种参考文献中公开了恢复处理方法。然而，实际上，这些参考文献从未公开用什么保持恢复滤波器的数据、要保持何种信息、如何保持该数据以及如何使用该数据创建恢复滤波器。特别地，这些讨论均未涉及使用可互换摄像镜头的单镜头反光照相机，并且未考虑摄像镜头和照相机本体的多种组合。