[发明专利]图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质

说明书

技术领域

本发明涉及图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质。

背景技术

作为对图像进行合成从而实现高分辨率的技术，例如已知有如下方法：使图像传感器沿与光轴垂直的方向移动来拍摄多个图像，并且对这些图像进行合成。公开有如下技术：在使用该方法来取得高分辨率的图像的情况下，对在被摄体进行移动的区域中产生的多重像等伪影进行抑制(例如参照专利文献1。)。

在该技术中，对多个图像间的相似度进行计算，并根据相似度来控制图像间的合成比。即，将所拍摄到的多个图像之中的1个作为基准图像，并将除此之外的图像作为参照图像，对基准图像与参照图像之间按照每个区域来计算差分，并根据差分值来判定两图像的相似度。然后，在相似度较高的区域中提高参照图像的合成比，在相似度较低的区域中提高基准图像的合成比，由此抑制了因被摄体的运动或位置偏移而导致的伪影的产生。

在先技术文献

专利文献

专利文献1：日本特开2011-199786号公报

发明内容

发明所要解决的课题

低亮度的运动体区域的差分值和非运动体区域的差分值有时会因噪声的影响而成为相同程度。在该情况下，若通过基于差分值的合成比控制而控制为利用低亮度的运动体区域的差分值使得基准图像的合成比变高，则在非运动体区域中基准图像的合成比也会升高，从而无法获得提高分辨率的效果。

相反地，若利用低亮度的运动体区域的差分值控制为使得合成多个图像后的高分辨率图像的合成比提高，则虽然在非运动体区域中获得了提高分辨率的效果，但是在低亮度的运动体区域中因运动体的影响而会产生伪影。因此，无法同时实现低亮度的运动体区域的伪影抑制和分辨率提高。

本发明鉴于上述事项而被做出，其目的在于提供能够同时实现伪影抑制和分辨率提高的图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质。

用于解决课题的手段

本发明的一个方式为图像处理装置，该图像处理装置具有：高分辨率合成部，其将利用摄像元件对被摄体按照时间序列进行拍摄而取得的基准图像和该基准图像以外的1个以上的参照图像在分辨率比这些图像高的高分辨率空间上进行合成而生成合成图像，在该摄像元件中，在每个像素上排列有多种滤色器；位置偏移分布计算部，其在由通过该高分辨率合成部生成的合成图像的与不同种类的滤色器对应的像素分别构成的2个比较图像间计算位置偏移的分布；相关量计算部，其按照每个像素，根据由该位置偏移分布计算部计算出的位置偏移的分布来计算2个所述比较图像的相关量；以及图像修正部，其根据由该相关量计算部计算出的相关量来对所述合成图像进行修正。

根据本方式，当被输入通过对被摄体按照时间序列拍摄而取得的基准图像和1个以上的参照图像时，由高分辨率合成部生成分辨率比基准图像和参照图像高的合成图像。然后，在位置偏移分布计算部中，计算出由在合成图像中包含的与摄像元件的不同种类的滤色器对应的像素构成的2个比较图像间的位置偏移的分布，在相关量计算部中，按照每个像素，根据位置偏移的分布计算出2个比较图像的相关量，并根据计算出的相关量来修正合成图像。

即，与根据基准图像与参照图像中的每个区域的差分值来判定相似度的现有的图像处理装置不同，通过位置偏移的分布来求出2个比较图像的相关量，因此即使在像素值较小的情况下，也不会如差分值那样被噪声覆盖，能够可靠地计算出2个比较图像的相关量，能够取得抑制了因被摄体的运动或位置偏移而导致的伪影的产生的高分辨率的合成图像。

在上述方式中，也可以构成为，所述图像修正部利用基于由该相关量计算部计算出的相关量的合成比对所述合成图像与所述基准图像进行合成，从而对所述合成图像进行修正。

通过这样构成，由于在相关量较大的情况下被摄体的运动或位置偏移较小，因而在这种状态下合成也能够防止伪影的产生，因此通过提高合成图像的合成比而能够取得高分辨率的图像。另一方面，在相关量较低的情况下被摄体的运动或位置偏移较大，因而可以预测到如果在这种状态下进行合成则会产生伪影，因此通过提高基准图像的合成比而能够抑制伪影的产生。

此外，在上述方式中，也可以构成为，所述图像修正部利用基于由该相关量计算部计算出的相关量的合成比对使所述合成图像通过低通效应不同的滤波器后的2个图像进行合成，从而对所述合成图像进行修正。