[发明专利]图像处理装置及其控制方法

说明书

技术领域

本发明涉及一种根据多个低分辨率图像生成具有比该低分辨率图像更高的分辨率的高分辨率图像的图像处理装置及图像处理装置的控制方法。

背景技术

以往，公知有超分辨率技术，其为将低分辨率的图像转化为高分辨率的图像处理技术。作为超分辨率技术的一种，公知有多帧超分辨率技术。在多帧超分辨率技术中，使用与同一个对象相关的多张低分辨率图像来生成一张高分辨率图像。

更具体地说，使用逐次少量挪动拍摄对象等的位置之后拍摄获取的多个低分辨率图像来进行高分辨率化处理，由此,生成一张高分辨率图像。

该高分辨率化是以从多个低分辨率图像中选择的基准图像为基准进行的。具体地说，首先，以基准图像为基准，计算出多个低分辨率图像之间的位置偏移量，基于计算出的位置偏移量和各低分辨率图像的图像数据来进行高分辨率化处理。

在大多情况下，从依次读取的多个低分辨率图像中，选择第一张低分辨率图像来作为基准图像。然而，通过高分辨率化获得的高分辨率图像的内容（包含画质与构图）在很大程度上取决于基准图像。因此，从多个低分辨率图像中选择画质最佳的低分辨率图像的帧作为基准图像的情况下获得的高分辨率图像的结果，与从多个低分辨率图像中选择画质最差的低分辨率图像的帧作为基准图像的情况下获得的高分辨率图像的结果大为不同。

以下，使用图21A、图21B来具体地进行说明。图21A、图21B例示了使用三张低分辨率图像来生成一张高分辨率图像的情况。图21A示出了从三张低分辨率图像LP101、LP102以及LP103中选择画质最佳的低分辨率图像LP101作为基准图像的情况。在图21A所示的情况下，获得良好的高分辨率图像HP101。

另一方面，图21B示出了从三张低分辨率图像LP101、LP102以及LP103中选择画质最差的低分辨率图像LP103作为基准图像的情况。在图21B所示的情况下，得到的高分辨率图像HP102不清楚。

因此，以往提出有以下的提案：基于减少画面整体的模糊（Bokeh）量的多少来选择基准图像（专利文献1）。

此外，在超分辨率技术领域，除上述提案之外，还有以下提案：为了提升画质，计算出图像上的各区域的模糊量，针对每个区域利用与模糊量对应的参数来进行超分辨率处理（专利文献2）。

现有技术文献

专利文献

专利文献1：日本专利文献特开2009-194896号公报（2009年8月27日公开）；

专利文献2：日本专利文献特开2010-73074号公报（2010年4月2日公开）。

但是，即使以如上述的现有技术所述的方式以图像整体的模糊量的多少为基准来选择基准图像，有时也不能获得希望的高分辨率图像。以下，使用图22A、22B来具体地进行说明。

图22A、22B示出了图像整体的模糊量大致相同的两张图像。图22A示出了人物M100清晰而背景B100模糊不清的图像LP111。另外，图22B示出了人物M100模糊不清而背景B100清晰的图像LP112。

图像LP111与LP112是图像整体的模糊量大致相等的图像，但是当两者分别作为基准图像时，能够在超分辨率处理之后获得自然的高分辨率图像的是图像LP111。也就是说，与以图像LP112作为基准图像时相比，在以人物M100清晰的图像LP111作为基准图像时，更能够获得人物M100清晰的高分辨率图像。

因此，在现有技术中，存在以下问题：有时不能使用与对象区域对应的基准图像进行分辨率处理，从而不一定能够获得高分辨率图像。

发明内容

本发明是鉴于上述问题而提出的，其目的在于，提供一种在多帧超分辨率处理中，通过选择与对象区域对应的合适的基准图像能够实现高分辨率图像的画质提升的图像处理装置及图像处理装置的控制方法。

为了解决上述问题，本发明提供一种图像处理装置，其根据多个低分辨率图像生成具有比所述低分辨率图像更高的分辨率的高分辨率图像，其特征在于，具有：对象区域设定单元，其在多个低分辨率图像中的各个低分辨率图像中，设定作为应该关注的区域的对象区域；图像指标推断单元，其推断图像指标，所述图像指标表示在多个低分辨率图像中的各个低分辨率图像中设定的对象区域内的图像的性质；选择单元，其根据推断出的图像指标，从所述多个低分辨率图像中，选择作为用于生成所述高分辨率图像的基准的低分辨率图像。