[发明专利]图像处理装置和图像处理方法

说明书

如果满足预定条件，则融合处理单元32使用由成像单元21‑H生成的并且具有比高质量图像更广视角的广视角图像，基于由成像单元21‑H生成的高质量图像来执行翘曲，并且在使具有比广视角图像更高图像质量的高质量图像和经翘曲的广视角图像的图像交叠区域的位置匹配的情况下生成融合图像。如果不满足预定条件，则融合处理单元基于融合确定信息，使用高质量图像基于广视角图像执行翘曲，并且在使经翘曲的高质量图像和未翘曲的广视角图像的图像交叠区域的位置匹配的情况下生成融合图像。使用具有不同视角和分辨率的多个拍摄图像，可以生成具有广视角和高质量的拍摄图像而不降低图像质量。

技术领域

本技术涉及图像处理装置和图像处理方法，并且使得能够使用分别具有不同视角和分辨率的拍摄图像来生成具有广视角和高分辨率的拍摄图像而不降低图像质量。

背景技术

在诸如信息处理终端(例如，智能电话)的常规便携式电子装置中，由于尺寸减小和变薄，与单镜头反光相机等相比，其成像单元的图像质量下降。因此，例如，专利文献1公开了下述内容：设置多个成像单元并且同时生成具有不同图像质量的多个图像，例如具有第一视角的图像以及具有比第一视角窄的第二视角的图像。

引用列表

专利文献

专利文献1：日本专利申请公开第2013-219525号

发明内容

本发明要解决的问题

与此同时，不可能仅通过如专利文献1中那样设置多个成像单元来获取超过成像单元的性能的拍摄图像。

因此，本技术旨在提供下述图像处理装置和图像处理方法，所述图像处理装置和图像处理方法能够使用分别具有不同视角和图像质量的多个拍摄图像来生成具有广视角和高图像质量的拍摄图像而不降低图像质量。问题的解决方案

本技术的第一个方面在于

一种图像处理装置，包括：

融合处理单元，其执行高质量图像基准融合处理，在该高质量图像基准融合处理中，以高质量图像为基准对具有比高质量图像更低图像质量和更广视角的广视角图像执行翘曲，并且通过将高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。

在本技术中，融合处理单元执行高质量图像基准融合处理。融合处理单元以高质量图像为基准对具有比高质量图像更低图像质量和更广视角的广视角图像执行翘曲。基于关于高质量图像和广视角图像的视差信息来执行翘曲，并且通过使用关于图像交叠区域的视差信息，对关于广视角图像中的未包括在高质量图像中的图像非交叠区域的视差信息进行插值。此外，融合处理单元通过将具有比广视角图像更高图像质量的高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。

此外，基于确定单元的确定结果，融合处理单元在满足预定条件的情况下执行高质量图像基准融合处理，并且在不满足预定条件的情况下执行广视角图像基准融合处理。在广视角图像基准融合处理中，通过使用高质量图像来执行以广视角图像为基准的翘曲，并且通过将翘曲之后的高质量图像和未执行翘曲的广视角图像的图像交叠区域的位置相互匹配来生成融合图像。

例如，确定单元将被摄体距离长于确定阈值设置为预定条件，该被摄体距离是基于位于广视角图像中的未包括在高质量图像中的图像非交叠区域中的被摄体的视差信息确定的。此外，例如，确定单元将图像交叠区域中的从与图像非交叠区域的边界起预定范围内的图像区域的平均亮度之间的亮度差等于或小于确定阈值设置为预定条件。

此外，融合处理单元执行窄视角融合处理。融合处理单元通过使用广视角图像以高质量图像为基准来执行翘曲，并且通过使高质量图像和翘曲之后的广视角图像的图像交叠区域的位置相互匹配来生成具有高质量图像的视角的融合图像。