[发明专利]图像处理设备及方法

说明书

本发明涉及一种能够使得使用多视点图像的服务的可用性得到提高的图像处理设备及方法。包括虚拟成像图像产生器，其通过使用多视点图像数据、表示多视点图像中距对象的距离的深度数据以及包括重现虚拟光学系统的光学效果的参数的配置信息，并且使用虚拟光学系统对多视点图像中的对象进行成像来产生虚拟成像图像。本发明例如可以用于图像处理设备中。

技术领域

本公开涉及图像处理设备及方法，并且具体地涉及可以提高使用多视点图像的服务的便利性的图像处理设备及方法。

背景技术

通过使用具有不同视点的多个图像测量距测量目标(摄影对象)的距离的技术是已知的。例如，已经提出了使用被称为立体匹配(例如，参照专利文献1)的技术的距离计算方法。

此外，通过使用这样的立体匹配技术，认为可以从由具有相互不同的视点的多个图像组成的多视点图像获得表示距所述多视点图像中的摄影对象的距离的深度数据，通过使用所述深度数据生成与多视点图像交叠的图像，并且向用户提供该图像。

引用列表

专利文献

专利文献1：JP 2011-171858A

发明内容

技术问题

然而，作为使用这样的多视点图像的服务期望进一步提高便利性。

本公开通过考虑这样的情况被执行，并且可以提高使用多视点图像的服务的便利性。

问题的解决方案

根据本技术的图像处理设备，包括：虚拟拍摄图像生成单元，所述虚拟拍摄图像生成单元通过使用多视点图像数据、表示了所述多视点图像中距摄影对象的距离的深度数据、以及包括通过虚拟光学系统重现光学效果的参数的配置信息来生成通过使用所述虚拟光学系统拍摄所述多视点图像的所述摄影对象而获得的虚拟拍摄图像。

虚拟拍摄图像生成单元可以基于所述多视点图像通过所述配置信息生成指定数目的插值图像，并且通过使用所述多视点图像和所述插值图像生成所述虚拟拍摄图像。

虚拟拍摄图像生成单元可以根据表示了所述多视点图像的每个视点的相对位置关系的序列信息、表示了所述多视点图像的视点数目的眼数信息、以及所述深度数据来生成所述插值图像。

序列信息可以包括表示了从用作参考的视点至每个视点的距离的信息以及表示了每个视点相对于所述用作参考的视点的取向的信息。

虚拟拍摄图像生成单元可以基于所述序列信息和所述眼数信息确定用作参考的图像、匹配轴、以及插值方法。

虚拟拍摄图像生成单元可以通过使用所确定的用作参考的图像以及所述匹配轴，根据所述深度数据交叠由所述插值方法指定的图像来生成所述插值图像。

虚拟拍摄图像生成单元可以根据待生成的插值图像的位置确定每幅交叠图像的混合比。

虚拟拍摄图像生成单元可以通过交叠所述多视点图像与所述插值图像来生成所述虚拟拍摄图像。

配置信息可以包括：包括在所述虚拟光学系统中的虚拟透镜的PSF数据，表示了包括在所述虚拟光学系统中的虚拟光圈形状的光圈形状信息，以及表示了所述插值图像的数目的插值图像数目信息。

在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得与所述深度数据对应的所述虚拟透镜的PSF数据得到反映。

在交叠所述多视点图像与所述插值图像时，所述虚拟拍摄图像生成单元使得通过所述光圈形状信息表示的所述虚拟光圈形状被反映在所述多视点图像和所述插值图像中。

虚拟拍摄图像生成单元可以根据作为与由用户指定的所述虚拟光学系统有关的参数的用户指定参数来生成所述虚拟拍摄图像。