[发明专利]图像处理设备、方法和非暂时性计算机可读存储介质

说明书

用于生成虚拟视点图像的图像处理设备获取与拍摄用于生成虚拟视点图像的图像的照相机组的安装有关的信息和与虚拟视点有关的视点信息；基于与照相机组的安装有关的信息和视点信息来确定用于生成虚拟视点图像的图像处理方法；以及通过使用所确定的图像处理方法来生成与虚拟视点相对应的虚拟视点图像。

技术领域

本发明涉及通过使用来自多个照相机的拍摄图像来生成虚拟视点图像的图像处理设备和方法。

背景技术

近来，通过在不同位置处安装多个照相机来在多个视点进行同步摄像并通过使用从摄像获得的多个视点图像来生成虚拟视点内容的技术已经引起关注。从多个视点图像生成虚拟视点内容的这种技术使得能够例如从各个角度观看足球比赛或篮球比赛的精彩部分的场景拍摄。因此，与通常图像相比，用户可以享受逼真的感觉。通过使诸如服务器等的图像处理单元收集由多个照相机拍摄到的图像并进行诸如三维形状模型生成和绘制(rendering)等的处理来生成基于多个视点图像的虚拟视点内容。所生成的虚拟视点内容被发送到用户终端并由用户观看。

可以使用多种方法作为图像处理单元中的虚拟视点内容生成方法。例如，存在基于模型的绘制和基于图像的绘制等，其中在基于模型的绘制中，在生成三维模型时进行绘制，以及在基于图像的绘制中，在无需生成三维模型的情况下将由照相机拍摄到的图像布置在三维空间中。各种图像生成方法都具有其自身的图像质量和处理负荷特性。专利文献1公开如下：为了显示基于三维形状数据的运动图像，通过从多种绘制方法中选择能够基于资源量、三维形状数据量和帧频在一帧内进行处理的绘制方法来进行绘制。

现有技术文献

专利文献

专利文献1：日本特开2004-086508

发明内容

技术问题

通过使用相同图像生成方法所生成的虚拟视点图像的图像质量根据多个照相机的布置位置和虚拟视点的位置而改变。换句话说，可以以最高图像质量生成虚拟视点图像的图像生成方法将根据照相机布置和虚拟视点位置而改变。尽管在专利文献1中能够选择可以在一帧内进行处理的绘制方法，但是未确保所选择的结果是高图像质量方法。因此，不能稳定地生成具有高图像质量的虚拟视点图像。

根据本发明的实施例，提供了即使在虚拟视点的位置改变时也能够生成具有高图像质量的虚拟视点图像的图像生成设备和方法。

用于解决问题的方案

根据本发明的一个方面的图像处理设备包括以下布置。也就是说，提供一种图像处理设备，用于输出基于通过多个照相机从不同方向获得的多个拍摄图像的虚拟视点图像，包括：视点信息获得部件，用于获得指示指定虚拟视点的位置和方向的视点信息；确定部件，用于基于所述视点信息获得部件所获得的视点信息，从多个图像处理方法中确定要用于基于所述多个拍摄图像生成与所述虚拟视点相对应的虚拟视点图像的图像处理方法；以及输出部件，用于输出通过使用所述确定部件所确定的图像处理方法而生成的虚拟视点图像。

发明的效果

根据本发明，可以确定适合于基于虚拟视点来生成虚拟视点图像的图像生成方法。结果，即使当虚拟视点的位置已经改变时，也可以生成具有高图像质量的虚拟视点图像。

通以下参照附图所提供的描述，本发明的其它特征和优点将变得显而易见。注意，相同的附图标记表示附图中的相同或相似的组件。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的实施例，并与说明书一起用于说明本发明的原理。

图1是用于说明根据实施例的图像处理系统的框图；