[发明专利]生成装置和生成方法以及再现装置和再现方法

说明书

本公开涉及生成装置和生成方法以及再现装置和再现方法，利用上述装置和方法可以使使用全向图像生成的所有视线方向上的显示图像的图像质量接近相等。降分辨率单元使全向图像的分辨率降低。透视投影单元将映射到三维模型的全向图像投影到多个二维平面，从而生成多个图像。本公开可以应用于例如下述生成装置等，该生成装置等用于根据在六个方向上拍摄的图像生成全向图像并且生成该全向图像的低分辨率流和高分辨率流。

技术领域

本公开涉及生成装置、生成方法、再现装置以及再现方法。更具体地，本公开涉及用来使在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀的生成装置、生成方法、再现装置以及再现方法。

背景技术

一种再现全向图像的方法涉及将图像映射到3D模型以进行透视投影，从而在观看者的视线方向上的视野范围内生成并显示显示图像。全向图像是通过将水平方向上的360度的周围图像和竖直方向上的180度的周围图像映射到3D模型上而获得的。

该方法在生成显示图像时使用全向图像的仅一部分。例如，在水平方向上的视角为90度的情况下，在水平方向上仅使用整个全向图像的四分之一来生成显示图像。这以类似的方式适用于竖直方向。因此，用于生成显示图像的全向图像的区域相对于整个全向图像的比例较小。

然而，由于观看者的视线方向是由该观看者在再现时指定的，因此记录装置难以仅记录整个全向图像的将被用于生成显示图像的那部分。出于此原因，已经期望通过下述方式减小要从记录装置传送至再现装置的全向图像数据量：将整个全向图像记录在记录装置上，并且允许再现装置请求记录装置仅发送要被用于生成显示图像的图像区域。

因此，已经提出了下述内容：将全向图像划分成多个区域，其中每个区域被转成编码流，以使得仅将期望的划分区域的编码流从记录装置传送至再现装置(例如，参见专利文献1)。

还提出了下述内容：将低分辨率的整个全向图像与高分辨率的全向图像的被划分的且部分交叠的区域分开编码，并且将整个低分辨率全向图像的编码流和仅与观看者的视线方向对应的高分辨率全向图像的划分区域的编码流从记录装置传送至再现装置(例如，参见专利文献2)。

在前述情况下，记录装置仅需要传送高分辨率全向图像的划分区域之中用于生成显示图像的一个区域。与传送高分辨率全向图像的所有划分区域的情况相比，这转变为减少的传送数据量。在使用除了与所传送的编码流对应的高分辨率全向图像的划分区域以外的划分区域来生成显示图像的情况下，或者在观看者的视线方向突然改变的情况下，也可以使用低分辨率全向图像来生成显示图像。此外，在全向图像被划分为许多区域的情况下或者在跨越全向图像的边缘的区域被设定为划分区域的一部分的情况下，可以增大用于生成显示图像的高分辨率全向图像相对于整个全向图像的比例。

引用列表

专利文献

专利文献1

JP 2001-298652A

专利文献2

JP 2016-15705A

发明内容

技术问题

然而，在通过下述等距圆柱投影生成全向图像的情况下，全向图像的区域在球体上越接近极点(如地球仪的北极和南极)形状就越失真，所述等距圆柱投影涉及将水平方向上的360度的周围图像和竖直方向上的180 度的周围图像映射到球体上。例如，全向图像的矩形区域在被映射在球体上的极的附近时各自失真成扇形。

因此，高分辨率全向图像中的相同形状和相同大小的划分区域在透视投影平面上的形状或大小可以根据划分区域在全向图像中所处的位置而变化。因此，高分辨率全向图像的划分区域在显示图像中的比例可以根据实际的视线方向而不同。难以在所有视线方向上生成图像质量都接近均匀的显示图像。