[发明专利]图像处理设备和图像处理方法

说明书

使得可以立即显示用户的视野范围的图像。根据本发明，编码器针对用于全向图像的模型的多个表面之中的一对相对表面而对第一合成图像和第二合成图像进行编码，第一合成图像是通过对第一表面的高分辨率全向图像和第二表面的低分辨率全向图像进行合成而获得的，其中，所述低分辨率全向图像具有较低的分辨率，第二合成图像是通过对第二表面的高分辨率全向图像和第一表面的低分辨率全向图像进行合成而获得的。本公开内容可以应用于例如图像显示系统。

技术领域

本公开内容涉及一种图像处理设备和一种图像处理方法，更具体地，涉及能够立即显示用户的视野范围的图像的图像处理设备和图像处理方法。

背景技术

已知如下的一种记录设备，其根据多个相机在所有方向上捕获的捕获图像，生成通过将在水平方向上的360°范围的图像和在垂直方向上的180°的范围的图像映射为2D图像(平面图像)而获得的全向图像，并且对全向图像进行编码和记录(例如，参见专利文献1)。

在这样的记录设备中，作为生成全向图像的方法，使用执行从3D图像到2D图像的映射的方法(诸如等距圆柱投影或立方体映射)。当等距圆柱投影用作生成全向图像的方法时，全向图像是通过在球体上执行等距圆柱投影而获得的图像，其中，捕获图像被映射至球体的表面。另外，当立方体映射用作生成全向图像的方法时，全向图像是立方体的展开视图的图像，其中，捕获图像被映射至立方体的表面。

另一方面，已知如下的一种再现设备，其对由记录设备记录的全向图像的编码流进行解码，并且使用作为结果而获得的全向图像来显示用户的视野范围的图像。这样的再现设备将全向图像作为纹理(texture)附加到3D模型(例如，球体或立方体)的表面，并且当从3D模型中的一个点查看在用户的视线向量的方向上的3D模型的表面的纹理时，显示用户的视野范围的图像。因此，再现了用户的视野范围的捕获图像。

这种再现方法在计算机图形(CG)领域内被称为“环境光模型”。另外，将通过等距圆柱投影而生成的图像附加到球体表面的环境光模型被称为“球体模型”，并且将通过立方体映射而生成的图像附加到立方体表面的环境光模型被称为“立方体模型”。

可以仅使用全向图像中的与用户的视线向量相对应的区域来再现用户的视野范围的捕获图像。例如，当在水平方向上的视角是90°时，在水平方向上，在水平方向上的360°范围内的所有方向上的图像被映射至的全向图像的仅1/4用于再现用户的视野范围的捕获图像。这同样适用于垂直方向。

因此，对整个全向图像的编码流进行解码是非常浪费的。然而，由于视线向量是由用户决定的，因此记录设备无法仅对全向图像中的与视线向量相对应的区域进行编码。

另外，当根据一般编码方案(例如，动态图像专家组阶段2(MPEG2)或高级视频编码(AVC)H.264)来对全向图像进行编码时，使用整个画面的信息来执行编码。因此，难以根据全向图像被编码为一个图像的编码流来仅对与用户的视线向量相对应的区域的编码流进行解码。

在这点上，考虑了如下减少解码处理量的技术：通过记录设备对全向图像进行分割和编码，并且通过再现设备仅对与用户的视线向量相对应的分割区域的编码流进行解码(例如，参见专利文献2和专利文献3)。

引用列表

专利文献

专利文献1：JP2006-14174A

专利文献2：JP2001-298652A

专利文献3：JP2002-312778A

发明内容

技术问题