[发明专利]全景视频及图片的投影方法和反投影方法

说明书

本发明公开了一种全景视频及图片的投影和反投影方法，所述全景视频及图片的投影方法包括步骤：通过多面体向球面投影，将球面图像划分为多个表面；通过映射变换，分别建立球面图像各个表面与多面体的各个面之间的映射关系；分别将球面图像的各个表面中的像素投影到存在映射关系的多面体的面。所述全景视频及图片的反投影方法包括步骤：通过多面体图像向球面投影，将球面划分为多个表面；通过映射变换，分别建立多面体图像的各个面与球面各个表面之间的映射关系；分别将多面体图像各个面中的像素投影到存在映射关系的球面的表面。本发明通过对全景图像分割和多面体投影的方式，使得像素分布均匀，抑制全景图像投影所带来的图像质量的下降的问题。

技术领域

本发明涉及一种视频及图片的投影方法和反投影方法，尤其涉及一种全景视频及图片的投影方法和反投影方法。

背景技术

虚拟现实(Virtual Reality,简称VR)技术是当前最为热门的技术领域，特别是沉浸式虚拟现实(Immersive Virtual Reality)，使用者通过佩戴头盔显示器来进行人机交互，头盔会实时把使用者的头部位置信息反馈至主机，主机随后发送使用者视角方向的视频至显示器，使用者可以随意改变头部位置而获得不同视角的场景，宛如身临其境，达到高度的沉浸感。

在虚拟现实环境下的视频、图片浏览不同于传统的电视机、手机等二维平面屏幕浏览，由于使用者身处虚拟的三维环境下，使用者可以任意改变视角欣赏全景画面，在虚拟现实系统中，视频或图像浏览是全景的，人们是站在球心的位置，来欣赏贴在整个球面上的视频或图像。因此，如何更准确地将画面投影到球面上，以及如何将整个球面全景画面保存到二维平面上是虚拟现实环境下多媒体系统要解决的关键问题。

当前的全景视频、图片的投影方法主要来源于传统的全景图片投影方法，主要采用圆柱面投影方式建立球面-平面的投影，除此之外，另一个使用范围很少的全景投影方式是立方体投影。无论是圆柱面投影还是立方体投影，都是直接将整个全景图像中所有的图像像素直接投影至球面上，如图1所示，当将所有图像像素直接投影至球面上，球面上的像素分布存在疏密，都会导致球面像素的不均匀分布的问题。

图1中左侧是圆柱面投影，可以看见，在赤道附近像素分布稀疏，而在南北极附近，像素分布很密，在虚拟现实系统中，如果采用圆柱面投影，那么用户在平视的角度下，看到的图像单位面积像素偏少，而在仰视和俯视的情况下，看到的图像单位面积像素偏多。与圆柱面投影类似，图1中右侧是立方体投影下的球面像素分布情况，可见在靠近立方体面中心的位置像素分布稀疏，在靠近立方体顶点的位置，像素分布密集。

图1中的图像像素不均匀分布会产生如下问题：

1、全景图像质量下降

在像素分布稀疏的区域，图像质量明显下降；在像素分布密集的区域，由于像素过于密集，在纹理渲染时会造成像素重叠，也会导致图像质量下降。

2、数据冗余

由于像素分布的不均匀，图像、视频主观视觉效果往往由像素分布稀疏的区域所决定。为了提升视觉质量，需要满足稀疏区域最低分辨率要求，这样就造成在其他图像区域的数据冗余。数据冗余使得图像视频的数据量变大，在数据存储、数据网络传输上造成极大浪费。

目前对于上述图像像素不均匀分布的情况往往在对全景图像投影后的图像数据进行处理来消除图像像素分布不均匀。例如在全景图像通过圆柱面投影方式投影形成的球面图像后，对球面图像处理来调整球面图像中像素分布。但是这种处理方式需要增加了大量图像数据处理，在视频编码压缩或是视频解码中都会导致编解码效率的降低，所以不适用于高清视频或图片。

发明内容