[发明专利]利用离散立方体全景图实时合成连续平滑全景视频的方法

说明书

技术领域

本发明属于计算机图形学和计算机视觉领域，特别是涉及一种利用离散的立方体全景图实时合成连续平滑全景视频的图像插值技术。

背景技术

随着图像拼接技术的发展和全景相机的诞生，越来越多的立方体全景图被应用到线上虚拟现实和漫游导航系统中。但是由于网络带宽限制，服务商只能提供在热点地区所拍摄的全景图，即离散全景图数据。现有的在线虚拟漫游系统通常只提供对单张全景图的浏览，相邻两张全景图间的过渡则利用某种形式的叠加实现，其效果呈现出明显的视觉不连续性。为了提高虚拟浏览的用户体验，可以使用视点插值的方法。然而，目前大多数视点插值方法（如文献^[1]）的处理对象为平面图像，不能直接应用到立方体全景图上。全景图的插值方法（如文献^[2]）虽然可获得较好的插值结果，但其步骤繁琐复杂，不易进行并行加速，而且在立方体全景图六个面的衔接处可能引入较明显的视觉错误。

上述的插值方法例如图像配准（见参考文献[1]），该插值方法由Siu和Lau在2005年提出利用图像配准的方法对平面图像进行插值，以生成新视点的平面图像。具体步骤是，首先对同一场景在不同视角下拍摄的三张输入图像进行特征点检测，并进行特征匹配；进而利用三焦点张量模型及随机抽样一致性(RANSAC)算法对匹配点进行过滤，基于相机物理模型估计三张输入图像的相机相对位置；基于匹配的特征点对图像做三角剖分，进而检测遮挡区域，在发生遮挡的区域内，改变特征点检测的阈值重新生成特征点，反复此过程以消除遮挡区域；对待插值的新视角，计算其与输入图像的单应矩阵，从而对图像进行插值。该方法对输入视图间的基线没有严格的要求，能很好地用于多视角的平面图像插值，然而不能直接应用于立方体全景图的插值。

立方体三角剖分方法（见文献[2]）是对Siu和Lau所提技术的扩展，由Zhang等于2011年提出，将其应用到立方体全景图插值上。该方法在获取相邻立方体全景图的特征匹配后，对立方体全景图进行三角剖分。由于立方体全景图包含上、下、左、右、前、后六个面，Zhang等人将立方体全景图的三角剖分划分为三部分：每个面的中间区域，水平四个面的相互衔接处，以及剩余部分（包含上下两个面及与水平四个面的衔接处），通过对这三类区域分别采取不同三角剖分策略，实现对整个立方体全景图的剖分。在利用单应矩阵对全景图进行插值时，该方法同样区分不同的区域，并对各区域应用不同的插值策略。由于分区域考虑，该算法较为繁琐，并且在立方体六个面的衔接处可能产生明显误差。

参考文献

[1].A.Siu and R.Lau,“Image registration for image-based rendering,”IEEE Transactions on Image Processing,vol.14,no.2,pp.241–252,Feb.2005.

[2].C.Zhang,Y.Zhao,and F.Wu,“Triangulation of cubic panorama for view synthesis,”Applied Optics,vol.50,no.22,pp.4286-4294,Aug2011.

发明内容

基于上述现有技术中在处理立方体全景图插值问题上的不足，本发明提出一种利用离散立方体全景图实时合成连续平滑全景视频的方法，将立方体全景图投影到球面域做处理的解决方案，设计在球面域对立方体全景图做三角网格剖分的方法，基于球面域的立方体全景图的预处理技术与立方体全景图的实时插值技术，实现立方体全景图的匹配、三角形网格化和全景图实时插值，在有限网络带宽环境下实时合成连续平滑、衔接自然的全景图视频序列。

本发明提出了一种利用离散立方体全景图实时合成连续平滑全景视频的方法，包括以下步骤：

步骤一、对作为输入的每两张连续的立方体全景图的每个面建立高斯差分金字塔，对金字塔上的每个像素，将它和金字塔同层的8个相邻像素以及金字塔上下两层对应的18个像素进行比较，检测它是否是极值点，将检测到的极值点作为预选的特征点；通过拟合3维2次曲线对特征点进行精确定位，即将空间尺度函数进行泰勒展开对该式求导，并令其为0得到特征点的精确位置再剔除低对比度和边缘响应的特征点；通过特征点邻域内像素的梯度信息确定特征点的主方向；根据特征点的位置、尺度、主方向信息在对应邻域内计算梯度直方图，作为特征点的128维的特征描述符；将立方体全景图六个面上检测到的特征点放到一起作为该图的特征点集，实现立方体全景图的SIFT特征点检测；