[发明专利]生成全景图像的设备和方法

说明书

技术领域

本发明涉及计算机图像处理技术，具体涉及一种生成全景图像的 设备和方法，尤其是一种产生平面主导的场景的多视点的全景图像的 设备和方法。

背景技术

近年来，图像缝合技术无论在日常生活中还是商业中都得到了越 来越多的应用。例如，用户可以用相机拍摄下某一位置周围的局部的 图像，然后利用图像缝合技术将这些局部的图像缝合起来，形成该位 置的全景图像。或者，用手机上的摄像头拍摄下多幅小视场的画面， 然后利用图像缝合技术将这些图像缝合在一起，形成大视场的画面。

例如，非专利文献1(M.Shi，and J.Y.Zheng，A Slit Scanning Depth of Route Panorama from Stationary Blur，Proc.of CVPR，Vol.1，pp. 1047-1054，2005)提出以低速用高帧频的相机扫描场景，从每一帧中 提取窄条，然后通过将这些窄条简单地缝合在一起来形成最终的全景 图像。另外，还可以对窄条宽度进行调整，以部分地对付场景结构的 深度变化带来的不利影响。

非专利文献2(A.Agarwalal et al.，Photographing Long Scenes with Multi-Viewpoint Panoramas，Sigraph06，pp.853-86 1，2006)提出在像素 水平上，而并非在窄条水平上对图像进行缝合。例如，通过指定一些 在最终的多视点全景图像中要体现出的特征，利用马尔可夫随机场最 优化技术来基于这些特征从任意形状的图像区域形成全景图像。

非专利文献3(S.Kang，R.Szeliski，and M.Uyttendaele，Seamless Stitching using Multi-Perspective Plane Sweep，MSR-TR-2004-48)提出 了基于场景结构来缝合图像。例如，将一对图像中的重叠区域分割成 子区域，每个子区域被分配了各自的虚拟相机视角，然后针对每个子 区域使用平面扫描算法(plane sweep algorithm)来获得相似景深的映 射图，使得最终产生的全景图像的画面表现是一致的。

但是，上述非专利文献1提出的方法存在的问题是，构成的全景 图像随着景深的变化产生了畸变，虽然通过调整窄条的宽度可以消除 一些畸变，但是在景深沿着图像的垂直轴变化的情况下，产生的景深 畸变则很难消除。另外，对于普通的用户来说，获得高速的视频摄像 机也是很困难的。

另外，上述非专利文献2提出的方法存在的问题是，该方法只能 处理大致上平坦的场景，而且要由用户自己来确定画面中的平面场景。 在非专利文献2中，为了针对全景图像中的每个像素选择合适的视点， 需要很强的运算能力来执行最优化操作。

另外，上述非专利文献3提出的方法存在的问题是，相邻图像中 的直线在重叠区变成了曲线，为此，该方法只能在非重叠区对图像进 行拼接。

因此，由于无法采集到任一场景图像的精确景深数据，尤其在以 不同的角度拍摄的多个重叠物体的情况下，很难将图像精确地缝合在 一起。如何在没有诸如景深和场景结构之类先验知识的情况下，来缝 合多幅图像以形成全景图像，就成了一个非常困难的问题。

发明内容

鉴于上述问题，完成了本发明。本发明的目的是提供一种生成全 景图像的设备和方法，能够根据场景中的主导平面缝合图像来形成平 面主导场景的多视点以及高质量的全景图像。

在本发明的一个方面，提出了一种产生全景图像的方法，包括： 估计每个均包含至少一个平面的输入图像中的主导平面；基于输入图 像关于主导平面的位置关系将输入图像作变形处理，使输入图像之间 部分重叠；以及融合输入图像，产生全景图像。

在本发明的另一方面，提出了一种产生全景图像的设备，包括： 估计装置，用于估计每个均包含至少一个平面的输入图像中的主导平 面；变形装置，基于输入图像关于主导平面的位置关系将输入图像变 形，以使输入图像之间部分重叠；以及融合装置，融合所述输入图像， 以产生全景图像。

利用本发明的上述设备和方法，可以在不需要先验知识的情况下， 根据场景中的主导平面来缝合图像，进而形成多视点的全景图像。

另外，本发明通过不同图像中相应特征的聚类来确定不同的平面， 从而解决了要估计景深的问题，并且可以估计不同平面对象的运动。