[发明专利]图像拼接方法与设备

说明书

技术领域

本发明涉及一种图像拼接技术，具体涉及一种图像拼接方法和设备。

背景技术

将在不同角度或位置拍摄的图像无缝地拼接起来，形成一幅高分辨率全景图的技术称为图像拼接。图像拼接技术研究是计算机视觉研究的一个重要领域。该技术有着广泛的用途，例如卫星图像或航拍图像的合成、全景虚拟场景的建立、照片编辑等。随着该领域技术的进步，图像拼接已经进入到人们的日常生活，例如在数字相机中，全景图合成已经成为了一项数字相机的功能。

视频拼接是一种特殊的图像拼接技术。视频拼接的目的是合成来自不同视频源的视频图像，得到一个高分辨率的广角视频。随着电子工业的飞速发展，大尺寸显示器迅速进入到人们的日常生活。随之而来的一个问题是如何获取越来越高分辨率的视频数据。由于有了大尺寸显示器，人们希望在一个视窗上看到的内容越来越丰富。这就导致了要求视频的视野要足够大，从而产生大尺度广角视频的需求。面对这些需求，视频拼接技术是一个可能的解决方案。通过视频拼接，可以将单个较低分辨率的视频合成高分辨率广角视频。在视频监控领域，如果能够提供大规模的视野覆盖，将极大提高监控系统的效率。在一些面积比较大的地方，如大型超级市场、街道、大型建筑物内部，都需要这种具备大尺度视野覆盖的视频采集装置。这同样需要视频拼接技术的支持。此外，在视频会议中，人们习惯看到的是类似人眼范围的广角视频。这也需要视频拼接提供相应的技术。

图像拼接将来自多个视点的源图像进行合成。经过合成后的图像就像在一个视点拍摄的一样。因此，图像拼接技术首先需要确定源图像之间的几何位置关系。根据几何关系，拼接算法就能确定源图像的像素在合成图像中的位置。一般来说，在合成图像中，由于源图像之间可能存在重叠，所以要将重叠部分进行单独处理以保证合成图像的像素具有视觉的一致性。图像拼接的一个基本问题是计算源图像之间的几何位置关系。然而，精确的几何关系计算需要知道景物的三维信息。从图像中恢复三维信息是一个病态问题，不能获得一个准确且稳定的解。所以，在图像拼接中，几何位置关系计算往往采用近似计算，比如将景物近似为一个平面。由于采用近似计算，图像重叠部分就会出现视差。其直接结果就是在合成图像上，两个源图像在接缝位置出现不一致的情况，进而导致合成图像中出现一条明显的拼缝。更为严重的是，在合成图像中，接缝附近物体可能出现重复或者缺失。这种严重的视觉不一致的情况被称为鬼影效应。一个好的图像拼接算法就是要尽可能地消除鬼影效应以及明显的拼缝。

视频拼接在原理上可以直接使用图像拼接技术。其基本做法是采用图像拼接技术逐帧合成图像。然而，一般来说，高质量的图像拼接算法往往采用高精度的几何计算方法。这些方法比较耗时，很难达到实时效果，只能用于离线的视频拼接应用。因此，视频拼接算法的另一个问题是如何提供一种既快又具有较高拼接质量的方法。

概括来说，图像拼接的步骤是首先确定一个合适的数学模型来描述图像之间的几何关系，即确定一副图像到另一幅图像的坐标的变换。根据这个数学模型，采用参数估计方法实现对模型参数的估计。根据估计到的模型参数，将源图像变换到合成图像的坐标上去。在合成图像坐标，相邻的源图像之间的重叠区域要无缝地混叠起来。这种混叠要能够处理视差、镜头变形、场景运动、曝光差别等。文献1(Richard Szeliski.Image Alignment and Stitching：A Tutorial.Foundations and Trends in Computer Vision，Vol.2，No.1，pp.1-104，2006)对图像拼接算法提供了一个完整的综述。除了采用参数模型来描述图像之间的几何关系外，也可以采用光流来描述图像之间的几何关系，参见文献2(J.Shade，S.Gortler，L.-W.He，and R.Szeliski.Layered depth images.ACM Trans.Graph.，pages 231-242，1998)。具体来说，就是建立相邻图像之间像素级的对应。由于光流计算结果精度不高且不稳定，因此需要通过分层的方式来约束计算结果并实现图像拼接，参见文献3(Ke Colin Zheng，Sing Bing Kang，Michael F.Cohen，Richard Szeliski，″Layered Depth Panoramas，″cvpr，pp.1-8，2007IEEE Conference on Computer Vision and Pattern Recognition，2007)。