[发明专利]抗字幕干扰的图像无缝自动拼接方法

说明书

技术领域

本发明属于计算机视觉图像处理技术领域，特别是涉及一种抗字幕干扰的全自动视频图像无缝拼接技术。

背景技术

图像自动拼接技术在遥感勘测，军事侦察，航天探索(如月球,火星表面影像拼接)、360°全景影像生成以及无人机遥感影像自动拼接等领域有着广泛的需求和应用。传统的影像拼接过程一旦存在旋转，比例、光照变换等干扰因素往往需要人工参与，费时费力，精度不高，难以实现自动化。特别是在军事领域中往往无GPS可用，相机姿态，位置都无法准确获知，迫切需要一种无控制点及相机姿态的实时视频图像自动拼接方法。

图像拼接就是将多幅相互间存在重叠部分的图像序列进行空间匹配对准，经采样融合后形成一幅包含各图像序列信息的、宽视角场景的、完整的、高清晰的新图像的过程。目前图像的拼接的研究工作已经成为一个需求热点。很多传统的配准拼接方法，都存在拼接精度差，效率低，自动化程度低等弊病，有的需要飞机或者相机的姿态和GPS信息或者地面控制点的绝对坐标，这在很多情况下是难以提供的，例如在战时根本无法得到GPS信息、航拍未知地域(如火星表面)控制点的信息难以获知，有的难以对抗旋转，比例变化和光照的干扰影响。因此对于遥感勘探或者军事侦察工作者而言，迫切需要一种考虑旋转、比例和光照变化的快速视频图像自动拼接方法。

并且，有很多视频在播放过程中会存在字幕，而这些字幕通常会在一些比较固定的区域出现（如图像的正下方）。字幕的存在会对RANSAC匹配算法造成很大的影响，因此需要在匹配前排除掉字幕区域的sift特征。

因此，自动视频图像拼接主要涉及以下4方面技术：

1.图像特征点自动提取，必须对于各种类型的图像，都能稳定有效的提取到特征点，不依赖于图像旋转、大小，分辨率，光照及色彩饱和度的变化。

2.被拼接图像或视频帧之间同名特征点的自动匹配，这个过程必须快速稳健。

3.字幕区域的特征滤除。

4.快速融合技术。

灰度图像sift特征的方法[LOWE D G,Distinctive image features from scale-invariant key points[J].International journal of Computer vision,2004 60(2):91-110]通过在图像多尺度空间金字塔中寻找极值点确定较为稳定的尺度不变的特征点位置；通过统计梯度方向直方图确定特征点方向。文献主要利用这种方法实现对被旋转和遮挡的物体的识别。但该文献并未讨论视频图像拼接中的如下几个关键问题：

1.字幕区域的特征滤除。

2.快速融合技术。

这两个关键问题，都是本技术领域亟待解决的。

发明内容

本发明正是针对上述问题提供一种无控制点图像拼接方法，该方法可实现从变化场景的视频帧(如连续移动或旋转的摄像机拍摄的视频帧或连续多幅图像)连续拼接成一幅完整图像，不需要相机位姿和地面控制点信息、考虑视频(或图像序列)任意角度旋转、比例以及透视变换。

本发明的技术方案为一种抗字幕干扰的图像无缝自动拼接方法，包括以下步骤：

步骤1，获取图像序列；

步骤2，提取图像序列中每幅图像的特征点集；

步骤3，过滤图像序列中每幅图像的字幕区域；

步骤4，搜索图像序列中相邻两幅图像之间的特征点的同名点对；

步骤5，从步骤4搜索结果中找出图像序列中相邻两幅图像之间的特征点的正确的同名点对，根据正确的同名点对计算相邻两幅图像之间的Homograph变换关系；

步骤6，根据步骤5所得图像序列中相邻两幅图像之间的Homograph变换关系，获取拼接几何转换矩阵；

步骤7，根据步骤6所得拼接几何转换矩阵，对图像序列中所有图像进行无缝融合。

而且，步骤3实现方式如下，

设图像序列中某幅图像的特征点集中任一特征点的坐标(feat->x,feat->y)，特征点的尺度为feat->scale，

首先，根据坐标(feat->x,feat->y)计算特征中心到字幕区域的距离dist，

然后，判断是否dist>K×feat->scale，是则保留，否则认为特征点是字幕而删除。

而且，步骤4实现方式如下，

设特征空间为n×n空间，计算相邻两幅图像中第1张图像上的第p个特征点与第2张图像上的第q个特征点的距离