[发明专利]一种基于区域特征的视频帧间拼接方法

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于区域特征的视频帧间拼接方法。

背景技术

随着无人机在军事侦察、抗灾救灾及遥感遥测等领域的广泛应用，航拍视频的图像拼接技术引起了国内外学者专家的重视。使用图像拼接技术将无人机获取的视频序列拼接成一幅覆盖全范围的全景图，有利于目标的准确定位、检测与跟踪。图像拼接的核心与重点是图像配准，图像配准的精度及算法量直接影响图像拼接的精度及实时性。在航拍视频中，图像的全局运动通常是指由于飞行器和机载摄像机引起的图像背景的运动，而运动的目标通常较小，因此图像的全局运动占主导地位。

现有的航拍视频的拼接方法主要分为直接法和特征法两类。其中直接法比较有代表意义的是attiato在对图像局部块运动估计的基础上通过最小二乘法实现对图像的全局运动估计进而实现图像配准，该方法取得了很好的效果，然而该方法在图像局部差异较小的情况下容易失效，且受环境的影响较大。相比之下，特征法的应用较为广泛，比如brown和lowe采用SIFT实现了对不同图像的配准并将其应用于离线状态下的图像拼接，该方法精度较高，但算法耗时长、实时性差；Steedly在视频拼接中采用MOPMulti-scaleOrientedPatches来实现视频帧间配准计算效率，但其实时性还是无法满足无人机航拍视频快速拼接的要求。

发明内容

本发明提出一种基于区域特征的视频帧间拼接方法，在保证精度的前提下，降低了计算量，提高了算法的实时性，同时降低环境变化对图像拼接的影响。

为了解决上述技术问题，本发明提供一种基于区域特征的视频帧间拼接方法，包括以下步骤：

步骤一：同步控制摄像机和惯性传感器工作，使用摄像机获得待拼接图像中每个像素的深度信息，使用惯性传感器获得摄像机的运动参数，并计算出待拼接图像的全局光流；

步骤二：在待拼接图像中，使用局部光流拟合法提取符合图像全局运动的局部特征区域；

步骤三：在局部特征区域中，使用FAST特征提取算子提取图像的FAST特征点；

步骤四：使用SAD算子对参考图像和待拼接图像中的FAST特征点进行配准，基于FAST特征点并结合RANSAC算法计算出待拼接图像的全局运动投影变换矩阵；

步骤五：结合渐入渐出加权平均算法完成待拼接图像与参考图像的无缝拼接。

本发明与现有技术相比，其显著优点在于：(1)实际应用中，由于航拍场景较为复杂，区域运动估计的不确定性及运动目标的干扰降低了全局运动的估计精度，本发明提出了基于区域特征的图像全局运动估计的快速配准算法，提高了精度；(2)本发明基于惯性传感器和Kinect摄像机组成的硬件平台完成图像全局光流的计算，不仅降低了本发明的计算量，提高了实时性，还排除了环境对于光流计算的影响，具有较高的环境鲁棒性；(3)本发明通过在整幅图像中提取局部特征区域进行图像配准方式来大幅度地降低了图像拼接的计算量和计算时间；(4)本发明采用改进的FAST提取算子代替经典的SIFT算子进行特征计算，再次降低算法的计算复杂度。

附图说明

图1为本发明基于区域特征的视频帧间拼接方法流程图；

图2为本发明使用的FAST特征提取算子示意图；

图3为本发明使用的渐入渐出算法示意图。

具体实施方式

如图1所示，本发明基于区域特征的视频帧间拼接方法，实现步骤如下所述：

步骤一：同步控制摄像机和惯性传感器工作，使用摄像机获得待拼接图像中每个像素的深度信息，使用惯性传感器获得摄像机的运动参数，并计算出待拼接图像的全局光流；

步骤二：在待拼接图像中，使用局部光流拟合法提取符合图像全局运动的局部特征区域；

步骤三：在局部特征区域中，使用FAST特征提取算子提取图像的FAST特征点；

步骤四：使用SAD算子对参考图像和待拼接图像中的FAST特征点进行配准，基于FAST特征点并结合RANSAC算法计算出待拼接图像的全局运动投影变换矩阵；

步骤五：结合渐入渐出加权平均算法完成待拼接图像与参考图像的无缝拼接。

上述步骤一的具体实现如下：

步骤1.1：同步控制惯性传感器及Kinect摄像机的工作，摄像机可以采用Kinect摄像机，Kinect摄像机同时包括深度图像获取CCD和彩色图像获取CCD，可以同时获取彩色图像和深度图像；惯性传感器中包括陀螺仪和加速度计。