[发明专利]基于运动信息与背景信息相结合的视频序列配准方法

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及一种视频序列配准方法,其目标是校准从不同视角或不同时间下拍摄的视频序列，可应用于静态背景的视频序列配准中。

背景技术

视频序列配准是图像处理的一个重要领域，它通过计算多个传感器获得的同一个场景不同视角或不同时间的相似视频之间的时空变换参数，进而将这些视频在时间上进行同步，在空间上进行几何校准。一般情况下，可以采用基于特征的方法,尤其以运动目标轨迹为特征的方法进行视频序列配准，这些基于运动轨迹的视频序列配准方法主要考虑了运动轨迹本身的形状或者视图间的对极几何关系，但往往忽略了视频序列的背景特征与运动目标之间的空间位置关系，从而导致对轨迹点的定位不够精确，不能准确有效地得到对应的匹配轨迹点。

例如，Padua F L C,Carceroni R L,et al.发表的论文“Linear sequence-to-sequence alignment”(IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(2):304-320)中公开了一种基于时间线约束的视频序列配准方法。该方法首先提取背景，利用背景匹配点对估计背景图像间的基本矩阵；然后提取运动目标的轨迹，利用视图间的对极几何关系搜索出候选轨迹点对；最后运用RANSAC算法进行时间线拟合。该方法存在的不足是，由于该方法只考虑视图间的对极几何关系，利用轨迹与对极线的交点找出对应轨迹点，因此对轨迹点的定位不够精确，并且在运动轨迹近似是直线并与其对极线重合的情况下，找到对极线与轨迹的交点会很多，产生大量误匹配轨迹点对，从而降低配准精度。

Nunziati W,Sclaroff S,and Del Bimbo发表的论文“An Invariant Representation for Matching Trajectories Across Uncalibrated Video Streams”(Springer Berlin Heidelberg，2005,pp.318-327)中公开了一种运动轨迹点射影不变表示的视频序列配准方法。该方法首先提取视频中运动目标的轨迹，通过最小二乘拟合的三次样条插值方法进行轨迹的局部近似；然后，对获得的轨迹曲线的每一个采样点，计算它与邻域内的四个采样点构成的射影不变结构的交比，得到轨迹自身的射影不变描述符；最后，利用交比的统计特性对描述的轨迹进行距离度量，得到匹配的轨迹段。该方法存在的不足是，由于该方法只考虑轨迹自身的信息，利用轨迹点邻域内的局部特征对轨迹点进行描述，因此当场景中存在多个运动目标并且运动轨迹相似时，或者当运动轨迹中存在大量局部特征相似的轨迹段时，得到的轨迹描述符都不具有很好的区分性，在这些情况下，该方法获得的视频序列的配准结果误差较大甚至无法完成配准。

发明内容

本发明的目的在于针对上述已有技术的缺点，提出一种基于运动信息与背景信息相结合的视频序列配准方法，以更好地从输入的视频序列中获取匹配的轨迹点对，减小配准误差，更加准确地恢复视频序列间的时间关系和空间关系。

为实现上述目的，本发明的技术方案是：结合背景特征与运动目标的空间位置关系，利用背景特征的对应点信息，并通过三维空间中不共面的空间点建立空间坐标系以及对极几何关系,从而得到时间变换参数。其具体步骤包括如下：

(1)分别输入参考视频序列l和待配准视频序列l′；

(2)分别对两个输入视频序列进行背景图像和运动目标的分离，获得参考运动轨迹P和待配准运动轨迹P′；

(3)采用特征点检测与匹配的方法，获取背景图像的特征点匹配对(X_i,X′_i),300≤i≤500；

(4)利用获得的背景图像的特征点匹配对(X_i,X′_i)，计算背景图像间的基础矩阵F；

(5)从获得的背景图像特征点匹配对(X_i,X′_i)中，选取三维空间中不共面的四组匹配点对(x_j,x′_j),j＝1..4:

5.1)计算背景图像特征点匹配对(X_i,X′_i)中的三组匹配点对诱导的单应H；

5.2)计算剩余一组匹配点对在该诱导单应H下的转移误差Er；