[发明专利]基于运动信息与背景信息相结合的视频序列配准方法

摘要

本发明公开了一种基于运动信息与背景信息相结合的视频序列配准方法，主要解决现有技术无法对不同视角下视频序列进行准确配准的问题，其实现步骤为1、分别对两个输入视频序列进行背景图像和运动目标的分离；2、获取背景图像的特征点匹配对并计算背景图像间的基础矩阵；3、从背景图像中选取三维空间中不共面的四个空间点相对应的四组匹配点对；4、分别获取运动轨迹中的点在另一视频序列中的投影线与对极线的交点；5、进行运动轨迹点匹配并获取候选时间对应点对集合；6、拟合时间线并恢复时间变换参数。本发明能更加准确地恢复视频序列间的时间关系，提高了配准精度，可用于对静态背景的视频序列配准。

主权项

一种基于运动信息与背景信息相结合的视频序列配准方法，包括如下步骤：(1)分别输入参考视频序列l和待配准视频序列l′；(2)分别对两个输入视频序列进行背景图像和运动目标的分离，获得参考运动轨迹P和待配准运动轨迹P′；(3)采用特征点检测与匹配的方法，获取背景图像的特征点匹配对(Xi,X′i),300≤i≤500；(4)利用获得的背景图像的特征点匹配对(Xi,X′i)，计算背景图像间的基础矩阵F；(5)从获得的背景图像特征点匹配对(Xi,X′i)中，选取三维空间中不共面的四组匹配点对(xj,x′j),j＝1,2,3,4:5.1)计算背景图像特征点匹配对(Xi,X′i)中的三组匹配点对诱导的单应H；5.2)计算剩余一组匹配点对在该诱导单应H下的转移误差Er；5.3)将上述转移误差Er与设定阈值E＝10进行比较，若Er＞E则保留匹配点对，反之，重复步骤5.1)和步骤5.2)，直到满足Er大于设定的阈值E；(6)分别获取运动轨迹中的点(p,q)在另一视频序列中的投影线与对极线的交点(p(t),q(t))：6.1)获取参考运动轨迹中的点p在待配准视频序列中的投影线k；6.2)获取参考运动轨迹中的点p的对极线l：l＝F·p，其中，F是基础矩阵；6.3)获取参考运动轨迹中的点p在待配准视频序列中的投影线与对极线的交点q(t)；6.4)获取待配准运动轨迹中的点q在参考视频序列中的投影线与对极线的交点p(t)：6.4.1)获取待配准视频运动轨迹中的点q在参考视频序列中的投影线k′；6.4.2)获取待配准运动轨迹中的点q的对极线l′：l′＝F‑1·q，其中，F‑1是基础矩阵的逆矩阵；6.4.3)获取待配准运动轨迹中的点q在参考视频序列中的投影线与对极线的交点p(t)；(7)获取参考运动轨迹和待配准运动轨迹中候选时间对应点的集合：7.1)计算参考运动轨迹中的点p在待配准视频序列中的投影线与对极线的交点q(t)与所有的待配准轨迹点q的距离，选出距离小于设定阈值e的轨迹点q(ti)作为待配准视频序列的候选轨迹点，并记录待配准运动轨迹时间点ti；7.2)计算每一个待配准运动轨迹点q(ti)在参考视频序列中的投影线与对极线的交点p(t)与其对应的参考轨迹点p的距离，选出距离小于设定阈值e的轨迹点p(tj)作为参考视频序列的候选轨迹点，并记录参考运动轨迹时间点tj；(8)以待配准运动轨迹时间点ti为纵坐标，以参考运动轨迹时间点tj为横坐标，利用RANSAC算法拟合时间线，恢复出时间变换参数[α,t]，其中α为时间线的斜率，t为时间线与纵轴ti的截距。