[发明专利]一种基于迭代最近点的大视场视频全景图拼接的方法

说明书

本发明涉及一种基于迭代最近点的大视场视频全景图拼接的方法，利用场景的三维信息，将个帧视图转化到同一图像平面下，实现场景拼接。具体地，对所有相邻两帧视图，执行如下操作：1.提取并匹配相邻两帧视图的特征；2.计算相邻两帧视图的相对位姿；3.在极线约束下，对相邻两帧视图进行稠密匹配；4.根据稠密匹配结果，计算相邻两帧视图重叠区域的三维模型；5.利用迭代最近点法，将步骤4得到的三维模型转化到第0帧视图的相机坐标系下；6.将转化后的三维模型投影到第0帧视图平面上，从而建立三维模型上各点与第0帧视图上位置的映射关系；7.将映射第0帧视图相同位置的点融合，完成拼接。本发明相较于传统基于单应映射拼接方法，更加真实可靠。

技术领域

本发明涉及一种基于迭代最近点的大视场视频全景图拼接的方法，通过估计各像素点的深度值，并将各像素映射到同一图像平面上，然后把映射到相同位置的点融合。属于计算机视觉领域。

背景技术

视频全景图拼接即将一段视频中，有重叠区域的各帧视图进行无缝拼接，得到一幅反映视频场景全貌的全景图像。视频全景图拼接技术针对的是普通成像设备获取的视频。数码摄相机和智能手机的普及，大大降低了全景图获取的成本，高质量的视频全景图拼接技术也爆发出了巨大的市场需求。此外，视频全景图拼接技术也广泛应用于虚拟现实、增强现实等领域，其发展前景十分广阔，有着极高的研究价值。

传统的视频全景拼接技术基于平面单应假设。具体地，首先对相邻两帧视图提取并匹配鲁棒性较强的特征，利用这些匹配得到的特征估计单应映射矩阵，然后通过估计得到的单应矩阵将其中一幅视图的像素点映射到另一幅视图中，并对灰度值进行融合(如果是彩色图像，则对RGB三个通道分别融合，下同)，得到拼接结果。传统方法在两幅视图的拼接过程中，假定所有场景都位于同一平面上。而现实中，场景都位于同一平面上的假设显然是不成立的。当摄像机距离远大于场景自身深度的变化时，可以忽略场景自身深度的变化，近似认为场景是位于同一平面上，此时，传统的视频全景拼接方法的效果比较理想。当场景自身的深度变化不能忽略时，传统方法的拼接结果就会产生较大的失真，使得传统方法在实际应用中受限。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于迭代最近点的大视场视频全景拼接的方法，利用场景的深度信息，准确地将不同视图的像素映射到同一图像平面上，从根本上解决了由于平面单应假设造成的全景图失真。

本发明技术解决方案：一种基于迭代最近点的大视场视频全景拼接的方法，实现步骤如下：

(1)提取并匹配相邻两帧视图的特征；

(2)基于步骤(1)中得到的特征，计算相邻两帧视图的相对位姿；

(3)通过相对位姿计算得到极限约束，在极线约束下，对相邻两帧视图进行稠密匹配，得到稠密的匹配点对；

(4)利用步骤(3)得到的稠密的匹配点对，计算相邻两帧视图重叠区域的三维模型；

(5)采用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下，即世界坐标系；

(6)将在步骤(5)中转化后的三维模型，投影到第0帧视图中，建立三维模型上各点与第0帧视图上位置的映射关系；

(7)基于步骤(6)得到的映射关系，将映射第0帧视图相同位置的点融合，完成拼接。

在步骤(1)提取并匹配相邻两帧视图的特征的实现如下：

(1)对相邻两帧视图提取SIFT特征点，并计算每个特征点的描述子；

(2)基于各个特征的描述子，对相邻两帧视图提取到的特征进行匹配，从而得到相邻两帧视图间，若干匹配特征点对。

在步骤(4)计算相邻两帧视图重叠区域的三维模型，实现如下：