[发明专利]一种消除运动重影的立体图像拼接方法

说明书

本发明公开了一种消除运动重影的立体图像拼接方法，包括：采用双目相机采集两组图像，并分别计算两组图像的视图差；提取每组图像的特征点，并对所述特征点进行描述与匹配，然后筛选出错误的匹配以得到准确的特征点对集合；根据视图差和特征点对集合设定新的特征约束条件，采用得到的使所述特征约束条件最优的单应性变换对第二组图像进行全局变换；确定第一组图像与变换后的第二组图像的重叠区域，并找出重叠区域的运动物体，根据运动物体与虚拟拼接线的相对位置设计加权融合系数；分别融合拼接左视图和右视图，再对拼接后的左视图和右视图进行合成，得到最终的立体图。本发明的立体图像拼接方法针对含有运动物体的立体图像实现了高质量的拼接。

技术领域

本发明涉及计算机视觉技术和图像处理领域，尤其涉及一种消除运动重影的立体图像拼接方法。

背景技术

图像拼接技术应用十分广泛，在教育、医疗、航空航天、娱乐直播等方面发挥着重要作用，极大地丰富了人们的生活。尤其随着VR、AR和十亿像素的发展，人们不再满足于有限视角的图像，开始追求更高分辨率甚至360度全景的高质量宽视角图像；这给传统单目图像拼接和立体图像拼接技术带来新的挑战。对于立体图像拼接而言，不仅要考虑传统单目图像拼接中的配准及模糊重影等问题，还需要根据立体图像的视差(深度)信息得到具有立体效果的高质量拼接图，带给观看者一个良好舒适的3D体验。

在立体图像拼接中，有诸多因素会影响最后拼接图的观感，其中包括投影失真、畸变、水平和垂直视差、鬼影等。而拼接结果图中鬼影分为两类，一类是由于拼接图像中出现了运动物体带来的运动鬼影，另一类是由于配准精度不够带来的配准鬼影。针对有运动物体的立体图像拼接，需要在尽可能去除运动鬼影的同时提高拼接精度减少相应的失真畸变和视差；而现有技术中暂没有较好的方法能够实现在去除运动鬼影的同时还可提高拼接精度并减少相应的失真畸变和视差。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种消除运动重影的立体图像拼接方法，针对含有运动物体的立体图像实现了高质量的拼接。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种消除运动重影的立体图像拼接方法，包括以下步骤：

S1：采用双目相机采集两组图像，其中第一组图像包括第一幅左视图和第一幅右视图，第二组图像包括第二幅左视图和第二幅右视图，并分别计算第一幅左视图和第一幅右视图之间的视图差以及第二幅左视图和第二幅右视图之间的视图差；

S2：提取每组图像的特征点，并对所述特征点进行描述与匹配，然后筛选出错误的匹配以得到准确的特征点对集合；

S3：根据步骤S1中的视图差以及步骤S2中匹配的特征点对集合设定新的特征约束条件，得到使所述特征约束条件最优的单应性变换，利用该单应性变换对第二组图像进行全局变换；

S4：根据步骤S3变换的第二组图像，确定第一组图像与变换后的第二组图像的重叠区域，并找出重叠区域的运动物体，根据运动物体与虚拟拼接线的相对位置设计加权融合系数；

S5：根据步骤S4计算的加权融合系数，分别融合第一幅左视图与变换后的第二幅左视图、以及第一幅右视图与变换后的第二幅右视图，得到拼接后的左视图和右视图，再对拼接后的左视图和右视图进行合成，得到最终的立体图。

优选地，步骤S3在对第二组图像进行全局变换之后还包括：建立整体约束条件E_p，对变换的第二组图像进行内容保持。

优选地，步骤S4具体包括：