[发明专利]一种基于直线特征匹配及约束的图像拼接方法

说明书

本发明涉及计算机视觉图像拼接领域，提供一种基于直线特征匹配及约束的图像拼接方法，包括步骤100，将两幅图像划分为目标图像和参考图像，提取并匹配两幅图像中的特征点，筛选正确的匹配点，提取两幅图像中的特征直线；步骤200，利用点线不变量匹配两幅图像中的特征直线，根据几何关系重构匹配直线邻域内的特征点以增加匹配特征点的数量，最后筛选正确的匹配点；步骤300，估计全局单应性矩阵；步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。本发明能够在保持全局直线的同时大幅度减少拼接图像的失真情况。

技术领域

本发明涉及计算机视觉图像拼接领域，尤其涉及一种基于直线特征匹配及约束的图像拼接方法。

背景技术

图像拼接是将多幅图像组合成更大视场的一种方法，是计算机视觉系统中非常重要的应用之一，其广泛应用于摄影测量、机器人导航、无人机视觉和智能手机全景图合成等。在图像拼接过程中，特别是对于大视差的图像拼接，解决伪影失真问题的同时保护图像的直线结构信息是一个巨大的挑战。

最早的图像拼接算法由Automatic Panoramic Image Stitching usingInvariant Features(AutoStitch)开启，它为每个输入图像估计一个最优的全局变换，但是它只适用于理想的近平面场景，同时产生的图像往往会受到局部伪影和投影畸变的影响。在此之后，As-Projective-As-Possible(APAP)将图像划分为密集网格，每个网格都用一个单应性矩阵对齐，叫做局部单应性，但是仍然存在失真、直线结构无法保持等现象。Natural Image Stitching with the Global Similarity(GSP)通过直线对齐约束确定全局相似矩阵的角度选择，用APAP的方法初始化网格，约束项方面同时使用局部相似约束和全局相似约束，多图拼接性能和观感自然度提升，但是拼接过程中直线结构会出现大幅度弯曲现象。Single-Perspective Warps in Natural Image Stitching(SPW)同时强调了单视角变换的不同特征，能量函数包括点对齐项，畸变保护项和显著直线项，但是无法处理局部失真和全局直线保护之间的关系。除此之外还有一些基于拼接缝的图像拼接算法，但是在大视差图像拼接时，都会出现严重的失真现象。

发明内容

为了克服现有图像拼接方法在非重叠区域的失真问题和直线结构保持性较差的问题，本发明提供了一种基于直线特征匹配及约束的图像拼接方法，它可以根据几何关系重构图像中的匹配点，并利用局部直线和全局直线的关系对图像中的显著直线加以保护，丰富了图像的特征，减少拼接图像失真的同时保护了其直线结构，保证了拼接图像的自然性。

本发明提供的一种基于直线特征匹配及约束的图像拼接方法，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集；

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点；

步骤300，利用步骤200获得的所有匹配特征点和匹配直线，估计目标图像和参考图像之间的单应矩阵H；