[发明专利]一种基于直线特征匹配及约束的图像拼接方法

权利要求书

1.一种基于直线特征匹配及约束的图像拼接方法，其特征在于，包括以下过程：

步骤100，将两幅图像划分为目标图像和参考图像，利用SURF方法提取并匹配两幅图像中的特征点，利用RANSAC方法筛选正确的匹配点，利用LSD方法提取两幅图像中的直线；

步骤200，利用点线不变量匹配两幅图像中的直线，然后根据几何映射关系寻找匹配直线对应的邻域内的特征点以增加特征点的数量，最后使用RANSAC方法筛选正确的匹配特征点对，具体过程如下：

步骤201，从步骤100输出的直线中，根据直线的长度为每条直线划分邻域，然后计算目标图像直线和参考图像直线对应的左邻域和右邻域的相似度，根据邻域相似度得到最终的匹配直线集；

步骤202，从步骤201输出的匹配直线中，对每一对匹配直线，分别在其左邻域和右邻域内取匹配特征点，根据匹配特征点构造三角形特征数，将特征三角形上对应位置的点作为特征点对，以此获得更多的匹配点，最后使用RANSAC方法筛选正确的匹配特征点；

步骤300，利用步骤200获得的所有匹配特征点和匹配直线，估计目标图像和参考图像之间的单应矩阵H；

步骤400，为目标图像划分均匀网格，构造能量函数的约束项，通过最小化能量函数计算扭曲网格的顶点坐标；所述约束项包括点线对齐项、畸变抑制项、局部及全局直线保护项；

步骤401，构建目标图像的均匀网格；

步骤402，从步骤201输出的匹配直线、从步骤202输出的匹配点，构造点线对齐项；从步骤300输出的全局单应矩阵H，估计目标图像的旋转角，在目标图像上划分等距水平直线簇和垂直直线簇，在非重叠区和重叠区构造畸变抑制项；

步骤403，从步骤100输出的目标图像中的特征直线，其中部分直线若满足重构条件则将其进行合并，最终根据直线长度将其划分为局部直线和全局直线，据此构造显著直线保护项；

步骤404，通过最小化能量函数计算扭曲网格的顶点坐标；

步骤500，将扭曲的目标图像与参考图像融合，形成最终的拼接图像。

2.根据权利要求1所述的一种基于直线特征匹配及约束的图像拼接方法，其特征在于，在步骤201中，计算目标图像直线和参考图像直线对应的左邻域和右邻域的邻域相似度，具体包括：

记从步骤100输出的目标图像中的直线集为参考图像中的直线集为在所有和中直线上选取两个关键点，记某直线l的关键点分别为和根据直线长度为每条直线划分左邻域和右邻域，在目标图像和参考图像中，任取一对左邻域或右邻域，若该对邻域中含有4对以下匹配点，则认为邻域间相似度为0；若该对邻域中含有5对以上匹配点，则由下列公式计算邻域间的相似度：

设两邻域对应的直线为l和l′，其关键点分别为和对于邻域内的匹配点集{P_i}_{i＝1，2，...，N}和{P′_i}_{i＝1，2，...，N}，选定一对点为基点记作P₁和P′₁，从剩余的匹配点中随机选取两对点记作P₂和P′₂、P₃和P′₃，每对基点共有N种选法，选定基点后对于两对随机点共有种选法；计算邻域中每对基点的相似度，然后通过N组基点计算邻域的相似度；记为点P_i和P_j连接形成的直线、为直线和的交点，则可以用匹配点和计算用于构造三角形特征数的点{V，P₁，M，N，P₃，W}的坐标信息：

并按照上述方法构造{V′，P′₁，M′，N′，P′₃，W′}；其中，点T为构造三角形特征数的过程点；上述五对点构建的三角形特征数，记作CN_i(r)和CN′_i(r)，

一组三角形特征数的相似度为：

基点P_i和P′_i的相似度用组三角形特征数的相似度的中值计算：

该邻域的相似度用N组基点的相似度的最大值计算：

S＝max{S(P_i，P_i)}，i＝1，2，...，N；

对于两条直线，若其左右邻域的相似度均互为所有直线中的最大值，则认为这两条直线匹配。