[发明专利]一种直线特征保护与网格优化的无人机航拍图像拼接方法

权利要求书

1.一种直线特征保护与网格优化的无人机航拍图像拼接方法，其特征在于，包括如下步骤：

S1：输入两幅具有一定视差的航拍图像I₁、I₂，I₁为参考图像、I₂为待拼接图像，并采用尽可能一致算法APAP进行预配准；

S2：对步骤S1中的航拍图像进行网格划分，得到网格顶点集；

S3：通过步骤S2得到的网格顶点集，构建网格优化模型的总能量函数，在APAP算法提供的局部单应性约束项的基础上，加入全局相似性、局部相似性、直线保护三个约束项对网格模型进行优化，具体步骤如下：

S3.1：定义网格能量函数；对于参考图像中任意一个采样点p(x,y)，采用其所在网格顶点坐标的双线性插值来表示，即：

v(p)＝w₁v₁+w₂v₂+w₃v₃+w₄v₄

式中，w为采样点到网格顶点v的距离权重；

对采样点施加的约束相当于对其所在网格顶点施加约束；则网格优化的总能量函数定义为：

E′(V′₂)＝λ_lhE_lh(V′₂)+λ_lsE_ls(V′₂)+λ_gsE_gs(V′₂)+λ_lE_l(V′₂)

式中，E_lh(V′₂)为局部单应性约束项、E_ls(V′₂)为局部相似性约束，E_gs(V′₂)为全局相似性约束，E_l(V′₂)为直线保护约束，λ为各约束项的调节权重，λ越大对应的约束越强；

S3.2：定义局部相似性约束；局部相似性约束项有助于保持网格之间变换的连续性，其表达式为：

其中，E′(j,k)为待拼接图像I₂的边集合，v_j和v_k是网格边缘的两个端点，v′_j和v_k′为映射到画布上的网格边缘顶点，S_jk表示网格边缘经历的相似变换；

S3.3：定义全局相似性约束；在重叠区域以局部单应性和局部相似性为主保证充分对齐，在非重叠区域，借鉴NISwGSP算法的思想以全局相似性为主增强保持性，减少MovingDLT方法对齐过程中造成的大视差场景的图像畸变；具体表达式为：

w_jk＝d_jk+β

式中，d_jk为网格边缘与重叠区域的距离，β为调节量，s_I′和θ_I′分别为I′全局相似的尺度因子和2D旋转角，v_j和v_k是网格边缘的两个端点，v′_j和v_k′为映射到画布上的网格边缘顶点；

S3.4：定义局部单应性约束项；局部单应项通过增强点对应解决对齐问题，具体表达式为：

式中，M(p,q)为APAP算法得到的I和I₂特征点集，p、q分别为I和I₂上的特征点，W_I和分别为p、q所在网格的权值矩阵：

式中，w′为前面提到的网格顶点的权重；

S3.5：定义直线保护约束项；直线保护约束项可以使单应性变换更加接近相机运动，保护场景中的直线结构，具体表达式为：

式中，L为采集到的线段集合，m₀和m₁为采样线段的两个端点坐标，S_i为当前点与m₁形成的四边形面积；

S4：在稀疏系统中求解S3得到的总能量函数指导网格变形；

S5：对航拍图像进行图像映射和像素融合；具体的，首先将参考图像I映射到画布上，然后以其端点作为坐标原点，将得到的待拼接图像I₂的网格顶点坐标减掉偏移量也映射到画布上完成图像映射，最后通过简单线性加权融合得到全景航拍图像。