[发明专利]一种基于无人机POS信息与图像SURF特征结合的图像拼接方法

权利要求书

1.一种基于无人机POS信息与图像SURF特征结合的图像拼接方法，其特征在于：该方法包括如下步骤：

S1：航拍图像预处理：

无人机在执行航拍任务中，由于受到飞行器的姿态、高度、速度以及地球自转因素的影响，造成图像相对于地面目标实际位置发生挤压、扭曲、拉伸和偏移，因此对航拍的图像进行几何矫正，以得到基于同一基准投影面的遥感图像；

S2：航拍图像重叠区域计算：

根据POS信息计算相邻图像的重叠区域，根据POS信息得到序列图像曝光点的时间以及飞行的实际距离，根据飞机当前飞行的角度将速度进行正方向上的分解，通过计算相邻拍摄图像的重叠区域以减少拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高检测效率；

S3:图像的地理坐标计算：

将图像进行几何矫正后，根据当前飞机飞行的姿态角度计算出图像中心点的经纬度坐标，根据相机内外方位元素计算图像地面分辨率，由此计算出图像四点的经纬度坐标，再将地理坐标转换到空间直角坐标系下，从而按照空间直角坐标系进行投影，得到图像之间的相对位置关系；

S4：提取图像的SURF特征：

SURF特征的提取包括：构建Hessian矩阵，生成所有兴趣点、构建尺度空间、对特征点进行定位、特征点主方向分配、生成特征点描述子、特征点匹配等步骤，通过这些步骤计算得到相邻图像的SURF特征匹配点对；

S5：利用提取到的图像SURF特征点对修正地理坐标：

由于已经知道每张图像的地理坐标，因此得到的同名点对的地理坐标应该为同一点，若计算出来的不一样，则以第一张图像为基准，依次修正后面的地理坐标，从而进行位置的配准，提高直接按地理坐标进行放置的准确性；

S6：图像融合策略：

对于修正坐标后的图像，由于每张图像之间有一定的痕迹，采用策略解决拼接缝隙之间的颜色过渡差异问题，采用渐入渐出自适应权重融合方法来对图像之间的缝隙进行平缓过渡。

2.根据权利要求1所述的一种基于无人机POS信息与图像SURF特征结合的图像拼接方法，其特征在于：主要分为六大环节：航拍图像预处理环节、航拍图像重叠区域计算环节、图像地理坐标计算环节、提取图像SURF特征环节、结合相邻图像SURF特征匹配点对修正地理坐标环节和图像融合环节；其中，结合相邻图像SURF特征匹配点对修正图像地理坐标是本方法的创新层；

S1航拍图像预处理：

在预处理几何矫正的过程中，需要依次建立的坐标系为：地球坐标系，地理坐标系，机体坐标系，光电平台坐标系，相机坐标系；传统校正的具体步骤如下：设光电平台坐标系到数码相机坐标系的变换矩阵为R1，由机体坐标系到光电平台坐标系的变换矩阵为R2，由地理坐标系到机体坐标系的变换矩阵为R3，由大地坐标系到空间直角坐标系的变换矩阵为R4，则有：

R1=R(βP)R(αP)R2=R(χ)R(ω)R3=Rx(β)Rz(θ)Ry(90-λ)Rx(90)R4=RxT(-(90-B))RzT(90+L)---(1)]]>

其中R_x(λ)R_y(λ)R_z(λ)分别为绕x轴、y轴、z轴的旋转的旋转矩阵，其中α_P为像元扫描角，β_P为像元偏角，χ为方位角，ω为平台滚动角，β为飞机横滚角，θ为航向角，B为经度，L为纬度，H为高度；因此从相机坐标系(Xc，Yc，Zc)到大地坐标系(Xe，Ye，Ze)之间的转换用如下关系表示：

XeYeZe=R1TR2TR3TR4TXcYcZc---(2)]]>

常规几何矫正由式(2)逐像素点进行计算和采样；本方法针对是的单一航带进行拼接，且无人机平台横滚角和俯仰角比较小时即垂直向下拍摄时认为图像分辨率是一致的，几何矫正只对水平方向上的飞机航向角和平台方位角进行校正；矫正模型如下所示：

XeYeZe=RT(χ+θ)XcYcZc---(3)]]>

其中χ为方位角，θ为航向角，R^T(χ+θ)为变换矩阵，完成模型转换后再通过双线性差值重采样方法计算出像元在新的坐标系下的灰度值，从而生成新的图像矩阵，完成几何矫正；

S2：航拍图像重叠区域计算

1)假设无人机航线为偏离正北的角度为θ，其航速为V，将速度分解为正北方向上和正东方向上两个方向上的分量；分别表示为V1和V2；

2)连续拍摄相邻两张曝光点的图像分别编号为Pic1和Pic2，间隔时间为t，根据POS航迹文件得到两张图片的中心点经纬度，分别记为LatA、LonA、LatB、LonB，则有：

C=sin(LatA)*sin(LatB)*cos(LonA-LonB)+cos(LatA)*cos(LatB)L=R*Arccos(C)*Pi/180---(4)]]>

其中R＝6371.004千米，pi取3.1415926，C为两张图片中心点之间的经纬度夹角，L为计算出来的两点的实际距离；

3)以pic1作为基准，pic2与pic1之间的重叠区域表示为矩形区域S，将其重叠区域扩大定义到规则区域，将重叠区域顶点投影到x和y方向上则表示为：

S＝(W-P1)(H-P2)(5)

其中W和H为矩形区域的宽和高，P1和P2在图中所标长度；

通过计算重叠区域减少拼接的计算量，并且随着特征点的寻找面积越小，可能出现的误匹配概率就越小，提高检测的效率；

S3:图像的地理坐标计算：对于几何纠正过的航拍图像，航拍图像的每点像素坐标都有对应的地理坐标，无人机飞行时候的携带的POS信息记录了当前曝光点图像的飞机的经纬度以及飞机的高度、翻滚角、俯仰角、航向角信息为计算地理坐标所用，图像的地理坐标的计算过程分为以下几步：

1)计算地面分辨率，计算公式如下：

GSD=H*Pf---(6)]]>

其中GSD表示地面分辨率，m；f为镜头焦距，mm；P为成像传感器的像元尺寸，mm；H为无人机对应的航高，m；

2)计算图像对角线实际地面距离：

L=w2+h2*GSD---(7)]]>

其中w和h为图像的宽度和高度，L为图像对角线之间的实际距离；

3)计算图像四角点地理坐标，根据图像中心点经纬度及另一点相对中心点的距离及方向角，求得以图像中点为圆心，半径为L/2的对应四角点地理坐标；具体计算公式为：

Loni=(Lsin(θi)2(Rj+(Rc-Rj)*(90-Lata)/90)*cos(Lata)+Lona)*180pi---(8)]]>

Lati=(L cos(θi)2(Rj+(Rc-Rj)*(90-Lata)/90)+Lata)*180pi---(9)]]>

其中θ_i∈(0,2pi)，Lon_aLat_a为图像中心点的经纬度，Ri为赤道半径取6378137m，Rj为极半径取6356725m，pi取3.1415925；

4)地理坐标转换到空间之间坐标系之间的转换，转换公式如下：

XsYsZs=(N+H)cos(Lon)cos(Lat)(N+H)cos(Lon)sin(Lat)[N(1-e2)+H]sin Lon---(10)]]>

其中N为曲率半径，Lon、Lat、H为图像上任一点的经度、纬度和高度，将图像转换到空间坐标系，至此得到完整的图像坐标；

S4:图像的SURF特征提取：

SURF采用近似Hessian矩阵检测特征点，并使用积分图像进行卷积运算，减少运算从而提高特征提取速度；SURF描述子包含两个部分：检测特征点和计算特征；具体实现分为以下几步：

1)构建Hessian矩阵，构造尺度空间；

假设图像上某点为X(x，y)，在σ尺度下的矩阵M定义为：

M(x,σ)=Lxx(x,σ)Lxy(x,σ)Lxy(x,σ)Lyy(x,σ)---(11)]]>

其中L_xx是高斯滤波二阶导同X卷积的结果，L_xy等的含义类似，σ为空间尺度；当Hessian矩阵的的判别式取得局部极大值时，认为定位到关键点的位置；

2)检测特征点

在得到的尺度空间中，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤去除能量弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；

3)确定特征点主方向

以特征点为圆心，以6σ为半径，求XY方向上的Haar小波响应，统计60度扇形内所有点的水平haar小波特征和垂直haar小波特征总和，并设置haar小波的尺寸变长为4s，使得每个扇形都得到了对应值；然后将60度扇形以一定间隔进行旋转，最后将锁定最大值扇形的方向作为该特征点的主方向；

4)计算特征描述符

在特征点周围取一个正方形框，然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的，所以每个特征点就是16*4＝64维的向量；

S5:利用相邻图像特征匹配点对修正地理坐标

由于POS精度低以及几何校正中存在一定的误差，计算出的坐标映射关系有一定的误差，此时利用特征匹配算法去修正图像的地理坐标，具体过程如下：

假设图像1的地理坐标为P1(x1，y1),图像2的地理坐标为P2(x2，y2)，提取图像特征匹、配对后则得到同一个点在不同两张图像间的像素坐标位置，由此得到两张图像中同一个目标点的经纬度坐标(Lon1，Lat1)(Lon2，Lat2)，最后以第一张图像地理坐标为基准，求得第二张图像中目标点与第一张图像之间的偏移量，公式如下：

x=Lon2-Lon1y=Lat2-Lat1---(12)]]>

然后用求得的偏移量去修正图像2的地理坐标P2：

x2=x2+xy2=y2+y---(13)]]>

然后将地理坐标投图到空间直角坐标系下，从而完成图像精确的配准，得到修正坐标后的图像；

S5图像融合策略

对于修正坐标后的图像，由于每张图像之间有一定的痕迹，因此需要采用一些策略来解决拼接缝隙之间的颜色过渡差异较大的问题，使拼接图像更加平滑自然，渐入渐出自适应权重融合过程如下所示：

假设I1、I2、I分别为融合前图像1、图像2和融合后的图像3，则通过公式(11)，完成图像融合，

式中，W是两幅不同画面重复的总宽度；w是重合区域左边缘与当前像素点之间的横向距离。