[发明专利]基于局部反馈机制与稀疏全局调整的航拍图像拼接方法

说明书

技术领域：

本发明涉及计算机视觉领域，特指一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法。

背景技术：

对高原地区遥感影像的获取和有效处理，在高原地区军事地形侦察、泥石流灾害评估、动植物生态调查等实际工作中发挥着关键作用。快速精确、全面直观地获取目标区域地面影像并大范围展现目标区域地面场景实态是侦察监测、灾情调查等应用中不可或缺的一部分。以无人机为平台，搭载现代化摄像机快速获取低空高分辨率视频图像的无人机航拍系统，具有自动化、低风险、低成本、高时效、能在阴天云下低空快速获取光学影像等优势，并且无人机在高危地区、复杂环境下可做远距离、长航时、复杂航线飞行，很好地解决了传统航拍存在的问题，是载人机航拍和卫星遥感的有效技术补充手段。将无人机航拍系统应用于高原地区目标区域的实测，能在短时间内获取海量特定区域的视频数据，通过对这些数据的有效处理，能够获得高原地区目标区域的大量所需信息并在实际工作中发挥关键作用。

单幅图像视场范围小，只能覆盖部分区域以及图像相幅小，数量多是无人机侦察视频图像的共同特点。除了具有无人机视频图像的共同特点以外，高原地区无人机侦察视频图像(如图1所示)还具有以下显著特点：(1)无人机机体小，飞行高度低，其稳定性和抗风能力差，易发生倾斜、抖动，因此图像存在比较严重的几何畸变；(2)图像纹理比较单一，主要表现为荒漠、冻土，图像特征很不明显。以上特点使得传统目标区域图像全景拼接方法在图像特征提取和特征匹配环节特别容易出现失配、误配的情况，同时由于环境的复杂，无法通过设立地面控制点实现图像几何畸变校正，给高原地区无人机侦察视频图像全景拼接带来了诸多挑战。

发明内容：

本发明要解决的技术问题在于：结合无人机惯导数据等多源信息，提出一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，解决高原地区无人机侦察视频图像拼接过程中的容易出现失配、误配这一难题。

为解决上述技术问题，本发明采取的技术方案是：

一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，其特征是：

首先，根据SIFT特征提取算法，提取无人机侦察视频图像的SIFT特征点并利用特征点进行特征匹配从而得到图像之间的几何变换关系；在对无人机侦察视频图像进行SIFT特征提取和匹配过程中，一旦出现无人机侦察视频图像的SIFT特征点少，特征匹配对不足以建立几何变换模型，或足以建立几何变换模型但图像拼缝处有明显错位，就利用无人机惯导系统获取的辅助信息数据对前两次的拼接进行反馈调节，建立了一种局部反馈机制，包括如下步骤：

1)根据无人机惯导系统所记录的惯导数据中获得图像的坐标信息(经纬度等)，将图像投影到WGS84坐标系下，确定图像在拼接图中的粗略位置和图像间的变换参数；

2)根据图像在拼接图中的粗略位置控制偏差在20个像素以内，对目标图像I_n-1和I_n-2进行旋转、平移等局部微调操作。假设第n次拼接时需进行反馈调节，根据建立的局部反馈机制，将对第n-1次拼接和第n-2次拼接进行调节。选取第一帧图像作为参考图像，用I₀表示，从第二帧开始的无人机视频图像序列作为目标图像，表示为I_i(i＝1,2,3...)；每次拼接后得到的拼接图像表示为M_i(i＝1,2,3...)；

其次，建立一个优化目标函数，通过求解优化目标函数对拼接全景图进行稀疏全局调整，包括如下步骤：

1)对于无法通过特征匹配得到单应矩阵的这些图像，可以利用通过坐标信息得到的变换参数对这些图像提取出来的少数稀疏的特征点进行坐标变换，确定它们在全景图中的位置；