[发明专利]无人机航拍图像实时拼接方法、系统、设备及存储介质

说明书

本发明公开了一种无人机航拍图像实时拼接方法、系统、设备及存储介质，所述方法包括：实时获取当前的航拍图像及当前的航拍图像的GPS信息；根据GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；根据匹配结果对当前的航拍图像的相机参数进行标定；根据光束平差法优化航拍图像的相机参数，光束平差法的损失函数包括基于GPS信息的GPS约束项；根据优化后的相机参数对航拍图像进行映射处理；将映射后的航拍图像进行融合拼接处理。本发明还公开了一种无人机航拍图像实时拼接系统、计算机设备及计算机可读存储介质。采用本发明，可利用GPS信息实现无人机航拍图像的实时拼接，减少误差累积，降低计算的复杂度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种无人机航拍图像实时拼接方法、系统、设备及存储介质。

背景技术

无人驾驶飞机简称“无人机（unmanned aerial vehicle，UAV）”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主操作。目前在航拍、农业、植保、快递运输、灾难救援、测绘、电力巡检、救灾等等领域有着极其广泛的应用。

无人机目前最广泛的需求聚焦在拼接与定位，即通过拼接航拍图像得到飞行区域内的图像信息及图中目标的位置信息。

目前对于图像的拼接方法主要采用以下两种：

一、传统的全景图拼接技术。如，论文《Automatic Panoramic Image Stitchingusing Invariant Features》公开了一种全景图像拼接方法，该拼接方法的具体步骤为：提取特征点-特征点匹配-光束平差法-图像融合。但是，该方法在大规模的图像拼接中容易出现误差累积，造成图像的扭曲，且算法中使用的模型不能解决视差问题。

二、主流的无人机航拍拼接技术。如，论文《DenseFusion: Large-Scale OnlineDense Pointcloud and DSM Mapping for UAVs》公开了一种基于无人机的大场景快速二维／三维重建方法，该重建方法的具体步骤为：特征点提取-特征点匹配-光束平差法-生成稠密点云-三维重建-生成正射图。虽然该方法可以降低精度上的损失，但是该方法对稠密点云的生成非常耗时，而且需要的存储空间也相当大。

综上所述，现有的拼接方法均无法在保证精度的同时，降低计算的复杂度，仍无法满足用户的实际需求。

发明内容

本发明所要解决的技术问题在于，提供一种无人机航拍图像实时拼接方法、无人机航拍图像实时拼接系统、计算机设备及计算机可读存储介质，可利用GPS信息实现无人机航拍图像的实时拼接，减少误差累积，降低计算的复杂度。

为了解决上述技术问题，本发明提供了一种无人机航拍图像实时拼接方法，包括：实时获取当前的航拍图像及当前的航拍图像的GPS信息；根据所述GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理；根据匹配结果对当前的航拍图像的相机参数进行标定；根据光束平差法优化航拍图像的相机参数，所述光束平差法的损失函数包括基于所述GPS信息的GPS约束项；根据优化后的相机参数对所述航拍图像进行映射处理；将映射后的航拍图像进行融合拼接处理。因此，本发明利用GPS信息，构造了全新的GPS约束项来约束参数优化过程，可解决在大规模图像拼接中出现的误差累积现象；同时，本发明通过将图像融合算法运用在无人机航拍拼接中，可在实现拼接的同时，避开了计算代价高的重建算法，降低计算的复杂度。

作为上述方案的改进，所述根据GPS信息，将当前的航拍图像与已拼接的航拍图像进行匹配处理的步骤包括：获取当前的航拍图像；根据当前的航拍图像的GPS信息从已拼接的航拍图像中筛选出至少一张候选的航拍图像；将当前的航拍图像分别与每一候选的航拍图像进行特征点提取及特征点匹配，以提取与当前的航拍图像匹配的航拍图像。因此，通过GPS信息筛选出距离该航拍图像最近的几幅航拍图像作为候选图像，可进一步提升特征点匹配的效率。