[发明专利]一种低空航拍图像拼接方法和系统

说明书

一种低空航拍图像拼接方法和系统，所述方法包括：搭建语义分割网络，采集低空航拍图像数据集，对所述图像数据中的显著建筑物进行标注，将经标注的图像数据送入语义分割网络进行训练；将待拼接航拍图送入经训练得到的语义分割模型中进行针对所述显著建筑物的检测和像素级分割，获取所述显著建筑物的外接矩形图，并在所述待拼接航拍图中对应所述外接矩形图的区域留白，获得正射性最佳的正射外接矩形图；对留白处理后的至少两张待拼接航拍图进行拼接后获得初始拼接图，将所述正射外接矩形图进行扩充，所得到的扩充矩形图和所述初始拼接图融合得到结果拼接图。利用本发明能够有效解决拼接低空航拍产生的非正射、鬼影、错切问题。

技术领域

本发明属于图像处理技术领域，尤其涉及一种低空航拍图像拼接方法和系统。

背景技术

无人机由于其机动性强、易于操作、成像分辨率高等特点，在进行侦察、监测等任务时容易获得目标区域较为清晰的地貌特征和细节纹理，但是受制于无人机的飞行高度、相机角度以及图片分辨率的限制，单张航拍图片只能包含局部区域，无法获得目标区域的全貌。通过对系列航拍图像进行拼接则可以获得该区域的全景图，在一定程度上解决这个问题。但是，当无人机低空在建筑区上方飞行时，部分建筑物高度相对于无人机高度将不再可以忽略不计，此时传统的拼接方法无法满足图像拼接中景深远大于焦距的假设，直接进行拼接将产生两个问题：1、同一建筑物的侧视图和正视图同时出现时影响图像配准，产生鬼影和错切问题；2、非正射图像会对周围对象形成遮挡，造成拼接后图片的细节损失。

目前，如果能够已知高精度数字高程模型(DEM)，可以对图片进行微调从而得到正射影像(DOM)进行拼接；但是DEM获取困难，且十分耗时；此外，三维重建技术在恢复点云过程中极易产生误差，使得矫正后的拼接结果并非完全正射拼接。

发明内容

本发明针对现有技术的缺陷，提供一种低空航拍图像拼接方法和系统，能够适应拍摄环境变化，有效的解决低空航拍遇到的拼接图片非正射、鬼影、错切问题。

本发明首先提供一种低空航拍图像拼接方法，包括以下步骤：

步骤S1，搭建语义分割网络，采集低空航拍图像数据集，所述图像数据包括对显著建筑物进行多角度俯拍的图像数据，所述显著建筑物的建筑高度达到设定的高度阈值，对所述显著建筑物进行标注，将经标注的图像数据送入语义分割网络进行训练，得到经训练的语义分割模型；

步骤S2，将至少两张分别包含至少同一显著建筑物的待拼接航拍图送入经训练的语义分割模型中进行针对所述显著建筑物的检测和像素级分割，获取所述显著建筑物的外接矩形图，并在所述待拼接航拍图中对应所述外接矩形图的区域留白，通过计算各外接矩形图和对应的各待拼接航拍图中心的欧式距离获得正射性最佳的正射外接矩形图；

步骤S3，对留白处理后的至少两张待拼接航拍图进行特征提取、图像配准和图像融合后获得初始拼接图，将所述正射外接矩形图在对应的待拼接航拍图进行扩充，所得到的扩充矩形图和所述初始拼接图经特征提取、图像配准和图像融合后形成结果拼接图。

进一步地，在步骤S1中，以灰度值作为标签，对数据集中的显著建筑物与数据集中的其他背景图像进行标注区分。

进一步地，在步骤S1中，搭建水域识别的语义分割网络SegNet_UAV,所述SegNet_UAV为基于SegNet改进的编码-解码对称网络模型，在特征提取上采用双路特征提取方式，一路特征提取基于常规卷积方式，另一路特征提取基于空洞卷积方式，所述SegNet_UAV引入残差连接。

进一步地，在步骤S1中，将经处理的图像数据集送入语义分割网络训练后，将测试集送入网络测试，当测试集的平均像素精确度达到设定阈值时，则视为网络模型训练完毕，像素精确度的计算公式为：