[发明专利]一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法

说明书

本发明公开一种无人机航空图像的地理定位方法，为了解决航空图像与矢量地图外观、模态等差异，用卷积神经网络提取特征后，设计了空间尺度注意力模块来编码场景的空间布局信息，使得获得的特征更具辨别性。首先，特征选择模块选择重要且有意义的特征，然后使用空间尺度重要性生成模块来关注不同尺度的特征，进一步增强重要物体的特征，抑制场景中干扰物体的特征，同时物体特征的有无也在一定程度上表示场景的空间布局信息，从而也将场景的布局信息嵌入到特征向量中，获得更加鲁棒的特征表示，提高了图像匹配的准确度，进而提高了定位的准确率。本发明在仅检索一幅图像的情况下获得的定位准确率是所参考文献的地理定位方法的2～7倍。

技术领域

本发明涉及无人机航空图像的地理定位方法，具体是一种基于空间尺度注意力机制和矢量地图的地理定位方法。

背景技术

目前，常用的定位系统如GPS、北斗、伽利略定位系统，都高度依赖卫星的导航。典型的商用定位系统在空旷的地区定位的精度为5米，而在高楼周围的精度则大大降低。虽然全球导航卫星系统(GNSS)的实时运动差分测距技术，利用基站和巡视器对载波信号和传输误差修正，可以提供1cm+1ppm的精度，然而，GNSS信号在设计上很弱，很容易面临干扰和欺骗的问题。许多情况下，价格低廉的干扰器已被证明会扰乱民用定位服务，而用错误的位置欺骗接收器是另一种威胁。因此迫切需要通过开发替代或者辅助方式进行精准定位，以减轻GPS信号在定位场景中的不可靠性。基于图像的地理定位是一种很好的替代方案，已经在计算机视觉社区引起广泛关注，逐步成为重要的视觉任务。基于深度学习的图像的地理定位是在地理标记图像的参考数据集中找到一个或一组与查询图像相似的图像来预测该图像的位置(如经纬度)的任务。随着遥感及无人机技术的不断发展，近年来跨平台地理定位技术逐渐成为研究热点。它有重要的计算机视觉应用，像机器人导航、自动驾驶以及AR\VR中的寻路系统。

文献“CVM-Net:Cross-View Matching Network for Image-Based Ground-to-Aerial Geo-Localization”提出了一种基于NetVLAD的跨视角图像匹配方法，该算法首先采用VGG16深度卷积神经网络提取图像对的局部特征，经过全连接层得到相同维度的局部特征向量，然后将局部特征向量送入NetVLAD层，该层将局部特征向量的残差聚集到各自的簇中心点，进而生成全局描述符，以此来克服由于视点变换引起的外观差异，进而提取图像对的视角不变的全局特征描述符。该方法有效地过克服了由于视点变化引起的图像外观的巨大差异，提取到了更具有辨别的图像特征，进而提高了图像匹配的准确率。该方法将地理定位任务当做纯粹的图像检索问题，在解决基于矢量地图的航空图像跨模态地理定位问题时，忽略了图像间的模态差异和场景的空间布局等重要信息，导致定位结果不准确。

发明内容

为克服现有的方法没考虑图像对的模态差异，忽略场景的空间布局等重要信息，导致定位结果不准确的问题，针对航空图像与矢量地图不同的模态、外观，以及物体存在多种尺度的问题，本发明提出一种基于空间尺度注意力机制和矢量地图的航空图像地理定位方法。首先采集航空图像和矢量地图数据集并对矢量地图进行GPS位置信息标注，将数据集划分为训练数据集、验证数据集和测试数据集。然后构建图像匹配网络，整个网络是一个包含相同结构的权重不共享的双分支结构，每个分支网络包括特征提取层和空间尺度注意力模块。特征提取层能够提取高维抽象的图像特征。为了克服模态间的差异，将场景的空间布局信息编码到特征向量；同时为了关注多尺度物体，提取到更加具有辨别性的特征向量，加入了空间尺度注意力模块。用欧氏距离计算空间尺度注意力模块输出的特征间的相似性进行匹配。其次，将训练集中航空图像与矢量地图数据分批次放入网络中，并采用软间隔三元组损失函数和Adam优化器对构建的神经网络进行训练。接着，输入待测试的航空图像，使用训练好的模型通过欧氏距离计算相似性得分进行测试。最后，根据匹配到的最相似的K幅矢量地图，查找对应的GPS位置坐标，得到航空图像的准确位置。利用本发明的方法，可以关注不同尺度的物体，并且基于注意力机制捕捉上下文信息，获得重要且有意义的特征，进而得到场景的空间布局信息，得到更好的定位精度。