[发明专利]一种基于卷积神经网络的景象匹配导航方法及装置

权利要求书

1.一种基于卷积神经网络的景象匹配导航方法，其特征在于，包括以下步骤：

S1，在无人机系统中搭载多种传感器以及目标无人机上搭载俯视相机与机载计算单元，储存带有目标飞行区域真实地理信息的基准地图，并且于所述机载计算机单元提前部署好训练完成的卷积网络模型；

S2，基于所述无人机系统对定位系统进行初始化，通过所述定位系统和多种传感器得到当前无人机系统的飞行位置、飞行航向以及飞行高度三个初始数据，通过所述三个初始数据提取得到首次进行视觉匹配的目标图像区域，以开始视觉匹配导航过程；

S3，基于所述视觉匹配导航过程，算法输入端从所述俯视相机读取得到当前时刻无人机的实时航拍图像，基于实时航拍图像之间的相对位姿变化，得到当前实时帧图像绝对位姿信息的单应矩阵，以获得绝对定位结果；

S4，基于所述单应矩阵，从所述基准地图中提取与当前无人机飞行区域接近的基准子图，以构成实时图-基准子图图像对；

S5，将所述基准子图与所述实时航拍图象进行匹配对准，引入所述基准地图的绝对定位信息优化所述绝对定位结果，以得到最终定位结果；

S6，保存所述实时航拍图像及最终定位结果，作为下次定位的相对定位约束信息，等待下一个进行视觉定位的航拍图像输入，得到输入航拍图像之后直接进行所述S3，循环进行图像序列的定位任务。

2.根据权利要求1所述的基于卷积神经网络的景象匹配导航方法，其特征在于，所述S3，包括：

S3.1，当t为初始时刻，根据系统输入，获取实时航拍图像I_t所对应的绝对定位信息，将初始航拍图像作为图像序列定位的迭代初始，进入下一帧的定位过程中提供相对定位约束；

S3.2，当t不为初始时刻，I_t为中间某一时刻的无人机实时航拍图，在相对定位过程中，通过计算I_t与上一帧实时航拍图I_t-1之间的相对位姿变化，得到相对单应矩阵结果计算公式为：

完全展开得到如下形式：

其中，根据图像帧间位置递推得到的相对单应矩阵结合上一帧实时航拍图正确的绝对位姿信息得到表示当前实时帧图像绝对位姿信息的单应矩阵储存当前绝对单应矩阵用于当前帧后续定位过程使用。

3.根据权利要求2所述的基于卷积神经网络的景象匹配导航方法，其特征在于，所述S5，包括：

S5.1，采用经过训练之后的VGG16卷积神经网络作为图像对特征提取器，在预先的训练过程中，选择不同时间、季节的城区、郊区的遥感图像，构成待匹配图像对，以模拟实际匹配过程中所面临的季节、光照以及建筑物变化。

4.根据权利要求3所述的基于卷积神经网络的景象匹配导航方法，其特征在于，所述S5，还包括：

S5.2，基于所述S5.1中神经网络提取得到的图像特征，设计对于卷积网络特征图的直接法匹配方式，优化目标如下所示：

其中，求和符中x∈Ω的含义是所选取的特征点对象x属于某一个点集Ω，点集的区域代表通过卷积网络提取得到的深度特征图的每个像素位置，F_I(x)代表的是实时图I上的x点处的特征，F_M(W(x；p))代表的是基准图M上的位置为W(x；p)的特征，W(x；p)函数代表的是图像变换操作，自变量为目标变换坐标x，函数中的变换参数为p，W(x；p)为进行变换之后的结果，通过变换参数p的选取，优化目标E(p)达到阈值，变换参数p为基准地图M与实时航拍图I之间变换的单应矩阵H变换为向量的形式；

对于图像变换参数p使用泰勒展开的方式进行迭代求解，得到第一变换参数，所述第一变换参数为与基准卫星地图对准之后得到绝对单应矩阵

5.根据权利要求4所述的基于卷积神经网络的景象匹配导航方法，其特征在于，所述S5，还包括：

S5.3，基于所述绝对单应矩阵返回算法初始状态，在基准图中提取相应区域的基准子图，进入所述S4提取基准子图并进行特征提取以及直接法对准，以细化所述绝对单应矩阵作为最终当前无人机航拍图位置的定位输出。