[发明专利]基于特征提取与降维神经网络的视觉SLAM闭环检测方法

权利要求书

1.基于特征提取与降维神经网络的视觉SLAM闭环检测方法，其特征在于：本方法包括以下步骤：

第一步、构建卷积神经网络部分模型；选择基本单元，指定合适的数量堆叠起来，建议选择10到30个基本单元；

第二步、网络训练；利用场景数据集，对第一步中构建的卷积神经网络部分模型做训练，使之能够提取图像特征；

第三步、自编码器网络部分构建；构建自编码器；

第四步、自编码器网络的训练；利用训练数据集对自编码器网络进行训练；使得自编码器网络可以对特征进行降维；

第五步、将训练好的卷积神经网络模型和自编码器模型组合起来，形成最终的特征提取与降维神经网络模型；

第六步、将图像输入到特征提取与降维神经网络中，得到输出，即为图像的特征；

第七步、闭环检测；将第六步得到的图像的特征与之前图像特征作对比；若两张图像对应的特征向量的相似度高于一定的阈值，则认为这两张图像对应的位置形成闭环；

第一步中：

基本网络单元构建卷积神经网络中，“1x1”表示尺寸为1x1的卷积核，用来控制生成的特征图的数量；“3x3”表示尺寸为3x3的卷积核，用来进行特征提取；“BN”表示BatchNormalization，用来对卷积层输出进行规范化，加快网络训练速度；为表示方便，将基本网络单元简化，其中Base-Block后的n表示此模块由n个Base-Block单元级联而成；width,height表示此模块的生成的特征图的尺寸为width x height即宽x高，depth表示此模块生成的特征图的数量；将不同的模块级联起来，同时加上最大池化层；最后加上全局池化层和softmax层，用来进行分类；

第二步中：

训练卷积神经网络；采用场景分类数据集对第一步中构建的卷积神经网络进行训练；训练的目标是要对训练图像与测试图像具有高的分类准确率；对于给定图像，记为x，采用了softmax分类层的网络需要输出此图像对应每一个类别j的概率p(y＝j|x)；对每一幅图像，网络最终都将输出对每一个类别的概率；将其中最大的概率值对应的类作为分类结果；假设分类层对应的映射h_w(x)定义如下：

其中θ₁,θ₂,…,θ_k为分类模型参数，k为分类的类别数，y为模型预测的类别，e为自然对数的底；网络训练采用mini-batch方式进行训练，更新网络参数；假设训练数据批次中样本量为m，网络的损失函数Loss(θ)为：

其中，x⁽ⁱ⁾为训练批次中第i个样本，y⁽ⁱ⁾为第i个样本的实际类别对应的标签；

采用Adam算法进行网络的参数更新，具体更新策略如下：

m_t＝β₁m_t-1+(1-β₁)g_t

其中Loss为定义的损失函数，θ_t为模型参数，g_t为损失函数对变量的梯度，α和β₁、β₂为算法参数；通过在场景分类数据集上进行训练，使网络学习到特征提取能力；

第三步中：

构建自编码器，完整自编码器；其中隐藏层神经元数要少于输入层神经元；整个自编码器分为编码部分和解码部分；

第四步中：

自编码器训练；自编码器的功能是让输入通过中间层，在输出层尽可能复现输入；设自编码器输入为x，中间层输出为h，网络输出为y，x和y的维度均为n；神经元的激活函数采用sigmoid函数即：

设网络的编码部分学习的映射为f₁，解码部分学习的映射为f₂，则有：

h＝f₁(x)

y＝f₂(h)＝f₂(f₁(x))

网络的训练目标是要使得网络输出尽可能逼近输入；此处仍采用批量数据进行训练，假设训练批次中样本数量为m；网络的损失函数定义为：

其中表示训练批次中第i个样本的第j个分量，表示第i个样本对应的输出的第j个分量；使用Adam算法进行网络的参数更新；

网络训练完成后，在输出层能够复现输入；由于网络的中间层神经元数量小于输入层神经元数，因此网络学习的不是恒等映射；中间层输出通过学习到的映射在输出层复现输入，由此可知中间层包含了所有输入层的信息，并且以一种新的方式对输入信息进行表达；由于中间层的神经元数小于输入层，因此认为中间层对输入信息进行了降维处理；

第五步中：

将第二步训练完成的卷积神经网络与第四步中训练完成的自编码器网络级联，组合成新的网络模型；对于卷积神经网络，需要其对于图像的特征提取能力，经过试验验证，选择Maxpool_5层的输出作为最终的图像特征；因此去掉Maxpool_5层之后的部分网络；对于自编码器网络，如第四步中所述，中间层基本保留了输入的全部信息，并且中间层维数远远小于输入维数，中间层输出即为需要的结果；因此去掉自编码器的解码部分；将自编码器的前两层级联到卷积神经网络的Maxpool_5层之后；Maxpool_5层的输出为维数为8x8x512；级联到卷积神经网络后的自编码器的输入层即为将Maxpool_5层输出调整为32768维的特征向量；

第六步中：

提取图像特征；提出的神经网络模型要求输入图像的尺寸为256x256，因此在提取图像特征时首先要将图像的尺寸调整为256x256的大小；然后将转换后的图像输入网络，取最后层的输出作为图像特征，记作F，并存储起来；

第七步中：

闭环检测；闭环检测的一般策略是将当前图像与之前时刻的图像作对比，如果当前图像与之前某一时刻的图像相似度超过一定程度，则判定拍摄这两张图像时机器人位于同一位置，即机器人的运动轨迹形成了闭环；本方法中使用图像的特征向量之间的欧式距离来度量图像之间的相似度；即特征向量的欧式距离越小，对应的图像的相似度越高。