[发明专利]一种基于语义先验的视觉里程计方法

权利要求书

1.一种基于语义先验的视觉里程计方法，其特征在于包括如下步骤：

S1、采用语义先验信息构造语义先验模块，并在语义先验模块的基础上构建卷积神经网络并训练；所述语义先验模块是采用编码解码结构，在编码器部分使用ResNet101作为主干网络；解码器部分使用8个卷积层、2个上采样层和1个池化层，用于对当前图像帧进行分析，产生语义概率图，作为先验信息送入深度图估计模块中；

S2、通过图像采集模块，得到相应的彩色图像序列；所述图像采集模块是使用单目相机采集视频，并按照10帧的采集速率将视频归一化为128*416像素大小的图像序列；

S3、将图像序列的图像依次输入语义先验模块，计算得到相应的语义概率先验信息；

S4、将图像序列的图像依次输入深度图估计模块，计算得到相应的深度图；所述深度图估计模块是采用编码解码结构，在编码器部分使用7层卷积层；解码器部分使用7层反卷积层，用于估计得到输入图像对应的深度图；

S5、向相机位姿估计模块输入相邻的三张图像，对图像特征镜像提取，利用提取到的特征实现相机位姿的估计；所述相机位姿估计模块是采用一个具有5层卷积层和29个残差模块的编码器实现，用于估计得到输入的相邻两帧图像间的相对位姿变换矩阵；

S6、将相机位姿估计模块得到的相机位姿的估计输入位姿处理模块，产生相机运动轨迹；所述位姿处理模块是对相机位姿估计模块产生的相对位姿变换矩阵进行累加，以产生相机运动轨迹；

所述步骤S1中卷积神经网络包括语义先验模块、深度图估计模块、相机位姿估计模块；

所述语义先验模块的主干结构为ResNet 101网络，在主干结构后依次为5条并列通道、一个1×1卷积层、一个4倍双线性上采样层、两个3×3卷积层和一个4倍双线性上采样层，最终输出8通道的语义概率先验图；所述5条并列通道包括：第一条通道为一个1×1卷积层，第二、3、4条通道结构相同，均为一个3×3卷积层，第五条通道为一个3×3卷积层和池化层，每条通道后均包含一个全局平均池化层；

所述深度图估计模块依次包括第一卷积层、第一注意力机制层、第二卷积层、第二注意力机制层、第三卷积层、第三注意力机制层、第四卷积层、第四注意力机制层、第五卷积层、第六卷积层、第七卷积层、第七反卷积层、第六上下文连接层、第六反卷积层、第五上下文连接层、第五反卷积层、第四上下文连接层、第四语义概率融合机制层、第三上下文连接层、第三语义概率融合机制层、第二上下文连接层、第二语义概率融合机制层、第一上下文连接层、第一语义概率融合机制层；

所述第一语义概率融合机制层、第二语义概率融合机制层、第三语义概率融合机制层、第四语义概率融合机制层结构相同，依次为所述语义先验模块、第一语义4×4卷积层、四个第二语义1×1卷积层、两个第三语义1×1卷积层、第四语义1×1卷积层、第一语义加法器、第一语义乘法器、两个第五语义1×1卷积层、第二语义加法器；所述第一语义1×1卷积层的输出端与第一语义加法器连接，所述第四语义1×1卷积层与第一语义乘法器连接，所述第五语义1×1卷积层与第二语义加法器连接；所述第二语义加法器的输出端为语义概率融合机制层的输出端，用于产生语义概率图，所述语义先验模块的输入端为语义概率融合机制层的输入端，所述第一语义乘法器的输入端与深度图估计模块的反卷积层连接；所述语义概率图的数据格式为128×416×8，其中128为语义概率图的高度，416为语义概率图的宽度，8为语义概率图的通道数；

所述第一注意力机制层、第二注意力机制层、第三注意力机制层、第四注意力机制层结构相同，均包括第一注意力通道模块和第二注意力通道模块：

所述第一注意力通道模块的输入端为注意力机制层的输入端，结构依次包括第一通道全局平均池化层、第一通道1×3卷积层、第一全连接层和第二全连接层；所述第一通道全局平均池化层的输入端为第一注意力通道模块的输入端，所述第二全连接层的输出端为第一注意力通道模块的输出端；

所述第二注意力通道模块的输入端为注意力机制层的输入端，结构依次包括两个第二通道1×1卷积层、两个第二通道3×3卷积层、第一加法器、第一激励函数层、第二加法器；所述第二通道1×1卷积层的输入端为第二注意力通道模块的输入端，所述第一加法器与第一注意力通道模块的输出端连接，经过第一激励函数层与第二加法器连接，所述第二注意力通道模块的输入端与第二加法器连接，所述第二加法器的输出端为第二注意力通道模块的输出端，所述第二注意力通道模块的输入端为注意力机制层的输出端；

所述上下文连接层为第六卷积层与第六反卷积层连接，第五卷积层与第五反卷积层连接，第四卷积层与第四语义概率融合机制层连接，第三卷积层与第三语义概率融合机制层连接，第二卷积层与第二语义概率融合机制层连接，第一卷积层与第一语义概率融合机制层连接。