[发明专利]一种基于异构模态数据算法的VSLAM多模态数据均衡的系统

说明书

本发明公开了一种基于异构模态数据算法的VSLAM多模态数据均衡的系统，包括传感器数据采集模块、视觉里程计、处理器、回环检测模块和输出模块；传感器数据采集模块：用于获取多源异构信息，包括多个模态的源信息和目标信息；视觉里程计：用于通过相邻帧的运动轨迹串连，构成载体的运动轨迹，根据估算的每个时刻的位置，计算出个像素的空间点的位置，得到地图信息；处理器：分别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型；输出模块：用于输出回环检测模块的检测结果；传感器数据采集模块有两个模态的源信息和目标信息，包括RGB图像信息和每个像素的深度信息；具有精度高等优点。

技术领域

本发明涉及VSLAM信号处理技术领域，尤其涉及一种基于异构模态数据算法的VSLAM多模态数据均衡的系统。

背景技术

一般深度学习通过神经网络的多层非线性转换将原始信息学习到高层语义层，不过这种方法在多模态数据的情况下，由于采用不同传感器获得的异构域数据间的语义差别较大，共享特征精准度难以保证，造成多模态数据在神经网络不同层上的数据均衡性偏差。本申请提供一种基于异构模态数据算法的VSLAM多模态数据均衡的系统，研究多层语义匹配的异构模态数据迁移融合算法，优化学习异构模态私有深度匹配网络和模态高层语义共享空间，完成源域模态知识到目标域任务的迁移融合。

发明内容

本发明所要解决的技术问题在于，一般深度学习通过神经网络的多层非线性转换将原始信息学习到高层语义层，不过这种方法在多模态数据的情况下，由于采用不同传感器获得的异构域数据间的语义差别较大，共享特征精准度难以保证，造成多模态数据在神经网络不同层上的数据均衡性偏差，所以提供一种基于异构模态数据算法的VSLAM多模态数据均衡的系统，所述基于异构模态数据算法的VSLAM多模态数据均衡的系统包括：

传感器数据采集模块、视觉里程计、处理器、回环检测模块和输出模块；

所述传感器数据采集模块：用于获取多源异构信息，包括多个模态的源信息和目标信息；

所述视觉里程计：用于通过相邻帧的运动轨迹串连，构成载体的运动轨迹，根据估算的每个时刻的位置，计算出个像素的空间点的位置，得到地图信息；

所述处理器：分别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型，其中单模态源深度迁移学习模型是通过源数据集预先训练得到的，所述目标深度迁移学习模型是通过目标数据集训练得到的，且单模态源深度迁移学习模型中未完全连接的层和参数被迁移至目标深度迁移学习模型中的对应层次中；处理器还将多个目标深度迁移学习模型输出的特征进行选择和融合，然后得到多模态特征并回环检测模块进行检测；

所述输出模块：用于输出回环检测模块的检测结果；

所述传感器数据采集模块有两个模态的源信息和目标信息，包括RGB图像信息和每个像素的深度信息。

进一步地，所述单模态源深度迁移学习模型包括卷积层、池化层和全连接层。

进一步地，所述目标深度迁移学习模型中包括卷积层、池化层、全局池化层、第一全连接层、批量规范化层、舍弃层和第二连接层，所述卷积层、池化层是由训练好单模态源深度迁移学习模型直接迁移而来。

进一步地，所述卷积层描述为：

，

其中，代表着对输入特征图进行选择，代表第l-1层的第i个特征图，对应为第l层中的第i个输入，代表着第l层输出的第j个特征图，代表着第l层中第i个输入对应第j个输出的核函数，代表第l层对应第j个输出的初始偏置。

进一步地，所述池化层描述为：

，

其中，代表着第l层池化输出的第j个特征图，pool是一个用来求领域平均值或最大值的函数。

进一步地，所述批量规范化层中通过加入了β和γ两个训练参数实现批量规范，使其输出均为0，方差为1，具体过程为：

，