[发明专利]一种语义驱动的相机定位与地图重建方法和系统

摘要

本发明公开了一种语义驱动的相机定位与地图重建方法，属于计算机视觉技术领域。本发明首先利用对当前帧图像特征点进行语义分割；之后根据相似度和语义类别，采用同类匹配法对当前帧和关键帧中所有特征点进行匹配获得匹配对；再通过当前帧和关键帧中所有匹配对相机姿态进行初始化；之后结合语义判断采用三维投影法更新特征点匹配对；再利用姿态最小化对所有特征点匹配对进行更新；最后利用相机姿态构建三维地图；本发明还实现了一种语义驱动的相机定位与地图重建系统。本发明技术方案不仅仅在相机定位阶段做了多个处理，也在重建阶段做了点云的约束，使得语义分割与相机定位与重建系统更紧密的结合，得到更精确的定位结果和更完善的重建效果。

主权项

1.一种语义驱动的相机定位与地图重建方法，其特征在于，所述方法具体包括以下步骤：(1)提取当前帧图像的特征点，并利用搭建好的全卷积神经网络对当前帧图像进行语义分割，各个特征点获得对应的语义类别；(2)根据相似度和语义类别，采用同类匹配法对当前帧和关键帧中所有特征点进行匹配，获得特征点匹配对；所述同类匹配法具体包括以下子步骤：(21)根据特征点的语义类别获取当前帧和关键帧中的同一类别物体；(22)计算当前帧和关键帧中同一类别物体中各个物体的点云主方向，若当前帧中某个物体和关键帧中某个物体的点云主方向的差值小于设定阈值，则所述两个物体为物体匹配对；(23)对所述物体匹配对中两个物体所在区域的特征点进行相似度匹配，得到最终特征点匹配对；(3)通过当前帧和关键帧中所有特征点匹配对相机姿态进行初始化；(4)利用相机姿态计算得到当前帧中已匹配特征点d对应的三维点，利用相机内参将三维点投影到当前帧上，判断投影点是否在特征点d所在物体区域内，若不在，则在关键帧未匹配特征点中采用同类匹配法寻找特征点d新的匹配点，构成新的匹配对；(5)利用步骤(4)对所有特征点匹配对进行更新，最小化下式更新相机姿态：其中，exp(ξ^)表示相机姿态的李代数表示形式；n表示特征点匹配对数量；u_i表示第i个特征点匹配对在当前帧中的图像坐标；s_i表示第i个比例因子；p_i表示第i个匹配对在关键帧中的图像坐标；(6)利用新的相机姿态构建三维地图，并根据三维地图中物体的语义类别获取物体的外形特征，将物体中不符合物体外形特征的三维点删除。