[发明专利]一种基于深度学习的语义地图构建方法

权利要求书

1.一种基于深度学习的语义地图构建方法，其特征在于，具体包括如下步骤：

步骤1：对安装在机器人上方的深度摄像头进行标定，通过RGBD图像配准计算位姿，根据输入点云利用ICP算法求解位姿；

步骤2：在步骤1计算出位姿后，同时深度相机实时采集周围环境图像信息，使用openGL将当前帧的点云和已重建的部分进行融合，进行三维地图的建立；

步骤3：将RGBD相机获取到的当前时刻图像和前一个关键帧的特征进行匹配，判断当前时刻图像是否为关键帧；

假设不是关键帧，则查找新的图片，确定新的关键帧；

假设是关键帧，则将关键帧送入改进的PSP-Net模型中进行二维语义信息的提取，获得实时图像的二维语义信息，再进行闭环检测，得到闭环结果；

步骤4：将步骤2中建立的三维地图作为输入，和步骤3中二维图像语义分割结果送入Elastic fusion模型进行三维语义分割地图的重建。

2.根据权利要求1所述的一种基于深度学习的语义地图构建方法，其特征在于，步骤1中，根据输入点云利用ICP算法求解位姿的具体过程如下；

步骤1.1：对RGBD深度相机获取的两幅深度图像做3层抽样，再对于抽样后的两幅深度图像做滤波，点云配准以coarse-to-fine的方式进行迭代；

步骤1.2：在给定深度图像内参情况下，通过原始未抽样的深度图像计算点的三维点云坐标，用于点云的配准和融合，对于滤波后的两幅深度图像也计算三维点云坐标，用于计算法向量；

步骤1.3：根据步骤1.2中求得的两幅深度图像点云坐标，通过投影算法计算一幅图像在另一幅图像中的投影像素坐标；

步骤1.4：根据步骤1.3中的计算的匹配点，再计算匹配点的极小化点到平面距离计算位姿，使得目标函数误差小于设定的最小值时，或者到达设置的迭代次数停止迭代，否则进入步骤1.3。

3.根据权利要求2所述的一种基于深度学习的语义地图构建方法，其特征在于，步骤1.3中，投影像素坐标函数表达式如下：

k(u_d,v_d,1)＝KT_jip_i (1)

其中，k(u_d,v_d,1)：投影像素坐标函数，

p_i：深度图像i中点的三维坐标，

T_ji：从深度图像i到深度图像j的位姿，

K：相机内参数，

(u_d,v_d)：p_i在深度图像j中的投影像素坐标。