[发明专利]一种基于多传感器融合的实时动态语义建图方法与系统

权利要求书

1.一种基于多传感器融合的实时动态语义建图方法，其特征在于，所述基于多传感器融合的实时动态语义建图方法，包括：

步骤1、训练语义分割网络和动态物体分割网络；

步骤2、获取目标环境的彩色图像、深度图像以及事件帧，基于时间戳匹配图像，得到彩色图像序列、深度图像序列和事件帧序列；

步骤3、提取彩色图像序列中每一帧彩色图像的特征点，得到第一特征点集，通过所述语义分割网络对所述彩色图像序列和深度图像序列逐帧进行语义分割，得到各帧的语义分割结果，所述语义分割结果包括彩色图像的语义mask和置信度；

步骤4、通过所述动态物体分割网络对所述事件帧序列逐帧进行动态物体分割，得到各帧的动态物体区域，基于所述第一特征点集去除各帧动态物体区域内的特征点，得到第二特征点集；

步骤5、将所述第二特征点集中的每一帧与前一帧的特征点进行特征匹配，并结合非线性优化方法得到全局最优相机位姿序列；

步骤6、基于所述语义分割结果、全局最优相机位姿序列和深度图像完成语义八叉树建图。

2.如权利要求1所述的基于多传感器融合的实时动态语义建图方法，其特征在于，所述训练语义分割网络和动态物体分割网络，包括：

将语义分割网络先基于公开数据集进行训练，训练后利用深度相机采集并标注的彩色图像和深度图像进行微调，得到的网络权重加载至语义分割网络，完成语义分割网络的训练；

将动态物体分割网络先基于合成数据集进行训练，训练后利用事件相机采集并标注的事件帧进行微调，得到的网络权重加载至动态物体分割网络，完成动态物体分割网络的训练。

3.如权利要求1所述的基于多传感器融合的实时动态语义建图方法，其特征在于，所述事件帧的获取如下：

基于事件相机采集事件序列，所述事件序列为(x,y,p,t)，其中(x,y)为事件坐标，p为正负极性；t表示当前事件的时间信息；

设置时间窗，按照时间窗的长度将事件序列转为事件帧，转换得到的事件帧分为三通道，其中：

将所有p为正极性的事件累加，每个(x,y)位置处的累计事件个数作为(x,y)坐标处的像素值，得到事件帧的第一通道；

将所有p为负极性的事件累加，每个(x,y)位置处的累计事件个数作为(x,y)坐标处的像素值，得到事件帧的第二通道；

将平均时间面作为事件帧的第三通道，时间窗内每个(x,y)位置处的累计事件数为I_x,y，则平均时间面为

4.如权利要求1所述的基于多传感器融合的实时动态语义建图方法，其特征在于，所述基于语义分割结果、全局最优相机位姿序列和深度图像完成语义八叉树建图，包括：

取归属于同一帧的语义分割结果、全局最优相机位姿和深度图像；

根据全局最优相机位姿和深度图像将语义分割结果映射至三维坐标系，得到三维坐标点；

对三维坐标点进行体素滤波；

取体素滤波后的三维坐标点进行语义融合，完成针对当前帧的语义建图；

继续取下一帧的语义分割结果、全局最优相机位姿和深度图像进行语义建图，实现实时动态语义建图。

5.如权利要求4所述的基于多传感器融合的实时动态语义建图方法，其特征在于，所述根据全局最优相机位姿和深度图像将语义分割结果映射至三维坐标系，得到三维坐标点，包括：

取语义分割结果中一个像素的二维坐标点P为(u,v)；

根据深度图像得到二维坐标点(u,v)处的深度信息为Z；

根据相机内参(f_x,f_y,c_x,c_y)得到二维坐标点(u,v)转换到相机坐标系下的三维坐标点P_c为然后经过全局最优相机位姿(R,t)变换得到世界坐标系下的三维坐标点P_W＝RP_c+t，其中R为旋转矩阵，t为平移向量。