[发明专利]一种基于语义逆深度滤波的实时语义地图构建方法

权利要求书

1.一种基于语义逆深度滤波的实时语义地图构建方法，其特征在于，包括以下步骤：

步骤(1)通过相机视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割；

步骤(2)针对步骤(1)中提取的ORB特征和语义分割得到的语义分割结果，通过融合了语义逆深度滤波的跟踪线程得到动态场景下的相机位姿，并筛选出关键帧；

步骤(3)根据步骤(2)中得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型；

所述步骤(2)中，根据提取的ORB特征和语义分割结果，通过融合语义逆深度滤波的跟踪线程得到动态场景下相机位姿，并筛选出关键帧，方法如下：

(2.1)根据提取的ORB特征和语义分割结果，对当前帧图像上的语义静态特征点通过Lucas-Kanade光流法计算稀疏光流，通过计算光流获取到图像特征点匹配点对，进而计算出基础矩阵F；得到基础矩阵F后，再根据极线约束对图像上的静态特征点、潜在动态特征点和动态特征点的运动特性进行二次判断，判断结果由计算出的基础矩阵F进行检验；检验过程中设定一个像素作为阈值，如果当前帧图像中的特征点到它对应极线的直线距离超过该阈值，那么该特征点就被判定为真正的动态特征点，并以此创建出一个可靠的初始地图；

(2.2)在可靠的初始地图基础上，运用基于高斯-均匀混合分布假设的逆深度滤波器，对全地图中3D地图点的内点率π大小进行评估，进而确定某点是否为动态点，并以此为依据对之前获得的可靠初始地图进行更新；

(2.3)将更新后的地图通过ORB-SLAM2框架中的跟踪线程，得到相机精确的旋转量和平移量；根据某一帧的内点数必须超过设定的最小阈值，且重叠度不能大于预定阈值条件筛选出关键帧，降低信息冗余、减少计算机算力损耗，进而实现系统运行平稳、满足实时性的要求；

所述步骤(2.2)中，

其中，内点是指地图中一个静态地图点，且其深度能通过正确的匹配点进行三角化得到的点；内点率π的计算是在将当前时刻(Z,π)的后验概率分布p(Z,π|x₁,…,x_n)近似于一个高斯-贝塔形式分布的基础上进行计算的：

q(Z,π|a,b,μ,σ²)＝N(Z|μ,σ²)Beta(π|a,b)

其中，Z是地图点的真实逆深度，是需要计算出的值；π是该地图点的内点率；x₁,…,x_n为一个地图点逆深度的系列互相独立的观测值,n为观测值的序号；q(Z,π|a,b,μ,σ²)表示(Z,π)服从参数为(a,b,μ,σ²)的高斯-贝塔分布；a,b为概率论中贝塔分布(Beta)中两个大于零的参数；μ,σ²是高斯分布(N)中的期望与方差；

运用矩比较法对p(Z,π|x₁,…,x_n)和q(Z,π|a,b,μ,σ²)分别求得的Z和π的一、二阶矩进行比较，确定新的参数将内点率π的一阶矩作为π的估计值：

设定两个互不相关阈值m,n，当时，跳过内点率π的计算，等待下一次更新；当πn，则该地图点是一个动态点，将其剔除；当πn，则该地图点是一个可靠的静态地图点，并以此为依据对之前获得的可靠初始地图进行更新。

2.根据权利要求1所述的一种基于语义逆深度滤波的实时语义地图构建方法，其特征在于：

所述步骤(1)中，视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割方法如下：

首先对传感器采集的图像数据提取ORB图像特征点，其中，所述ORB图像特征包括“Oriented FAST”特征点和BRIEF描述子两部分，所述“Oriented FAST”特征点具有尺度不变性和旋转不变性，所述BRIEF描述子对“Oriented FAST”提取出特征点的周围图像区域进行描述，然后使用SegNet语义分割网络对当前帧的图像进行语义分割；

通过语义信息将特征点分为静态、潜在动态和动态三类；其中，静态类目标指的是在场景内固定的，被场景内其他物体影响也不会移动的目标；动态目标指场景内持续移动的目标；潜在动态目标指在场景内表现为静态，但在其他物体的影响下也能够移动的目标。

3.根据权利要求1所述的一种基于语义逆深度滤波的实时语义地图构建方法，其特征在于：

所述步骤(3)中，根据相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型，方法如下：

(3.1)根据从跟踪线程中得到的相机位姿和关键帧，通过三角化估计或者RGB-D相机得到每一帧图像中像素对应的深度值；其中三角化估计地图点深度数据方法为：通过在不同的位置观测同一个三维点P，已知在不同位置处观察到的三维点的二维投影点X₁(x₁,y₁)，X₂(x₂,y₂)，利用三角关系，估计出三维点的深度信息；而RGB-D相机是通过红外结构光测量距离，直接得到三维点的深度数据；

(3.2)在得到了某一三维地图点深度数据后，获得该点在此时相机坐标系下的三维坐标；通过之前对图像数据语义分割和基于语义逆深度滤波判定的结果，将语义信息为动态元素的三维点进行剔除；再结合这一帧图像所对应的相机坐标系相对于世界坐标系的旋转量和平移量，将未被删除的地图点在相机坐标系下的坐标转换到世界坐标系下；将世界坐标系下的三维点坐标保存为点云数据处理库PCL可读取的pcd文件，直接对其进行可视化；

(3.3)每处理一帧关键帧，就获取这一帧世界坐标系下的点云数据；将处理的所有关键帧得到的多组点云数据加总到一起，即实时构建出动态场景下的稠密点云模型。