[发明专利]带有深度增强视觉传感器的基于事件的三维SLAM方法

摘要

本发明提供了一种带有深度增强视觉传感器的基于事件的三维SLAM方法，该方法首先使用嵌入式动态视觉传感器直接生成动态变化的稀疏事件流，然后将嵌入式动态视觉传感器和一个单独活动的深度感应传感器相结合得到具有深度信息并被增强的像素事件；将上述像素事件作为基于事件的三维SLAM方法的唯一输入，通过选取粒子增量模型、离散概率稀疏体素网格建模生成局部地图、迭代更新局部地图生成全景地图。该方法无需使用特定硬件，能以比实时速度快20倍速度处理，以百赫兹的频率进行位置更新，并产生良好的效果，具有低内存需求、低功耗及高效的计算率等优点。

主权项

1.一种带有深度增强视觉传感器的基于事件的三维SLAM方法，其特征在于：该方法包括如下步骤：步骤1：输入数据流的生成：步骤1.1：动态视觉传感器(eDVS)生成稀疏事件流：使用嵌入式动态视觉传感器直接生成动态变化的稀疏事件流，该过程只需要硬件支持而无需软件进行预处理；步骤1.2：D‑eDVS获取深度信息增强像素事件：所谓D‑eDVS是将嵌入式动态视觉传感器和一个单独活动的深度感应传感器(RGB‑D)相结合，对两个传感器上对应像素进行校准；深度感应传感器能够获取动态视觉传感器上每个生成事件的对应像素位置的深度信息，从而得到带有深度信息并被增强的像素事件；步骤1.3：深度图像增强逆操作：对于深度图像的增强事件来说逆操作是必须的，通过为每个新的深度帧更新一个固定尺寸的深度地图；对于每个新的事件，在深度地图中进行一次查找，为最小深度值检索出一个像素邻域作为事件深度；所述的新的深度帧为动态视觉传感器中所看到的场景中的当前深度映射值；步骤2：基于事件的三维SLAM：步骤2.1：选取粒子增量模型：步骤2.1.1：使用动态的贝叶斯网络颗粒滤波方法，跟踪摄像机当前的位置和方向，具体过程如下：把当前的系统状态建模成一个时间的随机变量值X_k，X_k只使用当前的电量测量Z_k来推断；概率密度通过N个颗粒(p_i，s_i)的集合实现，其中每个颗粒表示一个可能的系统状态p_i以及一个相应的得分s_i，s_i预示如何更好的表示最新的观测计算，下一帧的颗粒选取基于这个得分，这个步骤称为重采样，该过程是迭代的；其中，当前的摄像机姿态用特殊的欧几里德组表示，p_i＝(t_i，q_i)∈SE(3)，位置方向为q_i∈SE(3)；最后的测量状态Z_k使用马尔科夫假设，基于帧的摄像机作为一个完整的图像来为得到高分的粒子提供足够的证据，马尔科夫假设适用于这种摄像机，这个测量状态替代整个的测量历史记录Z_k＝(Z₁，......，Z_k)，如公式所示：P(X_k|z_k)∝P(Z_k|X_k)∫P(X_k|X_t‑1)P(X_t‑1|Z_t‑1)dX_t‑1其中，传感器模型P(Z_k|X_k)定义了一个给定状态得到当前测量值的可能性；运动模型P(X_k|X_t‑1)描述系统中的动态变化，在上述过程中，没有使用额外的传感器，因此运动模型是个简单的随机扩散过程；步骤2.1.2：对于基于事件的情况，个别事件是非常模糊的同时也没有携带足够的信息来评价颗粒，由于这些原因，马尔科夫假设不再适用，需要选择一个增量模型，在这个增量模型中，粒子的评估不仅依赖于当前的电量测量，同时也依赖于近期的测量结果；对于每个新的事件e_k粒子分数s_i通过使用指数递减模型进行更新，公式如下：s_i＝(1‑α)s_i+αP(Z_k＝e_k|X_k＝p_i)其中，衰减常数α为当前事件与之前的事件对比的影响，α直观的推导为α＝1‑(1‑β)^1/k，其在最后的K个事件的衰减常数对整个粒子得分s_i的影响为β∈[0，1]；步骤2.1.3：为了提高运算性能，减少运动模型中粒子扩散所耗费的时间，首先通过两个正态分布的协方差的和来求两个正态分布的和，然后在B事件的小批次中收集事件，即B＝3，把它们当作一个信息包，这使得每一小批的标准差乘以根号B执行一次正常的扩散，如以下公式所示：步骤2.2：离散概率稀疏体素网格建模生成局部地图：地图M：地图M中的每个像素标明当摄像机移动时这个点会生成一个事件的可能性，因此传感器模型公式如下：其中，常数是尺寸坐标中的体素的大小，它的标准值是0.01米；步骤2.3：为每个事件进行迭代局部地图更新，生成全景地图；更新方式如下：此处p^*∈SO(3)是当前最新粒子的姿态，表示最接近的整数。