[发明专利]一种基于事件相机系统的地面视角单目视觉里程计方法

说明书

本发明提出了一种基于事件相机系统的地面视角单目视觉里程计方法。本发明使用下视事件相机拍摄地面纹理，能够在高速、高动态场景中稳定运行，并且不受前视视角中遮挡和运动物体的干扰。本发明将事件相机输出的事件点沿时间轴压缩，以构建事件帧图像；在事件帧上提取Harris特征点并进行LK光流跟踪，以得到相邻事件帧间匹配的特征点对；根据反投影模型及运动模型求解相机的平移量和旋转量；将相机的平移量和旋转量作为光度误差最小化函数的优化初值，通过高斯牛顿法求解最小化函数得到优化后的平移量和旋转量。本发明将特征点法和直接法结合，实现了半直接法事件相机VO算法，提高了位姿估计的精度和稳定性。

技术领域

本发明属于图像处理领域，尤其涉及一种基于事件相机系统的地面视角单目视觉里程计方法。

背景技术

随着人工智能技术的发展与普及，移动机器人和无人系统受到了越来越多的关注和研究，并取得了重大进展和突破。移动智能平台能够在无需人工干涉的条件下，自主执行各种复杂的任务，在军事、医学、空间、娱乐、家电设备等各个方面有着广泛的应用。在这些应用中，移动机器人往往需要在复杂和动态的室内和室外环境中执行例如自主导航、路径规划、目标检测等任务。为了高效安全地完成这些任务，机器人需要能够在其所处环境中进行自身定位。

在移动机器人及自动驾驶领域中，视觉里程计(Visual Odometry,VO)是实现移动机器人定位的重要技术，利用附着在移动平台上的一个或多个视觉相机来获取周围环境信息，估计出机器人的自身运动。VO算法的精度以及移动机器人的敏捷性与视觉传感器密切相关，取决于传感器的准确性和延时。传感器数据的输出频率以及处理数据所消耗的时间决定了延迟，在目前的技术水平下，基于CMOS摄像头的延迟最小在50-250毫秒，采样率在15-40赫兹，这对移动机器人的灵活性造成了很大的限制。同时，由于曝光时间固定，在场景的光照变化较大以及相机运动速度较快时，相机的成像质量急剧下降，导致VO算法不稳定，鲁棒性较差。

事件相机(Dynamic Vision Sensor,DVS)是近年来新兴的视觉传感器，其受仿生学启发，具有低延时、高动态范围、低冗余、对边缘信息敏感等优势，是视觉里程计系统的理想传感器。首先，低延时保证了移动机器人在快速运动时能够获得实时位姿信息，其次，高动态范围提高了VO系统对极端光照变化的鲁棒性，最后，低冗余的输出流降低了对数据传输带宽的要求。然而，事件相机具有和传统相机截然不同的输出格式，事件相机拥有独立的像素，在场景中有亮度变化时，触发“事件”。其输出的不是强度图像，而是微秒分辨率的异步事件流，因此需要开发针对事件相机的视觉算法，以发挥其优势，从而提高视觉里程计的准确性和稳定性。

基于事件相机的VO算法，致力于弥补普光相机的缺陷，提高自身定位算法在极端条件下的适用性和鲁棒性，近年来取得了不错的成绩。然而，目前基于事件相机的VO算法大多需要附加的传感器(如IMU、普光相机、RGB-D相机)来提供额外信息，传感器之间数据的对齐和时钟同步会给算法带来很大的不确定性。并且，大部分VO算法使用前视相机作为其数据采集传感器，容易受到遮挡、运动物体以及光照变化的影响，导致定位的漂移。

研究人员发现，地面场景如地毯、沥青、瓷砖等具有丰富的纹理信息,并且持久可见，可用于定位。移动机器人在二维平面运动，下视的视觉传感器将场景人为设定为地面，避免了不必要的计算和深度估计的不确定性，同时地面视角不受遮挡和运动物体的干扰。因此，本文使用事件相机的地面视角来实现更加精确、稳定的VO算法，从而实现移动机器人的定位。

发明内容

本发明针对移动机器人的定位问题，提出基于事件相机的地面视角单目视觉里程计，用以解决基于普光的VO算法在环境光动态范围大或自身运动条件不佳时导致的定位精度较低的问题，使用地面视角的视觉传感器简化运动估计问题，并避免运动物体以及遮挡的影响。