[发明专利]用于估计运动的方法、移动代理以及编码有用于使得处理器执行用于估计运动的方法的计算机程序代码的非暂时性计算机可读介质

说明书

技术领域

本发明的实施例总体上涉及用于运动估计的方法和系统，具体地，涉及用于对自身运动(ego-motion)进行基于视觉的计算的方法和系统。

背景技术

对车辆相对于车辆行驶的表面路径的自身运动进行精确估计可以是用于自动驾驶和基于计算机视觉的驾驶辅助的关键要素。与其他传感器相比，使用一个或更多个摄像机来计算自身运动可以允许将自身运动数据集成到其他基于视觉的算法(例如，障碍物检测和/或回避、行人检测和/或回避、物体检测和/或回避以及其他基于视觉的算法)中，而不需要在传感器之间进行校准。这可以减少维护要求和成本。仅使用来自被附接到代理(agent)(例如，车辆、人、机器人和其他移动代理)的一个或更多个摄像机的输入来估计该代理的自身运动的过程被称为视觉里程计(VO)。

在VO中，通过检查由于移动代理的运动引起的在由一个或更多个机载摄像机获得的图像上的变化，来增量式地估计移动代理的姿态。为了使VO有效地工作，可能需要充分的环境照明和具有足够纹理的静态场景，以允许提取明显的运动。此外，应当捕获时间连续的帧以确保充分的场景交叠。

用于提供运动估计的VO的一个优点在于：VO不受不平坦地形和其他不利条件下的车轮滑移的影响。此外，VO可以向其他运动估计过程和系统(例如，全球定位系统(GPS)、惯性测量单元(IMU)、激光里程计和提供运动估计的其他系统)提供重要的补充信息。此外，在拒绝GPS的环境(例如，水下、空中和可能拒绝GPS的其他环境)以及GPS信息由于例如多径、卫星覆盖差和其他可靠性因素而不可靠的环境中，可能增加VO的重要性。

使用专门的视频输入来估计运动的许多运动估计算法假定了静态场景。此外，使用专门的视频输入来估计运动的许多运动估计算法不能处理动态和/或混乱的环境或由过往车辆产生的较大遮挡。此外，运动估计中的特征匹配和异常值去除可能不是鲁棒的，且可能随后失败。许多运动估计方案需要大量的关键点，且在缺少结构的场景中可用的关键点数量有限的情况下，这些运动估计方案可能失败。

不依赖于上述假设并克服上述限制的实时VO方法和系统可能是期望的。

发明内容

本发明的一些实施例包括用于使用摄像机来估计自身运动的方法和系统。

根据本发明的第一方面，精确校准的摄像机可以相对于移动代理和地平面被刚性安装在移动代理上。通过假定移动代理行驶在主要为平面状的地平面上，从而在移动代理行驶期间的每个时刻保持固定的摄像机与地面关系，可以将移动代理在任何时刻的运动的参数表示从六个自由度简化到三个自由度。

根据本发明的第二方面，可以从摄像机接收输入图像。根据本发明的第三方面，可以对接收的输入图像执行特征检测。根据本发明的第四方面，可以计算针对每个检测到的特征的特征描述符。根据本发明的第五方面，可以在针对接收的输入图像计算出的特征描述符和针对先前接收的图像计算出的特征描述符之间执行特征匹配。根据本发明的第六方面，可以将与特征对应关系相关联的关键点从图像坐标投影到世界坐标。根据本发明的第七方面，可以根据与特征对应关系相关联的世界坐标对来计算运动估计。根据本发明的第八方面，当检测到关键姿态(key pose)时，可以产生全局坐标系下的当前摄像机姿态。根据本发明的第九方面，可以根据当前摄像机姿态确定运动轨迹。根据本发明的第十方面，可以将针对先前接收的图像计算出的特征描述符更新为针对接收的输入图像计算出的特征描述符。

在结合附图考虑本发明的以下详细描述时，本发明的以上和其它目的、特征和优点将更易于理解。

附图说明

图1是示出了本发明的示例性实施例的图，其包括：对接收的输入图像执行特征检测；计算每个检测到的特征的特征描述符；在针对接收的输入图像计算出的特征描述和针对先前接收的图像计算出的特征描述符之间执行特征匹配；将与特征对应关系相关联的关键点从图像坐标投影到世界坐标；根据与所述特征对应关系相关联的世界坐标对计算运动估计；当检测到关键姿态时，在全局坐标系下产生当前摄像机姿态；根据当前摄像机姿态确定运动轨迹；以及将针对先前接收的图像计算出的特征描述符更新为针对接收的输入图像计算出的特征描述符；

图2是示出了与本发明的实施例相关的多个坐标系的图片；

图3是示出了根据本发明示例性实施例的移动代理平台上的示例性摄像机配置的图片；

图4是示出了包括基于绝对取向(基于AO)的运动估计的本发明的示例性实施例的图表；以及

图5是示出了包括基于正交Procrustes分析的运动估计的本发明的示例性实施例的图表。