[发明专利]用于特征检测和跟踪的技术

说明书

本公开的各方面涉及用于基于图像数据执行特征检测和/或特征跟踪的技术(系统、设备、方法等)。在各实施例中，所述技术包括或利用包括特征检测组件和可选地特征跟踪组件的SLAM硬件加速器(SWA)。特征检测组件可被配置为对由滑动窗口覆盖的工作数据执行特征检测。特征跟踪组件被配置为执行特征跟踪操作以跟踪一个或多个检测到的特征，例如使用归一化互相关(NCC)或另一方法。

技术领域

本公开一般涉及特征检测和跟踪技术，且尤其涉及对于诸如同时定位和地图构建(SLAM)之类的计算机视觉应用有用的特征检测和跟踪技术。还描述了利用此类技术的方法、设备和系统。

背景技术

同时定位和地图构建(SLAM)是一种计算机视觉任务，其涉及构造和/或更新环境的地图同时还跟踪该地图内的代理/平台的计算问题。各种各样的SLAM算法是已知的，并且常被用于在各种平台的上下文中促进计算机视觉，所述平台诸如自动机器人、自动驾驶载具、虚拟现实(VR)头戴式装置、增强现实(AR)头戴式装置等。许多SLAM算法是针对它们在其上实现的平台可用的资源定制的。例如，视觉SLAM算法可被配置为利用由平台上的一个或多个相机提供的图像数据来确定平台周围的环境的三维地图，以及相机在该地图内的位置(姿态)。在这种情况下，例如随着平台和/或相机移动，环境的地图和平台和/或相机的三维(3D)位置可以通过分析由相机提供的图像的时间序列来估计。

特征(例如拐角)检测通常是许多视觉SLAM算法中的初始图像处理步骤。因此，已经开发了大量的特征(例如拐角)检测器，但在某些应用中这种检测器的实际实现仍然是具有挑战性的。例如，用于视觉SLAM的某些特征检测器被配置为以逐帧为基础检测由相机提供的每秒30帧(30FPS)视频图形阵列(VGA)图像流中的特征。当这种特征检测器关于每个帧中是否存在任何特征(例如拐角)来执行逐像素确定时，可能消耗大量的计算周期、输入/输出(I/O)操作、电力等等。实际上尽管计算能力随着时间大幅增加，但许多现有特征检测器仍消耗处理器的许多甚至全部处理带宽。用于视觉SLAM的特征检测器的在软件(例如，通过通用处理器)中的实现对于等待时间敏感的应用(诸如但不限于VR、AR和/或实时特征检测/跟踪应用)也可能太慢。

关于视觉SLAM的其他方面存在类似挑战。例如除了一个或多个特征检测器之外，用于实现视觉SLAM的某些系统可包括一个或多个特征跟踪器来跟踪图像数据中检测到的特征的位置。像上面指出的特征检测器一样，许多特征跟踪技术在计算上是昂贵的、消耗大量的I/O操作和/或消耗大量电力。

因此，用于视觉SLAM的特征检测和/或特征跟踪操作的实现在某些应用中仍然是具有挑战性的。关于在具有有限计算和/或功率资源的平台(例如，诸如智能电话、机器人、膝上型计算机、平板计算机等移动平台)上的和/或等待时间敏感(例如，AR、VR、实时检测和/或跟踪等)的视觉SLAM的实现尤其如此。

附图说明

随着以下详细描述继续，并且经过参考附图，所要求保护的主题的多个实施例的特征和优点将变得明显，在附图中相似标号描绘相似部件，并且其中：

图1A是根据现有技术的用于使用视觉SLAM算法执行特征检测的系统的框图。

图1B描绘了根据现有技术的包括适于执行FAST拐角检测的候选像素的像素邻域的一个示例。

图2A是根据与本公开的用于执行特征检测和/或跟踪的系统的一个示例的框图。

图2B是根据本公开的SLAM硬件加速器(HWA)的高级框图。

图3是根据本公开的SLAM HWA的特征检测组件的一个示例的框图。

图4是根据与本公开的根据使用滑动窗口来执行特征跟踪的一个示例方法的示例操作的流程图。

图5A-5H解说了根据本公开的示例实施例的在执行特征跟踪期间对滑动窗口的使用。