[发明专利]实时、基于模型的对象检测及姿态估计

说明书

一种系统，包括存储器以及被配置成进行以下操作的处理器：选择一组场景点对，为每个场景点对确定相应的特征向量，为每个特征向量在若干模型的特征向量数据中找到相应多个最近邻点对，为每个最近邻点对计算从相应场景点对到最近邻点对的相应对准变换，由此为每个最近邻点对限定相应的模型‑变换组合，每个模型‑变换组合指定最近邻点对所关联的相应对准变换及相应模型，递增相应的票箱计数器，其中每个票箱计数器对模型‑变换组合中的相应的一个进行计票，以及根据票箱计数器来选择模型‑变换组合之一，以检测对象并估计该对象的姿态。

附图说明

为更完全地理解本公开，参考以下详细描述和附图，在附图中，相同的参考标号可被用来标识附图中相同的元素。

图1是根据一个示例的被配置成用于对象检测和姿态估计的系统的框图。

图2是根据一个示例的用于对象检测系统的配置的计算机实现的方法的流程图。

图3是根据一个示例的用于对象检测和姿态估计的计算机实现的方法。

图4是根据针对所公开的方法及系统或其一个或多个组件或方面的实现的一个示例的计算环境的框图。

所公开的设备的各实施例可采取各种形式。在附图中例示了(并在下文描述了)各具体实施例，并且应当理解，本公开旨在是说明性的，而并非旨在将本发明限于本文中所描述和解说的各具体实施例。

详细描述

增强现实系统被配置成捕捉真实世界环境或场景的图像。指示所捕捉的场景的数据接着通常以各种方式被修改，为经由显示器渲染图像作准备。这些修改依赖于检测存在于所捕捉的场景中的对象。对象检测包括或涉及对场景内的对象的姿态进行估计。

描述了用于对象检测和姿态估计的系统及方法。检测及姿态估计可实时(例如，当输入数据被获取时)被提供。与修改图像数据有关的实时性能在图像被渲染和/或进一步的图像数据被获取时可能是有用的。例如，针对所渲染的图像(或其他输出数据)的对象检测及修改可在进一步的场景输入数据被捕捉时(或在这之前)和/或在查看者的输入数据捕捉设备的视野改变时(或在这之前)被提供。

基于表示对象的模型数据在场景内检测并定位对象。模型数据可以是三维的网格数据。模型数据可包括在离线阶段或其他配置过程中获取的一组三维对象模型。这样的配置在捕捉并处理环境的图像数据以计算该环境的每个视觉场景的三维网格时允许实时检测及姿态估计。

所公开的技术的若干其他方面支持实时对象检测。例如，指示场景点对及相关联的表面法向量的数据可被用作供与模型数据进行比较的特征。这样的特征数据能够快速计算。因此，原本将不允许实时对象检测的高计算复杂度被避免。此外，对象被可靠地检测而无需大量的场景点对。导致实时性能的其他方面包括将模型数据存储在被配置为搜索树(诸如其中可以快速检索近邻向量的k维树(或k-d树))的数据库中。

各系统和方法还被配置成为所捕捉的场景中的对象提供稳健的检测及姿态估计。所公开的技术的若干方面提供了稳健的对象检测及姿态估计。例如，检测过程的多个方面有：特征向量的特征、投票数据结构、投票空间及投票过程，以及用于对象模型数据的搜索树(诸如k维树(或k-d树))的使用，。

对象检测在多个方面是稳健的。例如，实时对象检测与检测不具有复杂几何结构的对象的能力相结合来实现。具有复杂几何结构的对象更容易来检测，因为复杂度降低了对象身份的模糊性。尽管输入网格数据(例如，网格几何结构和法向量)中存在噪声或其他不协调，但也可以可靠地检测对象。例如，生成输入网格数据的增强现实、输入数据捕捉和/或其他系统可以不一致地将相同方向分配给网格的法向量，在这种情况下，邻近或相邻表面法向量在从对象表面向内或向外指向之间交替。所公开的技术仍能够可靠地检测对象，而不管这样的表面法线不一致性。

各系统和方法还能够同时检测一个或多个对象。因此，对象检测不限于尝试一次匹配单个对象模型。处理时间因此不依赖于(或取决于)对象模型数据库的大小。