[发明专利]在增强现实中通过动态建模来进行鲁棒对象识别

说明书

相关申请的交叉引用

本申请要求于2010年3月10日提交的题为“ROBUST OBJECT RECOGNITION BY DYNAMIC MODELING IN AUGMENTED REALITY”的美国专利申请序号No.12/720,858的优先权。为了所有的目的，将该专利申请的公开内容以引用的方式并入本文中。

背景技术

除非本文中另行指示，否则在本节中描述的材料对于本申请的权利要求不是现有技术，而且并不通过将其包括在本节中而认可其是现有技术。

增强现实(AR)指代具有通过虚拟(一般是计算机产生的)影像增强的元素的物理(真实)世界环境，从而创建了混合现实。传统上，该增强是实时的且在环境因素的上下文中，比如体育赛事、军事演习、游戏等等。AR技术通过添加对象识别和图像产生，使得与个人周围的真实世界相关的信息能够变为互动的且可数字化使用。可以存储并获取与环境和对象相关的人工信息，作为与实际世界视图层分离的信息层。

本公开意识到AR系统存在若干限制。对象识别是AR的主要组成部分，且在对象识别中通常使用基于外观的方案。基于外观的对象识别方案可以处理以下各项的组合效果：形状、反射比属性、场景中的姿态、照明条件、以及可比较效果。此外，可以通过与传统形状表示不同的自动学习阶段，获取基于外观的表示。然而，基于外观的识别技术依然存在各种挑战，因为其依赖于直接的基于外观的匹配，且不能成功地处理遮挡(occlusion)、异常数据(outlier)、以及变化的背景。换言之，基于外观的方案不是鲁棒的，其中，术语“鲁棒”指代：在存在各种类型的噪声的情况下结果依然保持稳定，且可以容忍异常数据的特定部分。

发明内容

以下发明内容仅是说明性的，且不意在以任何方式加以限制。除了上述说明性方面、实施例和特征之外，通过参照附图以及以下详细描述，其他方面、实施例和特征将变得显而易见。

本公开总体上描述了一种用于在增强现实(AR)系统中执行对象识别的方法。所述用于在增强现实(AR)系统中执行对象识别的方法可以包括：将对象的二维图像转换为图像域表示。所述用于在增强现实(AR)系统中执行对象识别的方法还可以包括：基于所述图像域表示的节点之间的链接，定义所述图像域中的属性图，以及定义模型域中的另一属性图。所述用于在增强现实(AR)系统中执行对象识别的方法还可以包括：通过识别并激活属性图的对应节点之间的链接，匹配所述图像域中的属性图和所述模型域中的属性图。

本公开还描述了一种用于在增强现实(AR)系统中执行对象识别的装置。所述用于在增强现实(AR)系统中执行对象识别的装置可以包括：存储器，适于存储图像数据和图数据；以及第一处理单元，适于执行动态建模模块，其中，所述动态建模模块可以适于：将二维(2D)图像从存储的图像数据变换为图像域表示，所述图像域表示包括链接节点的2D数组，且每个节点对图像域中的至少一个区别特征进行编码，确定表示所述图像域中的每个节点的所述至少一个特征的活动向量的顶点标签，确定表示所述图像域的节点之间的连通性的边标签，以及基于所述顶点标签和/或所述边标签中的一个或更多个来定义模型域中的属性图，所述属性图被存储在所述存储器中作为所述图数据的一部分。所述用于在增强现实(AR)系统中执行对象识别的装置还可以包括：第二处理单元，适于执行图匹配模块，其中，所述图匹配模块适于识别并激活所述图像域中的节点和所述模型域中的对应节点之间的链接，以及减小具有类似特征的节点之间的连接的数目。

本公开还描述了一种计算机可读存储介质，具有存储于其上的用于在增强现实(AR)系统中执行对象识别的指令。所述指令可以包括：将对象的二维图像转换为包括多个链接节点在内的图像域表示，每个节点包括特征检测器的集合。所述指令还可以包括：通过向所述二维图像的每个像素应用所述特征检测器，确定表示特征检测器的活动向量的顶点标签。所述指令还可以包括：通过检测每个节点之间的链接，确定表示所述节点之间的连通性的边标签。所述指令还可以包括：基于所述顶点标签和所述边标签，产生所述图像域中的属性图，以及定义模型域中的属性图，其中，所述模型域中的属性图可以是所述图像域中的属性图的理想化副本。所述指令还可以包括：基于属性图的顶点标签和边标签的匹配，确定所述图像域中的属性图和所述模型域中的属性图之间的连接，以及将所述连接简化为所述图像域和所述模型域之间的拓扑保留映射。