[发明专利]使用单目相机的三维标记模型构建和实时跟踪

说明书

技术领域

本发明涉及电子目标识别，特别涉及用于构建3D目标模型并基于该模型跟踪3D目标的改进技术。

背景技术

增强现实(AR)是物理、真实世界环境的直接或间接视图，其元素通过使用各种技术的计算机生成的感官输入(如声音、视频、图形等)来增强。与AR功能相关的一个问题是：难以定向相机，例如叠加图形的增强内容与相机视野内场景适当对准。现有技术里基于标记的AR技术，尝试克服该问题。在基于标记的AR里，应用程序被配置以识别存在于真实世界环境中的标记，这有助于定向和对准相机。标记可以是二维的，例如条形码或其他图形，或者可以是三维的，例如物理目标。

不管基于标记的AR应用程序是否利用二维标记、三维标记或两者，应用程序必须被编程以识别这些标记。通常，这是通过向应用程序提供一个标记模型来实现。二维标记模型的生成比三维标记更简单。例如，三维标记通常需要使用专用软件(例如，三维建模软件)或三维扫描仪来生成目标的三维模型。如果要使用大的标记库，生成用于基于标记的AR系统中的三维模型的过程是一个很耗时的过程，并且需要大量资源(例如，时间、成本、计算等)。

发明内容

本发明公开描述了用于构建和使用一个用于跟踪三维目标的模型的系统、方法和计算机可读存储介质。在实施例中，可以使用多个二维图像来构建三维目标的模型。用于构建该模型的三维目标的图像可以由单目相机从多个位置拍摄。当图像被相机拍摄时，三维目标可以位于基座上，并且可以定义一个关于基座的坐标系。基座可以包括多个标记，并且可以至少部分地基于多个标记来定义该坐标系。基于拍摄的图像，该坐标系可以允许模型用于确定相机相对于三维目标的位置。在实施例中，模型可以包括与三维目标的一个或多个特征相关联的信息，例如，与从包括三维目标的图像中识别出的特征点相关联的信息。对特定图像，可以通过图像处理技术来识别三维目标的特征。

除了识别目标的特征或特征点之外，图像处理技术可以分析图像以识别出现在图像里的基座的任何标记。标记可以用于提供相机位置信息，其指示当图像被拍摄时的相机位置。相机位置信息可以与相应的特征相关联地存储。以这种方式，可以通过首先将在三维目标的图像里识别出的特征或特征点匹配到模型的特征或特征点，然后将特征点映射到在构建模型期间确定的相应的相机位置处，来确定相机的位置。这可以使得模型，基于当三维目标不在基座上时的三维目标的图像，来提供相机关于三维目标的位置信息。

在实施例中，可以通过使用单目相机配置的模型来跟踪三维目标。坐标系可以使模型能够在跟踪期间提供相机关于三维目标的位置信息。在跟踪操作期间，可以从相机接收图像或图像流。可以分析这些图像或图像流以识别出现在图像里的特征。然后可以将该特征与模型特征进行比较，以确定对应模型的三维目标是否出现在图像里。如果确定三维目标出现在图像里，则可以基于所述模型确定相机相对于目标的位置(例如，通过将从图像确定的特征与模型里的特征进行匹配，然后基于该模型将特征映射到相机位置)。在实施例中，相机相对于三维目标的位置可以允许AR应用引导用户如何将相机定位到目标相机位置，诸如适合执行AR操作的位置(例如，适当对准有关在图像里描绘的场景，叠加一个或多个图形在图像上)。

前面已经相当广泛地概述了本发明的特征和技术优点，以便可以更好地理解下面的详细描述。以下将描述形成权利要求主题的其他特征和优点。本领域技术人员应当理解，所公开的概念和具体实施例可以容易地用作修改或设计用于实现本申请相同目的的其它结构的基础。本领域技术人员还应该认识到，这样的等同结构不背离所附权利要求中所阐述的本申请的精神和范围。当结合附图考虑时，从下面的描述中将更好地理解被视为本文描述的实施例特征的新颖特征(关于其组织和操作方法两者)，以及其他目的和优点。然而，应当清楚地理解，每个附图仅仅是为了说明和描述的目的而提供的，并不是既定作为本发明实施例的限定。

附图说明

为了更完整地理解，现结合附图进行以下描述，其中：

图1显示根据实施例的被配置为用于生成三维目标模型的基座方面的框图；

图2显示根据实施例的被配置为用于生成三维目标模型的基座的其它方面的框图；

图3显示根据实施例的已经为结合生成三维目标模型进行成像而准备的三维目标的框图；

图4显示根据实施例的关于基座而定义的坐标系的框图；

图5显示根据实施例的拍摄三维目标图像以构建三维目标模型的过程的框图；