[发明专利]使用深度图的实时相机跟踪

权利要求书

1.一种实时相机跟踪的方法，包括：

从正在移动的移动深度相机(302)接收深度图帧(314)的序列，每一深度图帧包括每一图像元素处的深度值，该深度值与从所述移动深度相机到由所述移动深度相机所捕捉的场景中的表面的距离有关；

通过计算每一深度图帧的配准参数(328、414)来跟踪所述移动深度相机的位置和定向，这些配准参数是用于将每一深度图帧和在先深度图帧对齐的变换的参数；

其中，计算所述配准参数包括使用迭代过程(412)用于：

标识成对的深度图帧的相应点(502)而不计算所述深度图帧内所描绘的形状，且通过使用并行计算单元来优化应用于所标识的相应点的误差度量，使得所述误差度量被并行地应用于所标识的相应点中的每一个。

2.如权利要求1所述的方法，其特征在于，还包括从与所述移动深度相机(302)相关联的第二传感器(306、308、310)接收输入，且使用该输入来形成所述配准参数的初始估计，所述第二传感器从选自以下各项之一：定向传感器(308)、RGB视频相机(306)、游戏系统(332)、所述深度相机正在其中移动的环境的图(334)、移动传感器、位置传感器。

3.如权利要求1或2所述的方法，其特征在于，包括以每秒至少30帧的帧速率接收所述深度图帧(314)的序列。

4.如前述权利要求中任一项所述的方法，其特征在于，使用所述并行处理单元来优化误差度量包括：对于每一对相应点，形成(806)数值最小二乘优化的线性系统，以产生6乘6矩阵，并且将这些矩阵简化为所述并行计算单元处的单个6乘6矩阵。

5.如前述权利要求中任一项所述的方法，其特征在于，包括估计来自由所述移动深度相机所捕捉的场景的密集3D模型(326)的在先深度图帧。

6.如前述权利要求中任一项所述的方法，其特征在于，标识成对的深度图帧的相应点(502)包括使用投影数据关联过程，藉此所估计的移动相机的位置被用于将来自源深度图帧的点投影(606)到当前深度图帧的目的地点，且所述投影数据关联过程包括在所述目的地点周围搜索候选相应点。

7.如前述权利要求中任一项所述的方法，其特征在于，优化所述误差度量包括优化点到面的误差度量，该度量包括从源点到包含目的地点并且与该目的地点的表面法线近似垂直地定向的平面的平方距离的和(802)。

8.如前述权利要求中任一项所述的方法，其特征在于，计算所述配准参数包括，对于每一深度图帧，计算每一点的表面法线且形成具有对于不同范围的法线值的多个柱的直方图，并且跨所述柱对点进行均匀采样；以及仅使用来自均匀采样点的那些点来计算所述配准参数。

9.一种实时相机跟踪器(316)包括：

输入(1002)，所述输入(1002)被安排成从移动的移动深度相机(302)接收深度图帧(314)的序列，每一深度图帧包括每一图像元素处的深度值，该深度值与从所述移动深度相机到由所述移动深度相机所捕捉的场景中的表面的距离有关；

帧对齐引擎(318)，所述帧对齐引擎(318)通过计算每一深度图帧的配准参数来跟踪所述移动深度相机的位置和定向，这些配准参数是用于将每一深度图帧和在先深度图帧对齐的变换的参数；

所述帧对齐引擎被安排成使用迭代过程来计算所述配准参数，用于：标识成对的深度图帧的相应点而不计算所述深度图帧内所描绘的形状；

所述帧对齐引擎包括并行计算单元，所述并行计算单元被安排成优化作为所述迭代过程的一部分应用于所标识的相应点的误差度量，使得所述误差度量在所述并行计算单元处被并行地应用于所标识的相应点中的每一个。

10.一种游戏系统(332)，所述游戏系统(332)包括移动红外飞行时深度相机，所述移动红外飞行时深度相机使用结构化光以及如权利要求9所述的用于跟踪所述移动深度相机的实时跟踪器(316)，所述移动深度相机以及所述实时跟踪器被安排成以每秒至少30帧来操作，所述游戏系统被安排成影响与跟踪所述移动深度相机相关的游戏的过程。