[发明专利]使用RGBD相机的头部姿势估计

权利要求书

1.一种方法，其包括：

俘获具有主体的头部的深度数据的多个图像；以及

使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量。

2.根据权利要求1所述的方法，其中确定与所述头部的所述姿势相关联的所述旋转矩阵和所述平移向量包括：

提取所述多个图像中的每一者中的所述头部上的任意特征点；以及

使用与所述任意特征点相关联的所述深度数据来确定所述头部的所述姿势的所述旋转矩阵和所述平移向量。

3.根据权利要求2所述的方法，其进一步包括：

使用所述深度数据产生所述头部的边缘图；以及

丢弃所述边缘图的边缘上的所述任意特征点。

4.根据权利要求2所述的方法，其中确定与所述头部的所述姿势相关联的所述旋转矩阵和所述平移向量包括：

将所述任意特征点的图像坐标和对应的任意特征点的所述深度数据以及包含与所述头部的参考姿势相关联的旋转矩阵和平移向量以及当前定向和当前位置的状态提供给扩展卡尔曼滤波器；以及

使用所述扩展卡尔曼滤波器来确定所述旋转矩阵和所述平移向量。

5.根据权利要求1所述的方法，其进一步包括：

使用所述深度数据从所述多个图像中的背景提取所述头部上的面部；以及

在从所述背景提取所述面部之后跟踪所述多个图像中的所述面部。

6.根据权利要求5所述的方法，其中从所述背景提取所述面部包括：

使用所述深度数据来计算每一图像中的所述面部的深度；以及

使用阈值和所述面部的所述深度从所述背景分割出所述面部。

7.一种设备，其包括：

红、绿、蓝、距离RGBD相机，其用以俘获具有主体的头部的深度数据的图像；以及

处理器，其耦合到所述RGBD相机以接收具有所述主体的所述头部的所述深度数据的多个图像，所述处理器经配置以使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量。

8.根据权利要求7所述的设备，其中所述处理器经配置以通过经配置以进行以下操作来确定与所述头部的所述姿势相关联的所述旋转矩阵和所述平移向量：

提取所述多个图像中的每一者中的所述头部上的任意特征点；以及

使用与所述任意特征点相关联的所述深度数据来确定所述头部的所述姿势的所述旋转矩阵和所述平移向量。

9.根据权利要求8所述的设备，其中所述处理器进一步经配置以：

使用所述深度数据产生所述头部的边缘图；以及

丢弃所述边缘图的边缘上的任意特征点。

10.根据权利要求8所述的设备，其中所述处理器经配置以通过经配置以进行以下操作来确定与所述头部的所述姿势相关联的所述旋转矩阵和所述平移向量：

将所述任意特征点的图像坐标和对应的任意特征点的所述深度数据以及包含与所述头部的参考姿势相关联的旋转矩阵和平移向量以及当前定向和当前位置的状态提供给扩展卡尔曼滤波器；以及

使用所述扩展卡尔曼滤波器来确定所述旋转矩阵和所述平移向量。

11.根据权利要求7所述的设备，其中所述处理器进一步经配置以：

使用所述深度数据从所述多个图像中的背景提取所述头部上的面部；以及

在从所述背景提取所述面部之后跟踪所述多个图像中的所述面部。

12.根据权利要求11所述的设备，其中所述处理器经配置以通过经配置以进行以下操作来从所述背景提取所述面部：

使用所述深度数据来计算每一图像中的所述面部的深度；以及

使用阈值和所述面部的所述深度从所述背景分割出所述面部。

13.一种设备，其包括：

用于俘获具有主体的头部的深度数据的多个图像的装置；以及

用于使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量的装置。