[发明专利]使用RGBD相机的头部姿势估计

说明书

相关申请案的交叉参考

本申请案主张2012年4月25日申请的且标题为“使用RGBD相机的头部姿势估计(Head Pose Estimation Using RGBD Camera)”的第13/456,061号美国申请案的优先权，所述申请案又根据35USC119规定主张2011年5月17日申请的且标题为“通过整合光学和范围数据的过滤方法进行映射、定位和姿势估计(Mapping，Localization and Pose Estimation by a Filtering Method Integrating Optical and Range Data)”的第61/487，170号美国临时申请案以及2011年11月22日申请的且标题为“使用RGBD相机的头部姿势估计(Head Pose Estimation Using RGBD Camera)”的第61/562,959号美国临时申请案的优先权，所有上述申请案均转让给本案受让人，且其以引用的方式并入本文中。

技术领域

本文中所描述的标的物的实施例一般涉及图像中的主体的姿势确定，且更特定来说，涉及使用具有深度数据的图像来估计主体的头部的三维姿势。

背景技术

许多计算装置包含能够在例如视频帧流中俘获多个图像的相机。举例来说，许多个人计算机包含能够俘获用户的图像的相机，例如网络摄像头。另外，例如蜂窝式电话、智能手机和平板计算机等装置通常包含若干主体相机，例如用于用户的前置相机，或用于其他人的后置相机。

识别主体的位置，且更特定来说，识别图像中的主体的头对于许多应用来说是有用的，所述应用例如为远程出席和游戏。然而，识别并跟踪一系列图像中的主体的头的位置对于常规系统来说是个问题。

发明内容

基于在多个图像中俘获的深度数据来确定主体的头部的三维姿势，即具有6个自由度的姿势。例如通过RGBD相机来俘获所述头部的所述多个图像。使用所述深度数据来确定相对于参考姿势的所述头部的所述姿势的旋转矩阵和平移向量。举例来说，可在多个图像中的每一者中提取头部上的任意特征点，且连同对应的深度数据以及包含与所述头部的所述参考姿势相关联的旋转矩阵和平移向量以及当前定向和当前位置的状态一起提供给扩展卡尔曼滤波器。随后基于所述旋转矩阵和所述平移向量来确定相对于所述参考姿势的所述头部的所述三维姿势。

在一个实施方案中，一种方法包含俘获具有主体的头部的深度数据的多个图像，且使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量。

在一个实施方案中，一种设备包含：RGBD相机，其用以俘获具有主体的头部的深度数据的图像；以及处理器，其耦合到所述RGBD相机以接收具有所述主体的所述头部的所述深度数据的多个图像，所述处理器经配置以使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量。

在一个实施方案中，一种设备包含用于俘获具有主体的头部的深度数据的多个图像的装置，以及用于使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量的装置。

在一个实施方案中，一种非暂时性计算机可读媒体包含用以接收具有主体的头部的所述深度数据的多个图像的程序代码，以及用以使用所述深度数据相对于参考坐标框架来确定与所述多个图像中的所述头部的姿势相关联的旋转矩阵和平移向量的程序代码。

附图说明

图1说明能够使用具有深度数据的图像来估计头部的三维(3D)姿势(定向和位置)的装置。

图2说明使用具有深度数据的图像来估计头部姿势的方法的流程图。

图3说明包含参考图像的具有不同姿势的主体的头部的图像。

图4说明用于使用具有深度数据的图像来估计主体的头部的三维姿势的系统图。

图5说明来自图4的二维面部跟踪器的实施例。

图6说明再填充良好隅角的列表以在面部上跟踪的实施例。

图7说明图4中所示的系统中所使用的扩展卡尔曼滤波器270。

图8是能够基于具有深度数据的所俘获图像来确定主体的头部的3D姿势的装置的框图。

具体实施方式