[发明专利]人体姿态识别方法和装置

说明书

技术领域

本发明总体上涉及计算机视觉，更具体地讲，涉及实时人体姿态识别和运动分析的估计。

背景技术

人体运动分析和人体姿态识别是非常重要的技术，该技术使用有意义的人体姿态，以有助于实现人机交互、虚拟三维(3D)交互游戏、3D姿势识别等。近年来，由于其具有前景的学术价值和商业价值，人体运动捕获研究受到了越来越多的关注。

目前存在用于人体运动分析的多种方案。一些方案需要在对象上贴上特定的标记块或需要特定的运动捕获设备，在一般的环境中(诸如家庭娱乐、3D交互游戏等)，上述需要对于用户是不方便的，并且限制了这些方案的应用。对于一些实际的应用，已经作出很大的努力来使得用于人体运动分析的标记更少。现有的方法主要划分为两类，即，基于人体部位分析的方法和基于样本的方法。另一方面，现有的方法还可分为基于彩色图像的方法以及3D激光扫描人体模型辅助方法。

众所周知，彩色图像只能提供二维(2D)信息，诸如颜色、纹理、形状等。因此，不可避免地会导致2D信息中的姿态不确定问题。例如，如果人体的一些部位是自遮挡的(self-occlusion)，则由于彩色图像中的人体姿态的不确定性，将不能使用基于彩色图像的方法进行正确的人体姿态识别。即使使用了更为先进的姿态推断方法，姿态不确定性的颜色信息也会导致低处理速度和不准确的姿态推断结果。另外，根据不同的季节、人的服饰和环境光照变化，颜色信息是不稳定的(或者是不鲁棒的)，因此，在复杂的环境中，基于颜色信息的人体姿态识别方法是不能满足要求的。因此，一些研究人员和工程师使用激光扫描的3D模型来获得更精确的结果。然而，由于捕获装置的高成本和大体积，激光扫描仪在真实的环境(诸如家庭娱乐、3D交互游戏等)中不实用。为了解决该问题，需要一种在杂乱的环境中进行实时人体姿态识别的方法和装置。

发明内容

本发明仍然集中于无需标记块的人体姿态识别或者人体运动分析。但是，在本发明中，通过新的方式来解决现有技术中的问题。首先，本发明采用组合的TOF深度摄像机(可同时提供深度图像和强度图像)以及彩色摄像机(提供彩色图像)。其次，本发明提供一种在复杂环境中识别人体姿态的方法和装置，该方法和装置可有效利用深度信息和颜色信息来进行人体姿态识别。

根据本发明的一方面，提供一种人体姿态识别装置，该装置包括：输入模块，包括深度摄像机和彩色摄像机，用于同时捕获人体姿态，形成输入图像；预处理模块，将输入图像预处理为适合的格式，并将图像归一化为固定大小，产生形状独立的姿态采样，形成采样数据；训练模块，在训练阶段使用统计学习方法进行采样数据的维度降低，以获得原始图像空间到特征空间的投影变换矩阵，并构建最近邻分类器；特征提取模块，根据所述投影变换矩阵分别在训练阶段和人体姿态识别阶段从采样数据提取有区别的姿态特征；模板数据库构建模块，根据特征提取模块在训练阶段中提取的有区别的姿态特征构建姿态模板数据库；搜索模块，通过最近邻分类器将特征提取模块在人体姿态识别阶段中提取的有区别的姿态特征与姿态模板数据库中的姿态模板比较，以进行人体姿态匹配；输出模块，输出最佳匹配的姿态，并基于最佳匹配的姿态重新定位虚拟人体模型。

根据本发明的另一方面，提供一种人体姿态识别方法，该方法包括：(a)利用深度摄像机和彩色摄像机同时捕获人体姿态，形成输入图像；(b)将输入图像预处理为适合的格式，并将图像归一化为固定大小，产生形状独立的姿态采样，形成采样数据；(c)在训练阶段使用统计学习方法进行采样数据的维度降低，以获得原始图像空间到特征空间的投影变换矩阵，并构建最近邻分类器；(d)根据所述投影变换矩阵分别在训练阶段和人体姿态识别阶段从采样数据提取有区别的姿态特征；(e)根据在训练阶段中提取的有区别的姿态特征构建姿态模板数据库；(f)通过最近邻分类器将在人体姿态识别阶段中提取的有区别的姿态特征与姿态模板数据库中的姿态模板比较，以进行人体姿态匹配；(g)输出最佳匹配的姿态，并基于最佳匹配的姿态重新定位虚拟人体模型。

附图说明

通过结合附图，从下面的实施例的描述中，本发明这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中：

图1是根据本发明实施例的人体姿态识别装置的框图；

图2示出了根据本发明实施例的输入模块捕获的采样图像；

图3是根据本发明实施例的人体姿态识别方法的流程图；

图4示出了根据本发明实施例的预处理模块的图像预处理过程；

图5示出了根据本发明实施例的定位肩部点的示例；