[发明专利]一种识别手势的方法与设备

说明书

本申请的目的是提供一种识别手势的方法与设备。与现有技术相比，本申请基于手势训练数据及对应骨骼关节标签信息训练得到多个随机决策树，其中，每个随机决策树包含一个或多个分割节点及每个分割节点对应的分割索引点信息，然后获取待识别手势的深度图像信息，对于每个随机决策树，根据所述一个或多个分割节点及每个分割节点对应的分割索引点信息确定所述深度图像信息对应的候选骨骼关节坐标信息，再由此确定所述深度图像信息对应的骨骼关节坐标信息以识别所述手势；本申请提供了一种新的随机决策森林生长策略，利用分割索引点自适应地引导骨骼关节坐标分组和随机特征的选择，采用更为灵活的分组策略并能自动适应姿势的变化。

本案要求CN201610395477.3的优先权

技术领域

本申请涉及计算机领域，尤其涉及一种识别手势的技术。

背景技术

对一个具有复杂关节结构的物体进行骨骼检测和姿势估计始终是计算机视觉中一个具有挑战性的课题。例如，精确估计手势或人体姿势在人机交互领域扮演着重要的角色。由于此主题相关的实用价值，它已经吸引了来自工业界和学术界的投入。在过去的几年中，通过使用低成本的高速深度传感器，实时估计人体姿势的应用也在出现在日常生活中。从此，人体姿势估计得到了越来越多的关注。由于提供了新型的低成本输入数据——深度图像，许多新算法都已经优于传统的基于RGB图像的人体姿势估计算法。手势估计亦是如此。

相比于人体姿势，手势通常具有更高的自由度和更复杂的关节。手势估计还受制于许多实际运用中的挑战，例如，频繁的自遮挡，视角变化，低空间分辨率的输入和数据噪声。此外，许多应用也经常需要手势识别运行速度能达到实时。随机决策森林(RDF，Randomdecision forest)和其变体在人体姿势估计的应用中被广泛地使用。这个方法随后也被研究者活用到手势识别，而且这更具挑战性。

可以将算法分为基于模型的方法和非基于模型的方法。对于单个手势估计，基于模型的从顶至下的全局方法使用了一个3D的手模型来适应测试数据。这些方法通过模型拟合能处理自遮挡、运动约束以及视角变化等挑战。根据以上特性，他们通常适应于手操控某个物体或与某些物体交互的情况。然而，这些方法，包括关节跟踪器法(Joint Tracker)和互独立的跟踪器群法(Set of Independent Tracker)，都需要对手的位置和手的度量属性进行非常精确的初始化。一旦该追踪过程出错，就很难恢复。

作为非基于模型的方法，现有技术中的一种方案，Keskin为了解决姿势变化的问题，将RDF改进成了多层。将手势分配到对应形状的类别，并为该类手势训练特定的姿势估计器。现有技术中的另一种方案，Tang提出了利用隐性回归森林(LBF，Latent RegressionForest)并集合二元决策树的框架进行手势识别。该算法在树的推断过程中，采用了隐性树型模型(LTM，Latent Tree Model)来引导骨骼关节坐标的搜索过程，其中LTM是由无监督数据驱动规则学习得到。由于LTM是根据手的几何特性预先学习的，无论手势如何，它都是固定的。事实上，因为自然3D数据的局限，训练数据标签有时存在噪声，手的几何结构也根据实际情况变化。可以看到该方案存在缺陷，特别是在处理变化较大的姿势时。

发明内容

本申请的一个目的是提供一种识别手势的方法与设备。

根据本申请的一个方面，提供了一种识别手势的方法，其中，该方法包括：

基于手势训练数据及对应骨骼关节标签信息训练得到多个随机决策树，其中，每个随机决策树包含一个或多个分割节点及每个分割节点对应的分割索引点信息；

获取待识别手势的深度图像信息；

对于每个随机决策树，根据所述一个或多个分割节点及每个分割节点对应的分割索引点信息确定所述深度图像信息对应的候选骨骼关节坐标信息；