[发明专利]一种基于区域生长和机器学习的手部分割方法

说明书

本发明公开了一种基于区域生长和机器学习的手部分割方法。该方法首先对场景深度图进行采集，然后通过区域生长的方式完成手部区域的分割，生长需要满足待定点和当前生长点的深度之差小于阈值1、待定点和种子点的深度之差小于阈值2、待定点和种子点的三维距离之差小于阈值3这三个约束条件，对于生长获得的生长区域，判断其面积是否满足要求，进而生成生长区域，然后将生长区域进行二分类以确定是否为手部区域。由于利用了手部先验知识，降低了分类的复杂程度，因此大幅度提升了手部分割及检测的准确度和效率。此外本发明还提出一种手部分割分类器的训练方法。

技术领域

本发明涉及一种图像处理方法，特别涉及一种基于区域生长和机器学习的手部分割方法。

背景技术

随着AR交互的不断发展，手势识别成为未来人工智能的一个重要组成板块，有效而稳定的手部分割算法能为手势识别提供准确的数据输入。作为手势识别的输入数据之一，深度图提供的三维位置信息对手势的立体恢复提供很好的依据。如何从深度图中分割出完整的手部数据则是手势识别的基础。相比于传统的RGB图像，深度图的手部检测和分割都由于特征有限都难以有效的完成。传统的深度图手部分割算法都是按照距离(深度)阈值过滤出手部区域，例如只提取深度值(300mm～600mm)的部分作为手部区域，这种方法完全依赖于手相对于传感器的位置、抗干扰能力弱，而且当手后有其他物体(例如手腕、胳膊等)处于深度阈值范围内时会产生严重的干扰，一般的深度阈值分割后，经常会带有大片的胳膊区域需要在进行分类处理。

现有的手部分割方法，实现步骤一般包括：(1)获取场景的深度图；(2)根据深度图逐像素计算特征向量，一般以窗口的方式计算；(3)根据训练好的分类器，对深度图数据进行手臂、手、手腕的分类。需要事先为该分类器构造样本及样本特征向量，以训练分类器。

然而上述现有方法完全依赖于手的位置和多分类的准确度，存在以下缺陷：(1)抗干扰能力弱；(如当手附近有其他干扰物)；(2)需要至少3～4种类别，除了手部样本还需要包括负样本(手腕、手臂等)，样本制作及数量要求很高；(3)深度图的噪声会保留；(4)计算复杂度高，花费时间长。

发明内容

为了解决上述现有技术中的缺陷，本发明提出一种基于深度及手部尺寸约束的区域生长手部分割方法。

本发明的第一个方面，提出一种手部分割方法，包括如下步骤：

步骤S110：采集场景的深度图，并确定深度图的有效范围；

步骤S120：将有效范围内的像素按照深度值排序；

步骤S130：从排序后的像素中选取种子点并开始生长；

步骤S140：判断生长区域的面积大小，若面积过小则重新选取种子点，并返回步骤S130重新进行区域生长，若面积满足要求则进入步骤S150；

步骤S150：按照生长区域的像素索引过滤深度图，生成只含生长区域的生长区域的深度图；

步骤S160：对步骤S150获得的生长区域的深度图实时进行分类，以确定所述生长区域的是否为手部区域；

步骤S170：对确定为手部区域的深度图提取质心并计算其轮廓，从质心为初值、轮廓点为数据源采用mean-shift算法搜索最优手心位置。

本发明的第二个方面，提出一种手部分割分类器的训练方法，包括如下步骤：

步骤S210：根据S110～S150的步骤采集大量生长区域的深度图作为训练数据集；

步骤S220：人工标记训练数据集的label；

步骤S230：提取所有训练数据集的特征，把这些特征组合成特征向量矩阵；

步骤S240：利用获得的特征向量矩阵和人工标记的所述label训练二分类器。