[发明专利]基于OpenPose的单目相机手语识别方法

说明书

本发明公开了一种基于OpenPose的单目相机手语识别方法，包括以下步骤：用摄像机采集演示者手语的视频数据；将采集的视频数据输入到OpenPose系统中，初步提取包括x轴坐标和y轴坐标以及置信度的三维特征数据；选取初步提取的特征点，以颈部为原点重新建立坐标系，并且在x轴方向和y轴方向进行归一化，得到最终特征数据；对特征数据用三种不同粒度进行扫描，得到扩展特征数据；将扩展特征数据输入到深度森林模型内进行多层语义识别，最后一层的输出通过极值分类器得到最终语义的识别结果。本发明具有了单目视觉识别手语的能力，不需要大的样本数据，特征提取准确，过程简单，识别语义的准确性高。

技术领域

本发明涉及手语识别方法，具体涉及一种基于OpenPose的单目相机手语识别方法。

背景技术

目前对于手语识别领域的研究主要集中在孤立手势的识别，孤立手势的信息载体可分为两类：一种是由静止的手部姿势传递信息，绝大多数表现为字母的手指语属于这类，另一种是由手部运动的过程传递信息，包括现代手语中绝大部分手势语，两者分别将信息包含在空间和时间中，孤立手势识别关键在于特征提取和语义识别。在特征提取方面，中国专利CN103246891A公开了一种基于Kinect的中国手语识别方法，通过3D相机及双目相机如Kinect容易获得人体主要部位的深度信息，继而可以获得准确的三维坐标位置。但由于双目相机硬件开销较高，难以做到小型化，移动化。同时因其成本较高，在商业应用上也受到诸多限制。另一方面，语义识别的主流方法是采取人工神经网络的思想，中国专利CN105205449A公开了一种基于深度学习的手语识别方法，用反向传导算法，训练稀疏自编码网络，使得其在处理复杂背景数据时提高了识别率，选取稀疏自编码网络的权值作为卷积核，通过卷积，获得卷积特征图，将有监督学习和无监督学习结合起来。但需要训练样本的数量多，而对于手语辨别领域，大容量的不同语义的训练样本是很稀有的，采用该方法识别手语的过程复杂，准确性差。综上，现有的手语识别方法特征提取的不准确，过程复杂，识别语义的准确性差。

发明内容

发明目的：本发明的目的是提供一种基于OpenPose的单目相机手语识别方法，解决现有手语识别方法特征提取的不准确，过程复杂，识别语义的准确性差的问题。

技术方案：本发明所述的基于OpenPose的单目相机手语识别方法，其特征在于，包括以下步骤：

(1)用摄像机采集演示者手语的视频数据；

(2)将采集的视频数据输入到OpenPose系统中，初步提取包括x轴坐标和y轴坐标以及置信度的三维特征数据；

(3)选取初步提取的特征点，以颈部为原点重新建立坐标系，并且在x轴方向和y轴方向进行归一化，得到最终特征数据；

(4)对步骤(3)得到的特征数据用三种不同粒度进行扫描。

(5)将步骤(4)得到的扩展特征数据输入到深度森林模型内进行逐层语义识别，最后一层的输出通过极值分类器得到最终语义的识别结果。

为了使硬件开销小，应用范围广，所述步骤(1)中摄像机为单目摄像机。

为了将时间作为单独维度，使用多张二维图片级联成为三维特征矩阵，使得本身蕴含在时间中的手势动作信息转化为易处理的三维特征矩阵，所述步骤(2)中读取OpenPose输出的特征点json文件，将文件中每一帧的x，y坐标按顺序写入特征数量矩阵。对于置信度高于0.6的特征点，读取每个特征点的x坐标与y坐标，对于置信度低于0.6的特征点，对相邻特征点做均值插值进行预测，得到的特征数量矩阵数据即为初步提取的特征数据，数据格式为json，一帧图片提取60个特征点，一个动作共60*n个特征点，其中n语义动作长的帧数。

为了能够增强数据的对称性和表现能力，保证特征点的质量，所述步骤(3)选取44个特征点，以颈部为原点重新建立坐标系，并且在x轴方向和y轴方向进行归一化，得到n*44*2的最终特征数据。