[发明专利]基于OpenPose的单目相机手语识别方法

权利要求书

1.一种基于OpenPose的单目相机手语识别方法，其特征在于，包括以下步骤：

(1)用摄像机采集演示者手语的视频数据；

(2)将采集的视频数据输入到OpenPose系统中，初步提取包括x轴坐标和y轴坐标以及置信度的三维特征数据；

(3)选取初步提取的特征点，以颈部为原点重新建立坐标系，并且在x轴方向和y轴方向进行归一化，得到最终特征数据；

(4)对步骤(3)得到的特征数据用不同粒度进行扫描，得到维度更大扩展特征数据；

(5)将步骤(4)得到的扩展特征数据输入到深度森林模型内进行多层语义识别，最后一层的输出通过极值分类器得到最终语义的识别结果。

2.根据权利要求1所述的基于OpenPose的单目相机手语识别方法，其特征在于，所述步骤(1)中摄像机为单目摄像机。

3.根据权利要求1所述的基于OpenPose的单目相机手语识别方法，其特征在于，所述步骤(2)中读取OpenPose输出的特征点json文件，将文件中每一帧的x，y坐标按顺序写入特征数量矩阵， 对于置信度高于0.6的特征点，读取每个特征点的x坐标与y坐标，对于置信度低于0.6的特征点，对相邻特征点做均值插值进行预测，得到的特征数量矩阵数据即为初步提取的特征数据，数据格式为json，一帧图片提取60个特征点，一个动作共60*n个特征点，其中n语义动作的帧数。

4.根据权利要求3所述的基于OpenPose的单目相机手语识别方法，其特征在于，所述步骤(3)选取其44个特征点，以颈部为原点重新建立坐标系，并且在x轴方向和y轴方向进行归一化，得到n*44*2的最终特征数据。

5.根据权利要求1所述的基于OpenPose的单目相机手语识别方法，其特征在于，所述步骤(4)中采用三种不同的粒度进行扫描。

6.根据权利要求1所述的基于OpenPose的单目相机手语识别方法，其特征在于，所述步骤(5)中深度森林模型由若干层组成，每一层有两个随机森林和两个完全随机森林，第一层的输入为步骤(4)中的扩展特征，第一层的输出级与原始的扩展特征同时作为第二层的输入，每一层都以上一层的输出级与原始扩展特征同时作为输入。