[发明专利]一种通过提取人体关节点坐标的行为识别方法

权利要求书

1.一种通过提取人体关节点坐标的行为识别方法，其特征在于：具体包括如下步骤：

步骤1，构建行为识别图像数据集；

步骤2，根据步骤1所得结果构建对应行为识别图像数据集的关节点训练样本数据集；

步骤3，根据步骤2所得结果构建基于RNN的行为识别深度学习模型；

所述步骤3的具体过程如下：

步骤3.1，将步骤2构建的训练样本数据集划分为训练数据集和测试数据集；

所述步骤3.1的具体过程为：训练样本数据集划分方法包括如下两种：

其一：手动分离数据集并评估；

其二：k折交叉验证，具体为：

步骤A，将数据集划分为k个子数据集；然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集，

步骤B，重复进行步骤A，直至所有子数据集都能够作为测试集对网络进行评估，最后对k个评估结果进行求平均，平均值作为模型测试的最终评估结果；

步骤3.2，以步骤3.1划分的训练集和测试集作为网络训练和模型评估数据集，选择深度学习开源框架构建识别深度学习模型；

所述步骤3.2的具体过程如下：

步骤3.2.1，设置网络输入维度并添加网络层LSTM；将每一层LSTM神经元设置与输入的关节点数一致；

步骤3.2.2，将输入的每一关节点分别与第一个网络层18个LSTM神经元直接连接；

步骤3.2.3，将第一个网络层输出与第二个网络层18个神经元进行直连，依次递推，直至将所添加的各网络层依次逐层连接直连完毕，通过对逐层输入进行共观性学习，来预测每一动作类别与关节点间的联系；最后一层网络层输入直接输入Softmax分类器；

步骤3.2.4，指定网络训练损失函数和优化器；

步骤4，设置训练参数；

步骤5，根据步骤4设置的参数对步骤3所得模型进行训练；

步骤6，对步骤3所得模型进行测试。

2.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤1的具体过程如下：通过摄像头实时自采集各类行为动作，并按类别进行动作分类，构建行为识别图像数据集。

3.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤2的具体过程如下：以步骤1所得的行为识别图像数据集为输入，通过基于深度学习的姿态估计框架Openpose来提取对应人体的18个关节点坐标信息，从而以18个关节点位置坐标信息构建训练样本数据集。

4.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤5的具体过程为：以步骤3.1划分数据集为网络训练数据集，对步骤3.2构建的行为识别网络进行模型训练。

5.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤6的具体过程为：基于视频的实时测试通过计算机视觉库Opencv进行实时获取人体行为变化，读取每一帧视频图像作为基于深度学习的姿态估计框架Openpose的输入，来实时提取变化的人体行为关节点坐标信息，然后以关节点坐标为步骤3.2的输入，提取坐标信息，同时调用步骤5训练后的保存模型，来预测每一帧图像行为类别并输出类别标签。