[发明专利]一种基于视觉的实时人体动作分析方法

权利要求书

1.一种基于视觉的实时人体动作分析方法，其特征在于，包括如下步骤：

步骤1：通过手机获取大量人体运动的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关节点坐标，其步骤如下：

步骤2-1：将不同手机拍摄的视频数据转换成统一的尺度；

步骤2-2：通过迁移学习利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、右手面、左肩、左手肘、左手腕、左手面、右臀部、右膝盖、右脚掌、右脚踝、左臀部、左膝盖、左脚踝、左脚掌这18个关节点的坐标位置，坐标表示为C_i＝(cx_i,cy_i)，其中i从1到18，C_i＝(cx_i,cy_i)表示坐标，cx₁表示第一个关节点的x坐标，cy₁表示第一个关节点的y坐标C₁是第一个关键点坐标的坐标集合；

步骤3：对所得的18个关节点坐标以左臀部、右臀部和脖子三点构成的三角形重心为原点定义一个坐标系，并将直角坐标系转换成极坐标系，获得转换后的坐标矩阵P；

步骤4：对视频进行分析，按时间段进行标记，记录并保存得到的标签；

步骤5：累计每帧得到的坐标矩阵P，得到每段视频的累计坐标矩阵D，利用滑动窗口对累计坐标矩阵进行窗口分割，即滑动窗口长度设置为每20帧得到的累计坐标，步长设置为有50％的数据重叠；

步骤6：利用累计坐标矩阵D，构建数据的特征集X和标签集Y，其中X＝R^d表示d维的输入空间，Y＝{0,1}^q，表示标签的标签空间，T＝(xⁱ,yⁱ)|1≤i≤m，m表示数据集的大小，xⁱ∈X，是一个d维的向量，yⁱ∈Y是Y的一个标签子集，X表示特征集，Y表示的是标签集，R是实数，d表示输入维度，q是标签个数，T表示的是特征集和标签集中一组标签对应的一组数据，xⁱ特征集中的一组数据，yⁱ标签集中的一组标签；

步骤7：利用深度神经网络构建多标签分类器h(·)，预测作为x的正确标签集，h(·)为多标签分类器，h(x)就是将x输入到多标签分类器中得到一个输出值，其步骤为：

步骤7-1：利用BiGRU+GRU构建深度神经网络模型，即，一个双向的GRU层加上一个单项的GRU层；

步骤7-2：将数据分为训练集和测试集两个部分，利用测试集训练网络模型，并保存预训练模型；

步骤7-3：将测试数据输入到已有的预训练模型中，得到分类的结果。

2.如权利要求1所述一种基于视觉的实时人体动作分析方法，其特征在于，在执行步骤2时，通过Labelme图像标注工具，获取左脚掌、右脚掌、左手面、右手面四个坐标的位置信息，并通过迁移学习利用Open-pose获取所需的18个关节点坐标位置。

3.如权利要求1所述一种基于视觉的实时人体动作分析方法，其特征在于，在执行步骤3时，得到左臀部C₁₁＝(cx₁₁,cy₁₁)、右臀部C₁₅＝(cx₁₅,cy₁₅)和脖子C₂＝(cx₂,cy₂)的坐标，定义坐标原点，即，C₂、C₁₁、C₁₅三点的重心点C₀＝(cx₀,cy₀)，其中并以原点坐标为参照更新所有坐标点，将直角坐标系转换成极坐标的形式，极坐标pc_i＝(ρ_i,θ_i)，其中i从1到18，其中ρ_i＞0，-π＜θ_i≤π。

4.如权利要求1所述一种基于视觉的实时人体动作分析方法，其特征在于，在执行步骤7时，GRU模型作为LSTM长短期记忆网络的一种变体，将忘记门和输入门合成了一个单一的更新门，BiGRU是一个双向GRU，双向GRU有两个GRU上下叠加在一起组成，输出由两个GRU的状态共同决定，其中一个递归网络从前往后计算隐向量另一个递归神经网络从后往前计算隐向量最后的输出