[发明专利]一种基于视觉的实时人体动作分析方法

摘要

本发明公开了一种基于视觉的实时人体动作分析方法，将预训练模型移植到手机端，通过手机摄像头捕捉人体正面单摇双脚跳视频，并将视频的输入到预训练模型中实时地分析跳绳过程中身体是否保持直立、左大臂是否加紧身体、右大臂是否加紧身体、是否是手腕摇绳、双脚是否合拢、左右臂是否保持水平，将分析结果嵌入到视频中，并保存视频到本地，解决了运动训练过程中的实时动作分析和动作质量评估问题，为运动过程中的动作分析提供了参考依据。

主权项

1.一种基于视觉的实时人体动作分析方法,其特征在于,包括如下步骤：/n步骤1：通过手机获取大量人体运动的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、所做动作名称；/n步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关键点坐标，其步骤如下：/n步骤2-1:将不同手机拍摄的视频数据转换成统一的尺度；/n步骤2-2：通过迁移学习利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、右手面、左肩、左手肘、左手腕、左手面、右臀部、右膝盖、右脚掌、右脚踝、左臀部、左膝盖、左脚踝、左脚掌这18个关节点的坐标位置，坐标表示为C_i＝(cx_i,cy_i)，其中i从1到18，C_i＝(cx_i,cy_i)表示坐标cx₁表示第一个关节点的x坐标cy₁表示第一个关节点的y坐标C₁是第一个关键点坐标的坐标集合；/n步骤3：对所得的18个关键点坐标以左臀部、右臀部和脖子三点构成的三角形重心为原点定义一个坐标系，并将直角坐标系转换成极坐标系，获得转换后的坐标矩阵P；/n步骤4：对视频进行分析，按时间段进行标记，记录并保存得到的标签；/n步骤5：累计每帧得到的坐标矩阵P，得到每段视频的累计坐标矩阵D，利用滑动窗口对累计坐标矩阵进行窗口分割，即滑动窗口长度设置为每20帧得到的累计坐标，步长设置为有50％的数据重叠；/n步骤6：利用累计坐标矩阵D，构建数据的特征集X和标签集Y，其中X＝R^d表示d维的输入空间，Y＝{0,1}^q，表示标签的标签空间，T＝(xⁱ,yⁱ)|1≤i≤m，m表示数据集的大小，xⁱ∈X，是一个d维的向量，yⁱ∈Y是Y的一个标签子集,X表示特征集，Y表示的是标签集,R是实数(数学公式中指定的)，d表示输入维度，q 是标签个数,T表示的是特征集和标签集中一组标签对应的一组数据,xⁱ特征集中的一组数据，yⁱ标签集中的一组标签；/n步骤7：利用深度神经网络构建多标签分类器h(·)，预测作为x的正确标签集，h(·)为多标签分类器，h(x)就是将x输入到多标签分类器中的到一个输出值，其步骤为：/n步骤7-1:利用BiGRU+GRU构建深度神经网络模型，即，一个双向的GRU层加上一个单项的GRU层；/n步骤7-2：将数据分为训练集和测试集两个部分，利用测试集训练训练网络模型，并保存预训练模型；/n步骤7-3：将测试数据输入到已有的参考训练模型中，得到分类的结果。/n