[发明专利]一种基于摄像头的人体动作评分的方法及系统

权利要求书

1.一种基于摄像头的人体动作评分的方法，其特征在于，包括如下步骤：

步骤一：准备人体动作图片数据集，并对人体区域及关键点进行标注获得标注信息，所述人体区域及关键点是指人体上的指定区域及在该区域内的关键点；

步骤二：根据人体动作图片数据集中的人体区域及关键点的标注信息，利用深度神经网络训练人体关键点位置信息提取模型提取关键点位置信息；对于人体关键点位置信息提取模型，输入为一张图片Image，输出为{KeyPoint_ki}，训练一个深度学习模型，使得F(Image)＝{KeyPoint_ki}；

步骤三：通过摄像头捕捉包含待评分的动作的图片，针对待评分的动作的图片与标准动作的图片，分别调用人体关键点位置信息提取模型提取两个图片中的人体关键点位置信息；

步骤四：对比两个动作的人体关键点位置信息，计算相似度，进行动作评分。

2.如权利要求1所述的一种基于摄像头的人体动作评分的方法，其特征在于：所述步骤一中，所述人体动作图片数据集中至少包含10万张动作图片，标注每张图片中人体区域及关键点的标注信息，标注信息中的编号及名称对应关系如下：1-左眼、2-右眼、3-嘴巴、4-脖子、5-左肩、6-左肘、7-左手腕、8-左手、9-右肩、10-右肘、11-右手腕、12-右手、13-左臀部、14-左膝盖、15-左脚踝、16-左脚尖、17-右臀部、18-右膝盖、19-右脚踝、20-右脚尖，最终每张图得到的标注信息为{Body_k,KeyPoint_ki}；其中k表示图中第k个人，Body_k表示第k个人的区域位置信息，i表示第i个关键点，KeyPoint_ki表示第k个人第i个关键点的位置坐标。

3.如权利要求2所述的一种基于摄像头的人体动作评分的方法，其特征在于：所述步骤二中，训练深度学习模型还包括如下步骤：

步骤1：利用深度神经网络训练一个人体区域检测模型，使得F₁(Image)＝{Body_k}，用于检测图片中人体区域位置，其中人体区域为矩形，矩形区域的位置信息是矩形左上角和右下角的顶点坐标；

步骤2：利用深度神经网络训练一个人体区域的关键点提取模型，使得F₂(Body_k)＝{KeyPoint_ki}，用于提取人体区域图片中的关键点位置；

步骤3：将上述两个模型结合起来，得到人体关键点位置信息提取模型F(Image)＝F₂(F₁(Image))＝{KeyPoint_ki}，用于提取图片中的人体关键点位置信息；

所述步骤三中，待评分的动作图片为Image₁，对应的关键点位置信息为F(Image₁)＝{KeyPoint_1i}，标准动作图片为Image₂，对应的关键点位置信息为F(Image₂)＝{KeyPoint_2i}。

4.如权利要求3所述的一种基于摄像头的人体动作评分的方法，其特征在于：所述步骤四中，动作的最终评分为：

S(Image₁,Image₂)＝Similarity({KeyPoint_1i},{KeyPoint_2i})

其中Similarity是计算两个动作关键点之间的相似度，采用的方法为计算选取的相邻两个关键点形成的向量间的余弦相似度的平均值。