[发明专利]一种基于摄像头的人体动作评分的方法及系统

说明书

本发明公开了一种基于摄像头的人体动作评分的方法及系统，其特征在于，能根据数据集中的人体区域及关键点的标注信息，利用深度神经网络训练人体关键点位置信息提取模型，通过该模型，能够提取待评分的动作图片和标准动作图片的关键点位置信息，对两个动作的关键点位置信息计算相似度，从而实现动作评分。该方法和系统能够高效准确的完成动作评分，不依赖专家，只需要通过摄像头拍摄图片或视频。

技术领域

本发明涉及计算机深度学习领域，特别是涉及一种基于摄像头的人体动作评分的方法及系统。

背景技术

在现实生活中，有很多教程标准动作，如舞蹈、健身、举重、跳远、跳高等等，对这些动作的评分、错误纠正往往需要专家才能进行，而有很多业余爱好者，通常只会对着教程标准动作视频进行练习，缺少专家的指导，很难评估自己动作是否标准。

本发明针对动作评分的问题进行了方法和系统的设计，根据数据集中的人体关键点位置，利用深度神经网络训练人体关键点提取模型，通过该模型，能够提取待评分的动作和教程标准动作的关键点位置，对两个动作的关键点计算相似度，从而实现动作评分。该方法和系统能够高效准确的完成动作评分，不依赖专家，只需要通过摄像头拍摄图片或视频。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于摄像头的人体动作评分的方法及系统。

为解决上述技术问题，本发明提供一种基于摄像头的人体动作评分的方法，其特征在于，包括如下步骤：

步骤一：准备人体动作图片数据集，并对人体区域及关键点进行标注获得标注信息，所述人体区域及关键点是指人体上的指定区域及在该区域内的关键点；

步骤二：根据人体动作图片数据集中的人体区域及关键点的标注信息，利用深度神经网络训练深度学习模型提取关键点位置信息；对于人体关键点位置信息提取模型，输入为一张图片Image，输出为{KeyPoint_ki}，训练一个深度学习模型，使得F(Image)＝{KeyPoint_ki}。

步骤三：通过摄像头捕捉包含待评分的动作的图片，针对待评分的动作的图片与标准动作的图片，分别调用深度学习模型提取两个图片中的人体关键点位置信息；

步骤四：对比两个动作的人体关键点位置信息，计算相似度，进行动作评分。

所述步骤一中，所述人体动作图片数据集中至少包含10万张动作图片，标注每张图片中人体区域及关键点的位置信息，位置信息中的编号及名称对应关系如下：1-左眼、2-右眼、3-嘴巴、4-脖子、5-左肩、6-左肘、7-左手腕、8-左手、9-右肩、10-右肘、11-右手腕、12-右手、13-左臀部、14-左膝盖、15-左脚踝、16-左脚尖、17-右臀部、18-右膝盖、19-右脚踝、20-右脚尖，最终每张图得到的标注信息为{Body_k,KeyPoint_ki}，其中k表示图中第k个人，Body_k表示第k个人的区域位置信息，i表示第i个关键点，KeyPoint_ki表示第k个人第i个关键点的位置坐标。

所述步骤二中，训练深度学习模型还包括如下步骤：

步骤1：利用深度神经网络训练一个人体区域检测模型，使得F₁(Image)＝{Body_k}，用于检测图片中人体区域位置，其中人体区域为矩形，矩形区域的位置信息是矩形左上角和右下角的顶点坐标。

步骤2：利用深度神经网络训练一个人体区域的关键点提取模型，使得F₂(Body_k)＝{KeyPoint_ki}，用于提取人体区域图片中的关键点位置。