[发明专利]一种基于关键点的健身姿态估计方法及系统

说明书

本发明公开了一种基于关键点的健身姿态估计方法及系统，该健身姿态估计方法包括以下步骤：S1：采集健身视频：采集包含单个人体健身时的视频图像；S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。本发明提出的基于关键点的健身姿态估计方法及系统，能够节省大量的人力和花费，实现事半功倍的效果。

技术领域

本发明涉及生物识别领域，尤其涉及一种基于关键点的健身姿态估计方法及系统。

背景技术

传统的健身姿态次数统计需要佩戴可穿戴设备或者基于跑步机等外部设备进行统计，健身姿态动作是否标准需要依靠专业的健身教练或者外部人员来进行指导。这种依靠外部设备或者人力的方法，需要耗费大量的专业设备或者额外的具有专业知识的人力资源进行判断。在现在健身人员日益增多，健身需求日益增大的环境下，专业的设备和健身教练的耗资、耗时都比较高。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于关键点的健身姿态估计方法及系统，能够节省大量的人力和花费，实现事半功倍的效果。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于关键点的健身姿态估计方法，包括以下步骤：

S1：采集健身视频：采集包含单个人体健身时的视频图像；

S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；

S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果。

优选地，步骤S2中获取2D关键点信息具体包括：将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；进一步地，多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝。

优选地，步骤S2中将2D关键点信息转换为3D关键点信息具体包括：将2D关键点信息输入到全连接卷积神经网络模型，得到左右双视角的2D关键点的坐标；再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息。

优选地，步骤S3具体包括：采用卷积神经网络对步骤S1采集的视频图像进行特征提取，将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图。

优选地，其中将步骤S2获取的2D关键点信息和3D关键点信息通过高斯模糊处理得到热图具体包括：将步骤S2获取的2D关键点信息和3D关键点信息进行单位统一，将单位统一后的2D关键点信息通过高斯模糊的方法，对2D关键点合成N个通道的热图特征，3D关键点在深度方向合成N个通道的灰度图，得到的热图包括N个通道的热图特征和N个通道的灰度图，其中N为步骤S2中定位人体的关键点的数量。

优选地，所述健身姿态估计方法还包括：S4：健身动作频率统计：根据步骤S2获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计。