[发明专利]一种基于关键点的健身姿态估计方法及系统

权利要求书

1.一种基于关键点的健身姿态估计方法，其特征在于，包括以下步骤：

S1：采集健身视频：采集包含单个人体健身时的视频图像；

S2：人体关键点定位：根据步骤S1采集的视频图像，定位人体中的多个关键点的坐标，获取2D关键点信息，并将2D关键点信息转换为3D关键点信息；其中，将2D关键点信息转换为3D关键点信息具体包括：将2D关键点信息输入到全连接卷积神经网络模型，得到左右双视角的2D关键点的坐标；再通过全连接卷积神经网络模型将得到的左右双视角的2D关键点的坐标直接回归得到3D关键点信息；

S3：健身姿态估计：对步骤S1采集的视频图像进行特征提取，并将步骤S2获取的2D关键点信息和3D关键点信息转化为热图，再将提取的特征和热图进行融合，形成新的特征，并将新的特征输入到分类器，得到判断健身姿态是否标准的结果；其中，将步骤S2获取的2D关键点信息和3D关键点信息转化为热图具体包括：将步骤S2获取的2D关键点信息和3D关键点信息进行单位统一，将单位统一后的2D关键点信息通过高斯模糊的方法，对2D关键点合成N个通道的热图特征，3D关键点在深度方向合成N个通道的灰度图，得到的热图包括N个通道的热图特征和N个通道的灰度图，其中N为步骤S2中定位人体的关键点的数量。

2.根据权利要求1所述的健身姿态估计方法，其特征在于，步骤S2中获取2D关键点信息具体包括：将步骤S1采集的视频图像经过归一化处理后，将其中的每帧图像分别输入到沙漏神经网络模型，定位人体中的多个关键点的坐标以获取2D关键点信息；进一步地，多个关键点包括头顶、头部、脖子、左肩、右肩、左肘、右肘、左腕、右腕、胸腔、髋部、左髋、右髋、左膝、右膝、左踝和右踝。

3.根据权利要求1所述的健身姿态估计方法，其特征在于，步骤S3具体包括：采用卷积神经网络对步骤S1采集的视频图像进行特征提取。

4.根据权利要求1至3任一项所述的健身姿态估计方法，其特征在于，还包括：

S4：健身动作频率统计：根据步骤S2获取的2D关键点信息和3D关键点信息，获取视频图像中人体关键点位置的变化规律，通过关键点的轨迹变化来进行频率统计。

5.根据权利要求4所述的健身姿态估计方法，其特征在于，步骤S4具体包括：

S41：选择步骤S2获取的2D关键点信息和3D关键点信息中与健身动作相关的至少一个兴趣关键点的2D关键点信息和3D关键点信息；

S42：截取视频图像中包含完整的健身动作周期的多帧图像，对这些图像的所述兴趣关键点进行统计，统计出在同一运动方向上的最大距离的位置和最小距离的位置，取最大距离的位置和最小距离的位置的连线的中点作为参考点，在该参考点处作垂直于运动方向的垂线作为基准线；

S43：统计视频图像中运动人体的所述兴趣关键点在运动方向上跨越所述基准线的次数，以进行频率统计。