[发明专利]基于OpenPose的3D私人健身系统及其工作方法

权利要求书

1.一种基于OpenPose的3D私人健身系统，其特征在于,包括：摄像模块、姿态识别模块和带有显示功能的终端设备；

所述姿态识别模块包括：CMU OpenPose模块、CNN网络模块、CMP模块、PAFs模块和匈牙利算法模块；

所述摄像模块用于拍摄到用户自然站立状态下的腿部、肩背状态的图像，以及训练过程中的人体状态图像；

所述姿态识别模块用于标记用户在体态自测阶段、形体矫正阶段的关键点以及正确连接关节点；

所述CMU OpenPose模块用于人体姿态检测；

所述CNN网络模块用于提取置信图和骨骼连接；

所述CMP模块用于查找人体图像的关键点；

所述PAFs模块用于描述像素点在骨架中的走向，对关键点进行正确的连接；

所述匈牙利算法模块用于求得相连关键点的最优匹配。

2.根据权利要求1所述的基于OpenPose的3D私人健身系统，其特征在于：所述终端设备内置有体态矫正训练素材。

3.根据权利要求1所述的基于OpenPose的3D私人健身系统，其特征在于：所述CNN网络模块网络中的卷积大小都是3×3，且所有隐含层构建过程都使用relu激活函数。

4.根据权利要求1所述的基于OpenPose的3D私人健身系统，其特征在于：所述CNN网络模块采用VGGNet-19。

5.根据权利要求1所述的基于OpenPose的3D私人健身系统的工作方法，其特征在于，包括以下步骤：

步骤S1：拍摄至少包括腿部和肩背信息的自测图像，以及训练过程中的人体状态图像；

步骤S2：将步骤S1获得的图像信息输入CMU OpenPose模块进行人体姿态识别；

步骤S3：将步骤S2获得的识别结果输入CNN网络模块的卷积神经网络；

步骤S4：将步骤S3获得的输出结果分别输入CMP模块提取关键点及输入PAFs模块连接关键点；

步骤S5：通过匈牙利算法模块对相连关键点的最优匹配；

步骤S6：输出匹配后的关键点连接信息，并显示与标准动作的偏差。

6.根据权利要求5所述的基于OpenPose的3D私人健身系统的工作方法，其特征在于，步骤S2具体包括以下步骤：

拍摄到的腿部、肩背图像首先被卷积神经网络VGG-19的前10层进行初始化处理提取特征并微调后，生成特征图集F；网络采用VGG pre-train network作为骨架，采用两个分支分别回归L(p)和S(p)：其中，PAFs用于描述像素点在骨架中的走向，用L(p)表示；关键点的响应CMP用S(p)表示。

7.根据权利要求6所述的基于OpenPose的3D私人健身系统的工作方法，其特征在于，在步骤S3中：输入CMP模块提取关键点及输入PAFs模块连接关键点的两个分支分别使用 CNN网络提取Part Confidence Maps 和 Part Affinity Fields；每一个stage算一次损失函数loss，之后把L和S以及原始输入连接，继续下一个stage的训练；随着迭代次数的增加，每个分支都有t个阶段，表示越来越精细；每个阶段都将特征图进行融合。

8.根据权利要求7所述的基于OpenPose的3D私人健身系统的工作方法，其特征在于，在步骤S3中：

CMP模块提取关键点对应的第一条分支用于获取所有的关键点，包括肘关节、膝盖的二维置信图；其中包括两个CNN，第一个CNN的输入是原图，输出是热图，每一个热图包含某一种关键点；第二个CNN输入是上一个CNN得到的所有热图和原图；输出还是热图，并循环直至收敛；

PAFs模块连接关键点对应的第二条分支用于求所有关节区域：其中包括两个CNN，第一个CNN的输入是原图，输出是热图，每一个热图包含某一种连接区域；第二个CNN输入是上一个CNN得到的所有热图和原图；输出还是热图，并循环直至收敛。

9.根据权利要求8所述的基于OpenPose的3D私人健身系统的工作方法，其特征在于：

通过CMP模块和PAFs模块获得信息后，利用偶匹配求出Part Association，将同一个人的关节点连接起来，最终合并为一个人的整体骨架。