[发明专利]一种基于自监督技术的滑雪运动员三维姿态估计方法

说明书

本发明涉及一种基于自监督技术的滑雪运动员三维姿态估计方法，与现有技术相比解决了基于视频的滑雪运动员三维姿态难以估计的缺陷。本发明包括以下步骤：训练数据集的获取；构建三维人体姿态估计网络模型；训练三维人体姿态估计网络模型；获取待估计的滑雪运动图像；获得滑雪运动员三维姿态估计结果。本发明在不需要三维真实标签的情况下，用二维数据集实现了滑雪运动员三维人体姿态的精确估计。

技术领域

本发明涉及三维人体姿态估计技术领域，具体来说是一种基于自监督技术的滑雪运动员三维姿态估计方法。

背景技术

滑雪运动以多学科理论为基础,对空中技巧运动成绩的影响因素进行全面剖析，为教练员指导运动训练实践服务。为了让运动员取得更好的成绩和避免不恰当的动作造成关节受伤，对滑雪运动员的姿态估计和分析至关重要。

人体姿态估计主要是指从图像中检测出人体各关节点位置、骨骼方向以及角度信息，由于大规模的二维人体姿态标注和深度神经网络的出现，近年来二维人体姿态估计问题取得了巨大的成功。相比之下，三维人体姿态估计的进展仍然有限。这一方面是由于从单一图像中恢复三维信息的语义模糊问题，另一方面是由于三维数据集的标注信息获取困难且成本高，缺乏大规模的带有三维地面真实数据标注的数据集。

发明内容

本发明的目的是为了解决现有技术中基于视频的滑雪运动员三维姿态难以估计的问题，提供一种基于自监督技术的滑雪运动员三维姿态估计方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于自监督技术的滑雪运动员三维姿态估计方法，包括以下步骤：

获取训练数据集：用公开数据集MPII和Human3.6M数据集中的图像部分构建二维训练数据集，并进行预处理；

构建三维人体姿态估计模型：模型以ResNet50和WASP模块为基础，引入了注意力机制CBAM，并利用对极几何知识构建三维标签实现自监督技术；

训练三维人体姿态估计模型：将三维人体姿态估计模型先在数据集MPII 上做预训练，然后再用Human3.6m数据集进行自监督训练，并在训练时对数据进行合成遮挡处理；

获取待估计的滑雪运动图像：获取在滑雪场地由高速摄影相机捕获视频数据，再将视频数据逐帧提取成图片，将其作为待估计的滑雪运动图像；

获得滑雪运动员三维姿态估计结果：将待估计的滑雪运动图像输入训练后的三维人体姿态估计模型的3D姿态估计网络中，得到滑雪运动员三维姿态估计结果，并计算关键关节的空间角度。

所述构建三维人体姿态估计模型包括以下步骤：

设定三维人体姿态估计模型包括上分支结构和下分支结构，上分支结构为2D姿态估计网络，下分支结构为3D姿态估计网络；

设定上分支结构为2D网络，用基础网络来提取特征，通过反卷积操作后得到体积热图H，并将soft argmax应用于体积热图H的两个维度得到二维姿态U：

采用ResNet50作为基础网络来提取特征，并在ResNet50的Layer1层前和Layer4层后引入结合空间spatial和通道channel的注意力机制CBAM模块；

设定在基础网络的ResNet模块后添加基于瀑布模型的空洞空间池化模块 WASP，对提取到的特征使用WASP模块来获取较大视野，捕捉图片的多尺度上下文信息；

设定在WASP模块后连接一个反卷积网络，将提取的特征作用于反卷积网络，得到体积热图H；

将体积热图H的x、y两个维度通过soft argmax函数操作后得到二维姿态U；