[发明专利]一种基于自监督技术的滑雪运动员三维姿态估计方法

权利要求书

1.一种基于自监督技术的滑雪运动员三维姿态估计方法，其特征在于，包括以下步骤：

11)获取训练数据集：用公开数据集MPII和Human3.6M数据集中的图像部分构建二维训练数据集，并进行预处理；

12)构建三维人体姿态估计模型：模型以ResNet50和WASP模块为基础，引入了注意力机制CBAM，并利用对极几何知识构建三维标签实现自监督技术；

13)训练三维人体姿态估计模型：将三维人体姿态估计模型先在数据集MPII上做预训练，然后再用Human3.6m数据集进行自监督训练，并在训练时对数据进行合成遮挡处理；

14)获取待估计的滑雪运动图像：获取在滑雪场地由高速摄影相机捕获视频数据，再将视频数据逐帧提取成图片，将其作为待估计的滑雪运动图像；

15)获得滑雪运动员三维姿态估计结果：将待估计的滑雪运动图像输入训练后的三维人体姿态估计模型的3D姿态估计网络中，得到滑雪运动员三维姿态估计结果，并计算关键关节的空间角度。

2.根据权利要求1所述的一种基于自监督技术的滑雪运动员三维姿态估计方法，其特征在于，所述构建三维人体姿态估计模型包括以下步骤：

21)设定三维人体姿态估计模型包括上分支结构和下分支结构，上分支结构为2D姿态估计网络，下分支结构为3D姿态估计网络；

22)设定上分支结构为2D网络，用基础网络来提取特征，通过反卷积操作后得到体积热图H，并将soft argmax应用于体积热图H的两个维度得到二维姿态U：

221)采用ResNet50作为基础网络来提取特征，并在ResNet50的Layer1层前和Layer4层后引入结合空间spatial和通道channel的注意力机制CBAM模块；

222)设定在基础网络的ResNet模块后添加基于瀑布模型的空洞空间池化模块WASP，对提取到的特征使用WASP模块来获取较大视野，捕捉图片的多尺度上下文信息；

223)设定在WASP模块后连接一个反卷积网络，将提取的特征作用于反卷积网络，得到体积热图H；

224)将体积热图H的x、y两个维度通过soft argmax函数操作后得到二维姿态U；

23)设定下分支结构为3D网络，在得到体积热图H后，将soft argmax函数应用于体积热图H的三个维度得到三维姿态V：

231)采用ResNet50作为基础网络来提取特征，并在ResNet50的Layer1层前和Layer4层后引入注意力机制CBAM；

232)在基础网络ResNet模块后添加WASP模块，对提取到的特征使用WASP模块捕捉图片的多尺度上下文信息；

233)将提取的特征输入反卷积网络，得到体积热图H；

234)将soft argmax函数应用于体积热图H的x、y、z三个维度得到三维姿态V。