[发明专利]基于深度学习的运动辅助训练方法

权利要求书

1.一种基于深度学习的运动辅助训练方法，包括如下步骤：

步骤1：预处理目标运动员的视频数据，将对视频抽帧得到的图像中人体骨架关键点进行标注，形成样本图像，并将动作类别作为标签；

步骤2：构建所述人体骨架关键点的骨架检测网络和动作检测网络，其中所述骨架检测网络由运动员目标检测网络和关键点检测网络组成，进一步包括如下步骤：

步骤2-1：训练运动员目标检测网络，基于所述样本图像进行特征提取和权重更新，得到所述目标运动员的具有权重的人体骨架关键点特征；

步骤2-2：训练关键点检测网络，基于所述样本图像映射得到多分辨率的特征图，通过对不同分辨率的特征图直接相加进行特征融合，将分辨率最高的特征图作为模型输出；

步骤2-3：训练动作检测网络，采取图卷积神经网络对所述人体骨架关键点及连接进行空间域上的图卷积，得到所述人体骨架关键点及连接的空间特征，并采取时序卷积网络对所述人体骨架关键点及连接进行时间域上的卷积，得到所述人体骨架关键点图在叠加下的时序特征和训练时间中人体骨架关键点变化的局部特征，基于对所述空间特征、时序特征和局部特征的分类预测所述目标运动员的对应动作；

步骤3：识别视频动作，得到所述人体骨架关键点与目标运动员之间的对应关系并进行连接，将人体骨架检测结果输入所述动作检测网络进行动作识别，基于对应的所述标签输出动作类别。

2.根据权利要求1所述的基于深度学习的运动辅助训练方法，其特征在于，所述标注为参照COCO人体骨架关键点数据集格式对至少10个人体骨架关键点进行，将所述人体骨架关键点数据按时间序列结合，得到5维向量。

3.根据权利要求1所述的基于深度学习的运动辅助训练方法，其特征在于，将所述样本图像与目标运动员的位置信息及检测框坐标采取3×3卷积核对所述多分辨率特征图进行特征提取，并将提取结果跨层交叉连接网络进行权重更新。

4.根据权利要求3所述的基于深度学习的运动辅助训练方法，其特征在于，所述特征提取将所述初始特征图拆分成x₀＝[x_0′，x_0″]，通过x_k叠加获得阶段总输出x_T，并与x_0′连接生成最后输出x_U，其前馈传递方程与权重更新方程如下：

x_k＝w_k*[x_0″，x₁，...，x_k-1]

x_T＝w_T*[x_0″，x₁，...，x_k]

x_U＝w_U*[x_0′，x_T]

w′_k＝f(w_k，g_0″，g₁，g₂，...，g_k-1)

w′_T＝f(w_T，g_0″，g₁，g₂，...，g_k-1)

w′_U＝f(w_U，g_0′，...，g_T)

上式中，w_k代表权重，g_k代表第k层卷积层的传播梯度。

5.根据权利要求1所述的基于深度学习的运动辅助训练方法，其特征在于，所述对不同分辨率的特征图进行特征融合，还包括跨分辨率的交换模块，使得某一分辨率的子网络得到其他分辨率的子网络的特征信息。