[发明专利]基于姿态分割和关键点特征的乒乓球动作识别方法及系统

说明书

本发明公开了一种基于姿态分割和关键点特征的乒乓球动作识别方及系统，方法包括以下过程：获取拍摄了乒乓球运动员训练时接发球动作的视频；从视频中分割出仅包含手臂区域的视频帧图像；对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类。本发明分析了接发球动作的时空关系建立了时空特征，提高了动作识别的准确率。

技术领域

本发明涉及图像与视频分析技术领域，具体涉及一种基于人体姿态分割结合骨架关键点特征的乒乓球接发球动作识别方法及系统。

背景技术

随着信息化进程的加快以及人工智能领域技术的不断发展，体育运动作为社会活动的组成部分,人工智能的应用将极大影响传统的运动训练、竞赛、竞技体育管理的组织形式。传统的乒乓球接发球训练主要靠教练员从旁指导，随着技术的发展逐渐出现了嵌入智能设备的运动装备，用于采集运动信息和人体指标等数据，通过网对数据进行储存和分析,用于指导运动员的训练方式和规范，为教练员制定训练计划提供参考。但是，传统方法人工代价较大耗时费力，智能设备成本高制作复杂不易于普及。

随着计算机视觉的迅速发展，尤其是深度学习在视频理解、行为识别、目标检测、图像与视频分析等诸多领域都取得了巨大成功。因此，基于机器视觉实现乒乓球运动员接发球训练的动作识别评判是一种能够广泛应用和推广的手段。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于姿态分割和关键点特征的乒乓球动作识别方法及系统，分析了接发球动作的时空关系建立了时空特征，提高了动作识别的准确率。

为解决上述技术问题，本发明提供了一种基于姿态分割和关键点特征的乒乓球动作识别方法，其特征是，包括以下过程：

获取拍摄了乒乓球运动员训练时接发球动作的视频；

从视频中分割出仅包含手臂区域的视频帧图像；

对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计，获取每个视频帧图像中手臂骨架关键点信息；

根据每个视频帧图像中骨架关键点信息，获取每帧内骨架关键点的空间结构特征和时序特征；

根据骨架关键点的空间结构特征和时序特征，对运动员接发球动作进行识别分类。

进一步的，从视频中分割出仅包含手臂区域的视频帧图像包括：

利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像。

进一步的，利用实例分割架构Mask RCNN网络从视频中分割出仅包含手臂区域的视频帧图像的具体过程为：

(1)通过训练过的RPN网络将当前视频帧图像经过多次卷积操作提取生成多目标特征图，在目标特征图上运用滑动窗口框选目标区域，并通过卷积层和全连接层计算生成目标区域；

(2)将RPN提取出的目标区域划分为k x k个小特征图并通过双线性插值法对这些区域计算固定尺寸的像素值来代表不同目标区域更精确的特征；

(3)对每个目标区域的特征图输出二进制图像掩码，通过卷积提供的像素间的关系为每个目标区域生成一个掩码表示，根据获取到的掩码将每帧图像中包含动作信息的手臂区域分割出来，剔出与动作信息无关的区域。

进一步的，对仅包含手臂区域的视频帧图像进行手臂区域的骨架关节点估计包括：

利用OpenCV技术进行手臂区域的骨架关节点估计。

进一步的，根据每个视频帧图像中骨架关键点信息获取每帧内骨架关键点的空间结构特征和时序特征的具体过程为：