[发明专利]篮球比赛视频的球员动作识别方法、装置和设备

权利要求书

1.一种篮球比赛视频的球员动作识别方法，其特征在于，包括：

根据目标篮球比赛视频生成A帧图像，A为大于0的正整数；

确定所述A帧图像中每帧的球员，并输出每个球员的检测框；

使用特征提取网络提取所述A帧图像的最后一层特征图，并根据所述A帧图像中每个球员的检测框和所述最后一层特征图得到球员特征向量集合；

根据所述球员特征向量集合获取所述A帧图像中每个球员的标识嵌入特征和帧序号嵌入特征；

将每个球员的特征向量、每个球员对应的标识嵌入特征和每个球员对应的帧序号特征向量进行连接得到每个球员的初始特征向量；

将每个球员的初始特征向量输入到关系提取网络中得到特征矩阵，所述特征矩阵的列向量表示球员的最终特征向量；

将所述特征矩阵输入线性前馈运算网络降维至B维，根据降维后的特征矩阵进行球员动作的识别，B为大于0的正整数，且B等于预定义的球员动作类别数量。

2.根据权利要求1所述的篮球比赛视频的球员动作识别方法，其特征在于，所述根据目标篮球比赛视频生成A帧图像，包括：

获取所述目标篮球比赛视频的第t帧图像，t为大于0的正整数；

获取所述第t帧图像前后共2A帧图像，并对2A帧图像进行隔帧采样得到所述A帧图像。

3.根据权利要求1所述的篮球比赛视频的球员动作识别方法，其特征在于，所述根据所述球员特征向量集合获取所述A帧图像中每个球员的标识嵌入特征和帧序号嵌入特征，包括：

将所述球员特征向量集合中每个球员的标识进行编码转换得到A维的第一特征向量；

将所述第一特征向量输入到两层的多层感知器MLP网络中得到每个球员的标识嵌入特征；

将所述球员特征向量集合中每个球员出现在A帧图像的帧序号进行编码转换得到A维的第二特征向量；

将所述第二特征向量输入到两层的MLP网络中得到每个球员的帧序号嵌入特征。

4.根据权利要求1所述的篮球比赛视频的球员动作识别方法，其特征在于，所述将每个球员的初始特征向量输入到关系提取网络中得到特征矩阵，包括：

在所述关系提取网络内，对每个球员的初始特征向量输入到一层的全连接神经网络得到每个球员的索引特征向量、查询特征向量和值特征向量；

将每个球员的索引特征向量和查询特征向量进行点积运算得到每个球员与其他球员之间的相似度，并根据每个球员与其他球员的相似度进行归一化，计算归一化后相似度值的Softmax值作为每个球员的权重向量；

根据每个球员的权重向量和权重系数得到每个球员融合了其他球员信息的特征向量；

将每个球员的融合了其他球员信息的特征向量和对应的初始特征向量进行相加得到每个球员的最终特征向量；

将所有球员的最终特征向量进行组合、LayerNorm运算和线性前馈运算，得到所述特征矩阵。

5.一种篮球比赛视频的球员动作识别装置，其特征在于，包括：

获取模块，用于获取目标篮球比赛视频；

控制处理模块，用于根据所述目标篮球比赛视频生成A帧图像，确定所述A帧图像中每帧的球员，并输出每个球员的检测框；使用特征提取网络提取所述A帧图像的最后一层特征图，并根据所述A帧图像中每个球员的检测框和所述最后一层特征图得到球员特征向量集合；根据所述球员特征向量集合获取所述A帧图像中每个球员的标识嵌入特征和帧序号嵌入特征；将每个球员的特征向量、每个球员对应的标识嵌入特征和每个球员对应的帧序号特征向量进行连接得到每个球员的初始特征向量；将每个球员的初始特征向量输入到关系提取网络中得到特征矩阵，所述特征矩阵的列向量表示球员的最终特征向量；将所述特征矩阵输入线性前馈运算网络降维至B维，根据降维后的特征矩阵进行球员动作的识别；

其中，A为大于0的正整数，B为大于0的正整数，且B等于预定义的球员动作类别数量。

6.根据权利要求5所述的篮球比赛视频的球员动作识别装置，其特征在于，所述控制处理模块用于获取所述目标篮球比赛视频的第t帧图像，t为大于0的正整数；获取所述第t帧图像前后共2A帧图像，并对2A帧图像进行隔帧采样得到所述A帧图像。