[发明专利]篮球比赛视频的球员动作识别方法、装置和设备

说明书

本发明实施例公开了篮球比赛视频的球员动作识别方法、装置和设备，该方法包括：根据目标篮球比赛视频生成A帧图像；确定A帧图像中每帧的球员，并输出每个球员的检测框；提取A帧图像的最后一层特征图，并根据A帧图像中每个球员的检测框和最后一层特征图得到球员特征向量集合；获取A帧图像中每个球员的标识嵌入特征和帧序号嵌入特征；将每个球员的特征向量、每个球员对应的标识嵌入特征和帧序号特征向量进行连接得到初始特征向量；将每个球员的初始特征向量输入到关系提取网络中得到特征矩阵；将特征矩阵输入线性前馈运算网络降维至B维，根据降维后的特征矩阵进行球员动作的识别。本发明可以快速准确地识别出篮球比赛视频中球员的动作。

技术领域

本发明实施例涉及图像处理技术领域，具体涉及篮球比赛视频的球员动作识别方法、装置和设备。

背景技术

篮球比赛是一种热门的比赛项目，通常会通过媒体进行转播，观看人数众多。

在篮球比赛结束后，相关人员可以观看篮球比赛视频统计篮球运动员的行为数据，例如统计某个运动员的投篮、罚球和传球等行为，但是这种人工统计运动员行为数据的方式效率低，准确度低。

发明内容

本发明实施例的目的在于提供篮球比赛视频的球员动作识别方法、装置和设备，用以解决现有人工对篮球比赛视频中球员行为进行分析效率低和准确度低的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种篮球比赛视频的球员动作识别方法，包括：根据目标篮球比赛视频生成A帧图像，A为大于0的正整数；确定所述A帧图像中每帧的球员，并输出每个球员的检测框；使用特征提取网络提取所述A帧图像的最后一层特征图，并根据所述A帧图像中每个球员的检测框和所述最后一层特征图得到球员特征向量集合；根据所述球员特征向量集合获取所述A帧图像中每个球员的标识嵌入特征和帧序号嵌入特征；将每个球员的特征向量、每个球员对应的标识嵌入特征和每个球员对应的帧序号特征向量进行连接得到每个球员的初始特征向量；将每个球员的初始特征向量输入到关系提取网络中得到特征矩阵，所述特征矩阵的列向量表示球员的最终特征向量；将所述特征矩阵输入线性前馈运算网络降维至B维，根据降维后的特征矩阵进行球员动作的识别，B为大于0的正整数，且B等于预定义的球员动作类别数量。

根据本发明的一个实施例，所述根据目标篮球比赛视频生成A帧图像，包括：获取所述目标篮球比赛视频的第t帧图像，t为大于0的正整数；获取所述第t帧图像前后共2A帧图像，并对2A帧图像进行隔帧采样得到所述A帧图像。

根据本发明的一个实施例，所述根据所述球员特征向量集合获取所述A帧图像中每个球员的标识嵌入特征和帧序号嵌入特征，包括：将所述球员特征向量集合中每个球员的标识进行编码转换得到A维的第一特征向量；将所述第一特征向量输入到两层的多层感知器MLP网络中得到每个球员的标识嵌入特征；将所述球员特征向量集合中每个球员出现在A帧图像的帧序号进行编码转换得到A维的第二特征向量；将所述第二特征向量输入到两层的MLP网络中得到每个球员的帧序号嵌入特征。

根据本发明的一个实施例，所述将每个球员的初始特征向量输入到关系提取网络中得到特征矩阵，包括：在所述关系提取网络内，对每个球员的初始特征向量输入到一层的全连接神经网络得到每个球员的索引特征向量、查询特征向量和值特征向量；将每个球员的索引特征向量和查询特征向量进行点积运算得到每个球员与其他球员之间的相似度，并根据每个球员与其他球员的相似度进行归一化，计算归一化后相似度值的Softmax值作为每个球员的权重向量；根据每个球员的权重向量和权重系数得到每个球员融合了其他球员信息的特征向量；将每个球员的融合了其他球员信息的特征向量和对应的初始特征向量进行相加得到每个球员的最终特征向量；将所有球员的最终特征向量进行组合、LayerNorm运算和线性前馈运算，得到所述特征矩阵。