[发明专利]一种基于比赛视频的动作自动识别方法

权利要求书

1.一种基于比赛视频的动作自动识别方法，其特征在于，包括如下步骤：

(1)赛事视频的预处理和筛选：收集足够且充分的原始视频数据，剔除原始视频中评价、回放、慢放、赛事过程中的裁定评分及其他非赛事动作直接相关的视频片段；

依据位置职能的基础动作作为划分依据，对原始视频进行切割分块，并选取不同职能位置对应的基本动作片段、不同位置职能间的互动动作视频片段以及特殊职能单位的特殊动作视频片段分别形成基本动作片段集、互动动作片段集以及特殊动作片段集；

(2)关键词标注及统计：基于前述动作片段集，采用人工统计或者语音识别方式，对各动作片段进行关键词标注；

(3)动作以及语义特征提取：利用卷积神经网络扫描动作片段集以进行动作特征提取；

利用独热编码对关键词转化为描述特征，统计关键词词频构建语义词典；

(4)动作和语义特征的关联训练学习：使用长短期记忆人工神经网络完成动作片段与语义特征的学习训练，包括如下步骤：

将前述步骤中的动作特征分解为具有矢量特征并进行编码的动作特征序列，利用神经网络解码该动作特征获取相应动的数据

对于动作特征矢量X＝{x₁、x₂、...x_n}，其在长短期记忆人工神经网络对应的隐藏层输出H＝{h₁、h₂、...h_n}，将动作特征矢量按照顺序输入LSTM，在每个动作片段的所有帧图像均经过LSTM训练后，得到该动作特征矢量的编码映射；解码训练过程中，LSTM将隐藏状态解码为语义序列Y＝{y₁、y₂、...y_m}，其概率为

在已知帧序列的隐藏状态以及语义的情况下，持续训练过程直至得到预测中最大的对数似然性

2.根据权利要求1所述一种基于比赛视频的动作自动识别方法，其特征在于，还包括用于去除冗余的步骤，具体而言，以含有帧图像数目最小的连续帧图像组对应的时长t_min为基数，统计各视频片段相对于t_min的重复次数，剔除同一个视频片段内包含的重复性冗余帧图像，对于画面呈周期性变化的视频片段，所述画面至少保留有一个完整周期内的所有非重复帧图像。

3.根据权利要求1所述一种基于比赛视频的动作自动识别方法，其特征在于，数据集的训练使用了随机梯度算法进行优化，以使LSTM的训练过程更加适合动作特征与语义的识别，其中第二层LSTM的输出S在由关键词构成的词库中获得最大可能性的目标关键词G满足

4.根据权利要求1所述一种基于比赛视频的动作自动识别方法，其特征在于，引入了时间权重比例控制，具体而言：采用时长特征向量的动态加权和，其公式为其中是i时刻LSTM隐藏层输出与动作片段向量匹配得到的分值权重且其中score(x_ih_i)是指第i各隐藏层的输出h_i在动作片段特征向量中所占的分值，表示在该动作片段中的影响权重。