[发明专利]关键帧识别模型训练方法、识别方法及装置

权利要求书

1.一种关键帧识别模型训练方法，其特征在于，包括：

获取训练样本集，基于预定义的识别对象连续的多个关键动作，所述训练样本集中包括多个连续图像序列样本，各连续图像序列样本中标记有各关键动作对应的一个或多个关键帧，各关键帧添加有对应的关键动作标签，各连续图像序列样本中的每一帧都标记有所述识别对象所在的原始人体框；

获取初始网络模型，所述初始网络模型中，采用预设卷积神经网络模型提取连续图像中各帧的图像特征并输入至长短时记忆模块，将所述长短时记忆模块的输出向量作为全连接层的输入，所述全连接层输出连续图像中每一帧属于各关键帧的概率；其中，所述预设卷积神经网络模型为骨干网络MobileNetV2，并采用MobileNetV2基于imageNet数据集的训练权重作为初始权重；

采用所述训练样本集对所述初始网络模型进行训练，并采用带权重的交叉熵损失函数进行调参，得到关键帧识别模型，其中，非关键帧权重为0.1，关键帧权重为1；

设置容错值，当所述初始网络模型的预测结果在所标记关键帧前后的第一数量帧范围内，所述第一数量等于所述容错值，认定为预测结果正确；所述容错值的计算式为：

其中，δ表示容错值，n表示第一个关键帧动作到第五个关键帧动作之间的帧数，f为视频的帧率。

2.根据权利要求1所述的关键帧识别模型训练方法，其特征在于，所述全连接层还输出连续图像中每一帧属于背景的概率。

3.根据权利要求1所述的关键帧识别模型训练方法，其特征在于，所述全连接层使用Xavier初始化生成初始权重；所述长短时记忆模块的序列输入长度为64。

4.根据权利要求1所述的关键帧识别模型训练方法，其特征在于，采用所述训练样本集对所述初始网络模型进行训练中，还包括：

对连续图像序列样本随机选择输入起点；和/或

对连续图像序列样本中的各帧进行随机水平翻转；和/或

对连续图像序列样本中的各帧进行随机仿射变换，所述随机仿 射变换为-5～5°的随机旋转以及随机修剪。

5.一种关键帧识别方法，其特征在于，包括：

获取待识别连续图样；

将所述待识别连续图样输入如权利要求1～4任意一项所述的关键帧识别模型训练方法得到的关键帧识别模型中，计算输出关键动作对应的一个或多个关键帧。

6.根据权利要求5所述的关键帧识别方法，其特征在于，所述待识别连续图样是关于滑雪动作的连续图样，所述关键帧识别模型是基于滑雪过程中预设关键动作对应的关键帧进行训练得到的。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述方法的步骤。