[发明专利]视频动作定位模型训练方法、视频动作定位方法和系统

权利要求书

1.一种视频动作定位模型训练方法，其特征在于，包括：

将各个视频样本中的多个互不重叠的视频片段各自对应的片段特征输入预设的分类器，以使该分类器分别输出各个所述视频样本各自对应的第一动作定位结果数据；

采用注意力机制在各个所述视频片段的片段特征之间分别针对每个所述视频样本内部以及相同类别的各个视频样本之间进行信息交互，并基于对应的信息交互结果生成各个所述视频样本各自对应的第二动作定位结果数据；

将所述第二动作定位结果数据作为伪标签对所述第一动作定位结果数据进行监督以对所述分类器进行模型训练，得到对应的视频动作定位模型。

2.根据权利要求1所述的视频动作定位模型训练方法，其特征在于，所述采用注意力机制在各个所述视频片段的片段特征之间分别针对每个所述视频样本内部以及相同类别的各个视频样本之间进行信息交互，并基于对应的信息交互结果生成各个所述视频样本各自对应的第二动作定位结果数据，包括：

将各个所述视频片段各自对应的片段特征，分别划分为动作片段特征和非动作片段特征；

采用注意力机制，对每个所述视频样本各自对应的各个所述片段特征、动作片段特征和非动作片段特征进行视频样本内部的信息交互，以生成每个所述视频样本自身对应的各个类内信息交互片段特征；

在各个所述动作片段特征中选取多个，以作为代表性动作片段特征，并采用注意力机制，对各个所述代表性动作片段特征和所述类内信息交互片段特征进行动作类别相同的视频样本之间的信息交互，以生成各个类间信息交互片段特征；

将各个所述类内信息交互片段特征和所述类间信息交互片段特征分别输入所述分类器以生成各个所述视频样本分别对应的第二动作定位结果数据。

3.根据权利要求2所述的视频动作定位模型训练方法，其特征在于，所述将各个所述视频片段各自对应的片段特征，分别划分为动作片段特征和非动作片段特征，包括：

在各个所述视频片段各自对应的片段特征中，分别计算时序相邻的两个视频片段各自对应的片段特征之间的预测值，并将该预测值作为时序相连的两个视频片段中的前一个视频片段的预测值；

按预测值从大到小的顺序对各个所述视频片段各自对应的片段特征的排序；

在排序后的各个所述视频片段各自对应的片段特征中提取前预设阈值数量的片段特征作为动作片段特征，并将未提取的片段特征划分为非动作片段特征。

4.根据权利要求3所述的视频动作定位模型训练方法，其特征在于，所述在各个所述动作片段特征中选取多个，以作为代表性动作片段特征，并采用注意力机制，对各个所述代表性动作片段特征和所述类内信息交互片段特征进行动作类别相同的视频样本之间的信息交互，以生成各个类间信息交互片段特征，包括：

按预测值从大到小的顺序，在各个所述动作片段特征中选取多个，以分别作为代表性动作片段特征；

将各个所述代表性动作片段特征存储至预设的存储器中，以使该存储器将当前存储的各个所述代表性动作片段特征经过分类器得到的预测值分别与预存储至该存储器中的同类别的代表性动作片段特征经过分类器得到的预测值进行比较，并在相同类别的动作片段特征中保留预测值较高的一个；

采用注意力机制，对所述类内信息交互片段特征和所述存储器中的各个所述代表性动作片段特征进行动作类别相同的视频样本之间的信息交互，以生成各个类间信息交互片段特征。

5.根据权利要求1所述的视频动作定位模型训练方法，其特征在于，在所述将各个视频样本中的多个互不重叠的视频片段各自对应的片段特征输入预设的分类器之前，还包括：

获取多个视频样本；

将各个所述视频样本分别分割成多个互不重叠的视频片段；

基于预训练的特征提取模型分别提取各个所述视频片段的片段特征，其中，每个所述片段特征均对应设置有类别标签。