[发明专利]基于集合预测的时序动作定位方法、系统、设备及介质

权利要求书

1.一种基于集合预测的时序动作定位方法，其特征在于，包括以下步骤：

获取待时序动作定位的视频序列，分解为若干视频片段并分别编码，获取编码后的视频特征序列；

将编码后的视频特征序列的每个视频片段进行混合位置编码，获得混合位置编码后的视频特征序列；其中，所述混合位置编码用于将每个视频片段的时序位置信息编码至原始特征内；

将混合位置编码后的视频特征序列输入预训练好的Transformer编码器，获得全局融合后的视频特征序列；其中，所述预训练好的Transformer编码器用于将视频全局特征与每个视频片段特征融合；

将全局融合后的视频特征序列输入预训练好的分类网络，获得关键视频片段以及每个视频片段的分类分数；将全局融合后的视频特征序列输入预训练好的动作定位网络，获得动作实例的开始和结束边界偏移量；将全局融合后的视频特征序列输入预训练好的背景定位网络，获得背景实例的两个边界的偏移量。

2.根据权利要求1所述的一种基于集合预测的时序动作定位方法，其特征在于，所述将编码后的视频特征序列的每个视频片段进行混合位置编码，获得混合位置编码后的视频特征序列的步骤具体包括：

将所述视频特征序列输入预训练好的卷积神经网络，预测获得每个视频片段的动作概率、开始概率和结束概率，获得预训练好的卷积神经网络优化后的视频特征序列；其中，所述动作概率用于表示视频片段属于动作的持续阶段的可能性，所述开始概率用于表示视频片段属于动作的开始阶段的可能性，所述结束概率用于表示视频片段属于动作的结束阶段的可能性。

3.根据权利要求1或2所述的一种基于集合预测的时序动作定位方法，其特征在于，所述混合位置编码的过程具体表示为：

P_t，4i＝sin((t-1)/10000^4i/D)，

P_t，4i+1＝cod((t-1)/10000^4i/D)，

P_t，4i+2＝sin((t-1)/T/10000^4i/D)，

P_t，4i+3＝cod((t-1)/f/10000^4i/D)，

式中，D为每个视频片段特征的维度，t和i分别表示视频片段的时序位置索引和特征维度索引，T表示视频序列长度，P为t时刻下的视频片段的混合位置编码信息。

4.根据权利要求1所述的一种基于集合预测的时序动作定位方法，其特征在于，所述预训练好的Transformer编码器为标准的Transformer编码器；所述标准的Transformer编码器包含两个残差结构的线性映射层和一个自注意力模块。

5.根据权利要求1所述的一种基于集合预测的时序动作定位方法，其特征在于，所述将全局融合后的视频特征序列输入预训练好的分类网络，获得关键视频片段以及每个视频片段的分类分数的步骤具体包括：

采用由三层卷积神经网络组成的分类网络；训练分类网络的损失函数为匈牙利损失函数，以及FocalLoss和GIoU组成的匹配损失函数；

将全局融合后的视频特征序列输入预训练好的分类网络，获得每个视频片段的分类分数，并利用二部匹配法获得关键视频片段。

6.根据权利要求1所述的一种基于集合预测的时序动作定位方法，其特征在于，所述将全局融合后的视频特征序列输入预训练好的动作定位网络，获得动作实例的开始和结束边界偏移量的步骤具体包括：

采用由三层卷积神经网络组成的动作定位网络，训练动作定位网络的损失函数为匈牙利损失函数和一对多的回归损失函数；

将全局融合后的视频特征序列输入预训练好的动作定位网络，获得动作实例的开始边界和结束边界的偏移量。