[发明专利]基于集合预测的时序动作定位方法、系统、设备及介质

说明书

本发明公开了一种基于集合预测的时序动作定位方法、系统、设备及介质，所述方法包括以下步骤：获取编码后的视频特征序列；进行混合位置编码，获得混合位置编码后的视频特征序列；输入预训练好的Transformer编码器，获得全局融合后的视频特征序列；输入预训练好的分类网络，获得关键视频片段以及每个视频片段的分类分数；输入预训练好的动作定位网络，获得动作实例的开始和结束边界偏移量；输入预训练好的背景定位网络，获得背景实例的两个边界的偏移量。本发明能够避免大量类不可知的动作提案的生成，最终可提高推理速度同时实现优异的时序动作定位性能。

技术领域

本发明属于计算机视觉与模式识别技术领域，涉及时序动作定位领域，特别涉及一种基于集合预测的时序动作定位方法、系统、设备及介质。

背景技术

伴随着视频数据的快速增长，视频内容理解技术日渐成熟，成为计算机视觉领域的一个活跃的研究方向；其中，时序动作定位旨在定位动作实例的时序位置以及识别它们的类别，具有越来越大的理论研究价值与实际应用价值。

目前大多数的时序动作定位方法均采用双阶段定位机制，即第一阶段生成类不可知的动作提案，一般利用预先定义的锚或匹配开始边界和结束边界来生成动作提案；第二阶段为动作提案分类和边界调整；随后利用非极大值抑制来移除重复冗余的检测结果。

基于上述陈述可知，尽管现有方法实现了卓越的性能，但它们仍然需要在第一阶段生成几乎穷举的动作提案列表来实现高召回率。需要强调的是，基于锚的动作提案生成方法需要在每个视频片段位置放置不同尺寸的锚来覆盖各种长度的动作，基于边界的动作提案生成方法也需要匹配所有可能的动作开始位置和动作结束位置生成动作提案。如此大量的动作提案会造成后续分类和边界调整的计算负担，且在推理阶段，非极大值抑制是必不可少的环节，但是由于非极大值抑制不参与网络的训练过程，这势必会造成与网络的不协调。

综上，亟需一种新的基于集合预测的时序动作定位方法、系统、设备及介质。

发明内容

本发明的目的在于提供一种基于集合预测的时序动作定位方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明提供的技术方案中，首次提出将定位动作实例问题视为动作关键视频片段检测问题，避免了大量类不可知的动作提案的生成，也不需要非极大值抑制操作，最终可提高推理速度同时实现优异的时序动作定位性能。

为达到上述目的，本发明采用以下技术方案：

本发明提供的一种基于集合预测的时序动作定位方法，包括以下步骤：

获取待时序动作定位的视频序列，分解为若干视频片段并分别编码，获取编码后的视频特征序列；

将编码后的视频特征序列的每个视频片段进行混合位置编码，获得混合位置编码后的视频特征序列；其中，所述混合位置编码用于将每个视频片段的时序位置信息编码至原始特征内；

将混合位置编码后的视频特征序列输入预训练好的Transformer编码器，获得全局融合后的视频特征序列；其中，所述预训练好的Transformer编码器用于将视频全局特征与每个视频片段特征融合；

将全局融合后的视频特征序列输入预训练好的分类网络，获得关键视频片段以及每个视频片段的分类分数；将全局融合后的视频特征序列输入预训练好的动作定位网络，获得动作实例的开始和结束边界偏移量；将全局融合后的视频特征序列输入预训练好的背景定位网络，获得背景实例的两个边界的偏移量。

本发明的进一步改进在于，所述将编码后的视频特征序列的每个视频片段进行混合位置编码，获得混合位置编码后的视频特征序列的步骤具体包括：