[发明专利]视频动作定位模型训练方法、视频动作定位方法和系统

说明书

本申请提供视频动作定位模型训练方法、视频动作定位方法和系统，方法包括：将视频样本中视频片段对应的片段特征输入分类器，以输出视频样本的第一动作定位结果数据；采用注意力机制在各个视频片段的片段特征之间分别针对每个视频样本内部以及相同类别的各个视频样本之间进行信息交互，并基于信息交互结果生成视频样本的第二动作定位结果数据；将该结果数据作为伪标签对第一动作定位结果数据进行监督以对分类器进行模型训练。本申请能够保留视频样本中更丰富的信息，能够生成更准确的伪标签来监督模型训练，进而能够有效提高训练得到的视频动作定位模型的性能以及采用视频动作定位模型进行视频动作定位的结果准确性及可靠性。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及视频动作定位模型训练方法、视频动作定位方法和系统。

背景技术

随着移动互联网的普及(数据传输速度快)和移动设备的快速发展(拍摄视频或者图像需求增加，设备储存空间大等)，在工业生产和现实生活中多种不同的场景下产生了大量的视频数据，因此如何快速充分对视频内容进行理解从而对其进行管理分析以及处理是一个巨大的挑战，如视频推荐，视频检索等任务。视频时序动作定位(Temporal ActionLocalization，TAL)作为自动化视频理解的一项重要任务而备受关注，该任务的主要目的旨在通过预测视频中相应的动作开始时间、结束时间和动作类别标签来发现视频中的动作实例，精确的动作定位有利于提高视频时序动作序列质量评估的性能，辅助其更好的解析视频中的动作步骤，获取更多的细节信息。动作定位有着广泛的应用前景，例如自动驾驶、医疗看护、监控、视频检索等。

目前，为了获取更为精确的定位性能，现有技术大多利用全监督的方法从人工标注的数据中进行学习，然而详细的数据标注的过程繁重且昂贵，相比之下弱监督(WeaklySupervised Temporal Action Localization，W-TAL)的方法则可以利用视频的粗粒度动作分类标签进行相应的学习，其获取成本相对较低且更为方便。然而，现有的弱监督的算法大多利用多实例学习得到的初步分类结果预测潜在的动作片段，然而这种初步分类的结果并不准确，无法满足视频动作定位模型的应用准确性要求。

发明内容

鉴于此，本申请实施例提供了视频动作定位模型训练方法、视频动作定位方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。

本申请的一个方面提供了一种视频动作定位模型训练方法，包括：

将各个视频样本中的多个互不重叠的视频片段各自对应的片段特征输入预设的分类器，以使该分类器分别输出各个所述视频样本各自对应的第一动作定位结果数据；

采用注意力机制在各个所述视频片段的片段特征之间分别针对每个所述视频样本内部以及相同类别的各个视频样本之间进行信息交互，并基于对应的信息交互结果生成各个所述视频样本各自对应的第二动作定位结果数据；

将所述第二动作定位结果数据作为伪标签对所述第一动作定位结果数据进行监督以对所述分类器进行模型训练，得到对应的视频动作定位模型。

在本申请的一些实施例中，所述采用注意力机制在各个所述视频片段的片段特征之间分别针对每个所述视频样本内部以及相同类别的各个视频样本之间进行信息交互，并基于对应的信息交互结果生成各个所述视频样本各自对应的第二动作定位结果数据，包括：

将各个所述视频片段各自对应的片段特征，分别划分为动作片段特征和非动作片段特征；

采用注意力机制，对每个所述视频样本各自对应的各个所述片段特征、动作片段特征和非动作片段特征进行视频样本内部的信息交互，以生成每个所述视频样本自身对应的各个类内信息交互片段特征；

在各个所述动作片段特征中选取多个，以作为代表性动作片段特征，并采用注意力机制，对各个所述代表性动作片段特征和所述类内信息交互片段特征进行动作类别相同的视频样本之间的信息交互，以生成各个类间信息交互片段特征；