[发明专利]基于记忆网络的弱监督时域动作定位方法及系统

说明书

本公开提供一种基于记忆网络的弱监督时域动作定位方法，包括：对输入的视频进行特征提取，得到针对定位任务的视频特征；构建动作单元记忆库；根据所述视频特征，建模视频内部的时序结构，得到语义增强的特征；读取所述动作单元记忆库的信息并进行维度变换后，应用于所述语义增强的视频特征生成片段级分类结果；以及获取模板相似性并进行最大池化生成前景注意力权重，再结合所述片段级分类结果确定动作的类别，从而实现基于记忆网络的弱监督时域动作的定位。本公开同时还提供一种基于记忆网络的弱监督时域动作定位系统。

技术领域

本公开涉及人工智能技术领域，关于智能行为分析，尤其涉及一种基于记忆网络的弱监督时域动作定位方法及系统。

背景技术

时域动作定位的目的是找到视频中动作的开始和结束时间，在智能监控、视频摘要、异常检测等领域有着广泛的应用。

传统的时域动作定位方法通常基于全监督学习，首先利用具有动作起止时间的标注数据来训练模型，然后进行动作定位。但是这样的标注数据昂贵且耗时，限制了时域动作定位的实用性。

为了减轻对数据的依赖，从而提升应用场景中的拓展性以及效率。基于弱监督学习的时域动作定位算法逐渐受到关注，与全监督方法的性能差距也逐渐缩小。然而，由于训练过程中缺少动作边界的标注，模型趋向于只关注动作的核心片段且容易受到非动作片段的干扰，导致定位不完整以及错误定位。

因此，如何实现更有效的弱监督时域动作定位是一个亟需解决的技术课题。

发明内容

(一)要解决的技术问题

基于上述问题，本公开提供了一种基于记忆网络的弱监督时域动作定位方法及系统，以缓解现有技术中弱监督时域动作定位训练模型只关注动作的核心片段且容易受到非动作片段的干扰，导致定位不完整以及错误定位等技术问题。

(二)技术方案

本公开的一个方面，提供一种基于记忆网络的弱监督时域动作定位方法，包括：

对输入的视频进行特征提取，得到针对定位任务的视频特征；

构建动作单元记忆库；

根据所述视频特征，建模视频内部的时序结构，得到语义增强的特征；

读取所述动作单元记忆库的信息并进行维度变换后，应用于所述语义增强的视频特征生成片段级分类结果；以及

获取模板相似性并进行最大池化生成前景注意力权重，再结合所述片段级分类结果确定动作的类别，从而实现基于记忆网络的弱监督时域动作的定位。

在本公开实施例中，所述对输入的视频进行特征提取，得到针对定位任务的视频特征，包括：

将输入的视频分为多个视频片段；

提取每个所述视频片段中的特征；以及

获得针对定位任务的视频特征。

在本公开实施例中，所述构建动作单元记忆库，包括：

预定义多个动作单元模板；以及

根据所述多个动作单元模板得到动作单元自适应分类器和用于检索的关键值，完成动作单元记忆库的构建。

在本公开实施例中，为了保证记忆库中动作单元模板的有效性引入差异性损失L_d来确保模板之间的差异性：

L_d＝||MM^T-I||_F；

其中，I为单位矩阵，||·||_F为Frobenius范数。