[发明专利]一种基于对比度的弱监督时序动作定位评价方法及系统

权利要求书

1.一种基于对比度的弱监督时序动作定位评价方法，其特征在于，包括以下步骤：

步骤1，获取片段级别的动作分类预测和片段级别的注意力分数预测对使用最大值池化获得目标类别动作分类预测的局部最大值及其所在的时序位置；对使用最小值池化获得目标类别动作分类预测的局部最小值及其所在的时序位置；

步骤2，对步骤1获得的局部最大值和局部最小值隐含的局部对比度信息进行显示建模，获得表示对比度强度的度量以及表示对比度正负的符号函数

步骤3，将步骤2获得的表示对比度强度的度量和表示对比度正负的符号函数进行逐点相乘，获得片段级别的边缘度度量

步骤4，利用第i类动作的片段级别预测和步骤3得到的对视频中的任意起始时间位置的片段中第i类动作的定位效果进行评估。

2.根据权利要求1所述的一种基于对比度的弱监督时序动作定位评价方法，其特征在于，步骤1中，对使用最大值池化获得目标类别动作分类预测的局部最大值及其所在的时序位置；对使用最小值池化获得目标类别动作分类预测的局部最小值及其所在的时序位置的具体步骤包括：

利用片段级别的注意力分数预测对片段级别的动作分类预测进行预处理；包括：如果t位置的注意力分数小于预设阈值，则将该位置的所有类别预测均置为0；定位第i类动作时，取出Ψ的第i行，对Ψ_i进行步长为1的最大值池化，获得局部最大值向量通过调整补零范围，使得输出的局部最大值向量与Ψ_i保持相同的维度；记录每个局部最大值的时序位置，即

对Ψ_i进行步长为1的最小值池化，获得局部最小值向量通过调整补零范围，使得输出的局部最小值向量与Ψ_i保持相同的维度；记录每个局部最小值的时序位置，即

3.根据权利要求1所述的一种基于对比度的弱监督时序动作定位评价方法，其特征在于，步骤2中，

式中，⊙表示逐元素相乘，abs(·)表示逐元素取绝对值，[·]^-1表示逐元素取倒数；为局部最大值向量，为每个局部最大值的时序位置；为局部最小值向量，为每个局部最小值的时序位置；

式中，m(t)，和分别表示和中的第t个值。

4.根据权利要求1所述的一种基于对比度的弱监督时序动作定位评价方法，其特征在于，步骤3中，片段级别的边缘度度量的表达式为：

e＝m⊙c；

对于第t个位置的视频片段，其边缘度值e(t)越接近1，则其是动作的开始的置信度越高，越接近-1，则其是动作的结束的置信度越高。