[发明专利]一种用于视频行为识别的正则化方法

权利要求书

1.一种用于视频行为识别的正则化方法，其特征在于，包括以下步骤：

步骤一：经过时空卷积神经网络提取特征后，得到上一层输出N个时间步的尺寸为H×W×C的特征图，其中H×W为空间尺寸，C为通道数，记所述第i个时间步的特征图为v_i，其中i＝1,…,N；

步骤二：接着以时间步为单位，利用3D全局平均池化技术得到第i个特征图的显著性分数s_i，如下式得到：

步骤三：得到N个对应特征图的显著性分数后，利用gESD检验方法进行离群值检测， 首先计算检验统计量R：

其中为N个显著性分数的均值；

步骤四：接着计算临界值λ如下：

其中t_p,N-2为来自N-2自由度t分布的100p分位点， 而p由显著性水平α得到：

然后比较检验统计量R与临界值λ，如果Rλ那么在该批N个特征图中存在显著空间特征图接着执行步骤五，否则不存在接着执行步骤六；

步骤五：在选定显著空间特征图后，为高效丢弃显著空间特征，以通道为最小单元进行2D全局平均池化得到对应通道的显著性分数，并以此为依据为每个通道设置对应丢弃概率，第i个时间步的第c个通道的丢弃概率计算为：

其中，P_sal是一个用来保证该特征图所有通道的期望丢弃概率接近P_sal的预设超参数，

剩余时间步的特征图中所有通道丢弃概率均设置为P_rest，其值小于P_sal，

步骤六：若不存在显著空间特征图，则将所有时间步的特征图丢弃概率均设置为P_rest，以保证正则化效果在训练全程均在一定程度上生效；

步骤七：随机生成一个与输入特征图时间维度尺寸一致的值域为[0,1]的张量掩膜，与所有通道的丢弃概率相比较，保留张量值大于对应丢弃概率的元素，反之则丢弃，从而产生一个相同尺寸的0-1掩膜；

步骤八：计算一个补偿系数与步骤七中的0-1掩膜相乘来增大输出激活值幅度，计算一个全局补偿系数β(β≥1)如下：

接着将补偿系数与0-1掩膜相乘，成为0-β掩膜，将掩膜与上层输出特征图逐元素相乘最终得到经正则化后的下层输入特征图。

2.根据权利要求1所述的一种用于视频行为识别的正则化方法，其特征在于，步骤一、二中的得到以时间步为最小单元的显著性分数的技术采用的是3D全局平均池化算法。

3.根据权利要求1所述的用于视频行为识别的正则化方法，其特征在于，步骤三中，对由步骤二得到的N个显著性分数进行离群值检测，并确定是否存在显著空间特征图，其中离群值检测算法为gESD检验方法。

4.根据权利要求1所述的一种用于视频行为识别的正则化方法，其特征在于，步骤五中，在选定的显著空间特征图中，以通道为单位得到以通道为最小单元的显著性分数的算法为是2D全局平均池化算法。

5.根据权利要求1所述的一种用于视频行为识别的正则化方法，其特征在于，步骤五中，任一通道的期望丢弃概率值域为[0,1]，且总体期望接近所设定的超参数。

6.根据权利要求1所述的一种用于视频行为识别的正则化方法，其特征在于，步骤六中，判定不存在显著空间特征图的情况下，将所有时间步特征图分配统一丢弃概率，以保证正则化在训练全程生效。

7.根据权利要求1所述的一种用于视频行为识别的正则化方法，其特征在于，步骤七中，完全随机生成一个与输入特征图时间维度尺寸一致的值域为[0,1]的张量掩膜，与所有通道的丢弃概率相比较，从而产生一个相同尺寸的0-1掩膜。

8.根据权利要求1所述的一种用于视频行为识别的正则化方法，其特征在于，步骤八中，计算一个补偿系数与输出掩膜相乘，来保持训练阶段与推理阶段输出激活值幅度的一致性。