[发明专利]一种基于投票的时序关联模型的视频动作识别方法

说明书

本发明涉及计算机视觉领域，公开了一种基于投票的时序关联模型的视频动作识别方法，其包括步骤：S1、对卷积特征图进行空间池化；S2、使用大小为1的卷积核对执行了空间池化后的卷积特征图进行通道压缩；S3、使用1维的时域卷积层的三路分支对经过通道压缩后输出的卷积特征图进行不同膨胀率的一维时间卷积运算；S4、经过时序池化，将空间池化后的卷积特征图降维为特征向量；S5、将三路分支的预测结果分别相加，作为最后的分类结果。本发明的方法在对特征图进行特征提取时，可以捕获时间信息，而且在训练过程中能够快速收敛，同时能够在网络的任意深度集成，在较高的提升了模型表征能力的基础上，还很好地控制了计算开销和模型复杂度。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于投票的时序关联模型的视频动作识别方法。

背景技术

近年来，基于视频的动作识别领域在卷积神经网络的浪潮中取得了长足的发展，视频分类从手工设计的方法转向深度学习方法。这些方法可以归纳为两类:基于2D CNN和基于3D CNN的方法。基于2DCNN的方法主要基于稀疏时间采样策略进行视频级别的表示。具体来说，这些方法对视频序列进行均匀采样，独立地对单帧图像进行操作，然后平均这些帧级别预测来学习时间信息。作为一种从二维图像到三维视频域的自然演化，基于3D的CNN方法采用三维时空卷积来捕捉时空信息并提供最佳结果。

动作识别与普通的图像分类的主要区别在于有额外的时序信息并且需要时序建模。已有的方法利用CNN，通过动作的帧级别分类来学习深度外观特征。与图像不同，动作可以表示为时空对象，并通过时空中的定向滤波捕获，处理相似的空间和时间维度。虽然已有很多工作已经尝试了不同的方法对时序进行建模，取得了一定的进展，但时间建模仍然没有得到充分的研究并是一项挑战性的工作。

基于2D和3D CNN的方法都是使用视频级标签训练的，它们都倾向于关注最具鉴别力的部分，而不是通用的表征。因此，这些方法在时间相关性较强的样本上的性能较差，这些样本的主要特点是:与其他类样本的外观相似，但与同一类样本的空间信息差异较大。一个与时间相关的样本显示在图中。

在日常生活中，大多数动作，如“游泳”或“吃东西”，通常是同质的运动，具有连贯的形式并且有高度场景依赖性，所以这些行为通常可以从几帧甚至一帧里区分出来。相比之下，“骑在自行车上捡东西”和“在游泳池里散步”等是非常不同的行为，但在现实生活中却无处不在，这些动作很容易造成歧义，只能主要依靠运动模式来区分并且需要同时结合很多帧同时的信息。现有的方法往往侧重于外观信息，容易被与时间相关的样本混淆。随着数据集类数的增加，问题变得越来越严重，尤其是与时序相关的数据集，其计算效率显著降低。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于投票的时序关联模型的视频动作识别方法，其在较高地提升了模型表征能力的基础上，还很好地控制了计算开销和模型复杂度。

一种基于投票的时序关联模型的视频动作识别方法，其包括以下步骤：

S1、对卷积特征图进行空间池化；

S2、使用大小为1的卷积核对执行了空间池化后的卷积特征图进行通道压缩；

S3、使用1维的时域卷积层的三路分支对经过通道压缩后输出的卷积特征图进行不同膨胀率的一维时间卷积运算；

S4、经过时序池化，将空间池化后的卷积特征图降维为特征向量；

S5、将三路分支的预测结果分别相加，作为最后的分类结果。

优选地，在上述的基于投票的时序关联模型的视频动作识别方法中，其特征在于，在所述步骤S1中，卷积特征图的形状表示为：C′*T*H*W，其中，C′、T、H、W分别表示特征通道的数量、时间维度、高度、宽度，在将卷积特征图输入到空间池中进行池化操作后，获得特征维度为C′*T的特征图。