[发明专利]一种基于时空联合的人体动作检测和定位方法

说明书

本发明公开了一种基于时空联合的人体动作检测和定位方法，该方法包含：以未修剪的视频作为输入，通过数据预处理将其分成多个等长的短单元，从中随机地进行稀疏采样，通过双流卷积神经网络以提取时空特征；然后进入时空联合网络判断动作的发生区间，得到一组动作评分波形图，将动作波形图输入GTAG网络，通过设置不同的阈值以实现不同的定位精度要求以及获得不同粒度的动作提议段；所有动作提议段经过动作分类器检测动作的类别，通过完整性过滤器以精细修正动作发生的时间边界，实现复杂场景下的人体动作检测和定位。本发明的方法能够应用于人体遮挡严重、姿态多变以及干扰物较多的实际场景中，可以很好地处理具有不同时间结构的活动类别。

技术领域

本发明属于计算机图形与图像处理领域，涉及一种基于时空联合的人体动作检测和定位方法。

背景技术

人体动作检测一直是计算机视觉领域的一个重要研究课题，能够自动化在视频序列中确定动作发生的时间区间，包括开始时间、结束时间以及动作的类别，对于我们对人体行为的理解和应用至关重要。近年来，由于视频数据的爆炸性增长以及对智能视频处理的迫切需求，基于时间顺序的行为检测方法受到了越来越多的关注。时序行为检测可以分为生成时间区间提案和对提案进行动作分类的两个阶段，目前的方法基本上都更关注候选提案的决策，而忽略了整段视频的时序结构和上下文信息，连续的视频中有很多上下文信息都有利于进行动作检测和定位。

已有的算法形如SSN、TAG和CBR等算法，通过使用和改进生成候选区域的方法以对候选区进行动作分类，在一定程度上利用了时序结构信息，在简单特定的场景中效果较为突出，但是在人体遮挡严重、姿态多变以及干扰物存在较多的实际工程场景中，现有方法的检测结果仍有待提高。此外，人体动作持续的时间不一，范围从几秒到几千秒。因此，如何在数据繁多和背景复杂的场景中，充分地利用时间和空间信息进行准确高效的动作检测和定位成为一个亟待解决的难题。

发明内容

本发明为了克服上述缺陷，提出了一种基于时空联合的人体动作检测和定位方法，本发明具体步骤如下：

S1，对于一个输入未修剪的视频V，进行视频序列预处理，将其分成K个等长的短单元，记为V＝{S₁,S₂,…,S_K}；

S2，将每个均匀分割的短单元切分成连续的视频帧，从中随机地进行稀疏采样L＝12视频帧来近似密集的视频流；

S3，使用双流卷积神经网络提取时间维度和空间维度上的高层特征，即为时空特征，充分利用时序结构信息；

S4，进入时空联合网络训练的二元分类器，判断是否存在人员目标以及动作的发生区间，对区域候选者和标准动作之间的相似性进行评分，得到一组动作评分波形图；

S5，将动作波形图输入GTAG网络，通过设置不同的阈值以实现不同的定位精度要求，充分利用上下文信息，由此获得不同粒度的动作提议段；

S6，所有动作提议段都输入到动作分类器中以检测动作的类别，输出K+1个类别的评分，包括背景类别的评分；

S7，再将S6中的动作评分和相应的动作提议段输入到完整性过滤器中以精细修正动作发生的时间边界；

S8，输出动作的类别和相应的时间边界。

本发明的技术方案特征和改进为：

对于步骤S3，本发明使用的双流卷积网络模型由空间流ConvNets和时间流ConvNets组成，空间流从静止的视频帧中首先进行人员目标的检测，解决因遮挡而无法找到目标的问题，如在海上石油平台复杂场景中，人员目标受柱形管道遮挡严重，使用简单场景下常规模型难以找到目标，然后将连续帧的关键点坐标信息构成动作轨迹，视为空间流特征进行动作分析；时间流以密集光流的形式从运动中识别动作，通过提取多帧光流信息将连续帧之间的光流堆叠形成光流轨迹，视为单位时间内的位移信息，视为时间流特征。