[发明专利]一种基于时空联合的人体动作检测和定位方法

摘要

本发明公开了一种基于时空联合的人体动作检测和定位方法，该方法包含：以未修剪的视频作为输入，通过数据预处理将其分成多个等长的短单元，从中随机地进行稀疏采样，通过双流卷积神经网络以提取时空特征；然后进入时空联合网络判断动作的发生区间，得到一组动作评分波形图，将动作波形图输入GTAG网络，通过设置不同的阈值以实现不同的定位精度要求以及获得不同粒度的动作提议段；所有动作提议段经过动作分类器检测动作的类别，通过完整性过滤器以精细修正动作发生的时间边界，实现复杂场景下的人体动作检测和定位。本发明的方法能够应用于人体遮挡严重、姿态多变以及干扰物较多的实际场景中，可以很好地处理具有不同时间结构的活动类别。

主权项

1.一种基于时空联合的人体动作检测和定位方法，其特征及具体步骤如下：S1，对于一个输入未修剪的视频V，进行视频序列预处理，将其分成K个等长的短单元，记为V＝{S₁,S₂,…,S_K}；S2，将每个均匀分割的短单元切分成连续的视频帧，从中随机地进行稀疏采样L＝12视频帧来近似密集的视频流；S3，使用双流卷积神经网络提取时间维度和空间维度上的高层特征，即为时空特征，充分利用时序结构信息；S4，进入时空联合网络训练的二元分类器，判断是否存在人员目标以及动作的发生区间，对区域候选者和标准动作之间的相似性进行评分，得到一组动作评分波形图；S5，将动作波形图输入GTAG网络，通过设置不同的阈值以实现不同的定位精度要求，充分利用上下文信息，由此获得不同粒度的动作提议段；S6，所有动作提议段都输入到动作分类器中以检测动作的类别，输出K+1个类别的评分，包括背景类别的评分；S7，再将S6中的动作评分和相应的动作提议段输入到完整性过滤器中以精细修正动作发生的时间边界；S8，输出动作的类别和相应的时间边界。