[发明专利]基于关节点时空简单循环网络和注意力机制的动作分类方法

说明书

本发明涉及一种基于关节点时空简单循环网络和注意力机制的动作分类方法。首先，将普通的SRU模型进行空间维度扩展，设计了一种同时在时间和空间两个维度上进行迭代计算的ST‑SRU模型。然后，在所提ST‑SRU模型基础上，引入全局上下文注意力机制，提出了GCA‑ST‑SRU方法。最后，将所提方法用于人体行为识别，先用深度网络提取人体关节点的特征，再采用GCA‑ST‑SRU方法对提取的特征进行识别。本发明方法能够降低训练耗时和提升分类准确率，具有明显的效率优势。本发明方法快速地推断速度有利于实时动作识别系统的设计，适合运行在计算能力有限的平台上，在计算机视觉、智能监控、人机交互等领域具有广阔的应用前景。

技术领域

本发明属于模式识别领域，是一种利用时空简单循环网络对用关节点表示的动作进行建模、并结合注意力机制的优势进行动作分类的方法。

背景技术

动作识别广泛应用在智能视频监控、人机交互、医疗辅助、异常行为检测等领域。动作识别是指对一段视频中的人物的行为进行分类，一段视频可以分解为连续的多张图片，所以动作识别也可以看作是对图片序列进行分类的问题。近年来动作识别的一个热门研究方向是，通过深度相机等传感器捕获人在做动作时身体关节点的三维空间坐标，然后对人体关节点坐标序列分类，人体关节点坐标不受画面中人物的复杂背景环境等噪声的影响，提供了在一个动作中身体运动的高层次信息，基于人体关节点坐标的行为识别取得了很好的成果。

随着深度学习的发展，涌现了很多基于循环网络和人体关节点的行为动作识别研究，包括长短期记忆网络(LSTM)、门控循环单元(GRU)、简单循环单元(SRU)、时空长短期记忆网络(ST-LSTM)和全局上下文注意力长短期记忆网络(GCA-LSTM)。Zhu和Lan等人认为人在做动作时，一些关节点之间存在固有的共现性，即同时有多个关节点对判断动作的类别起到了关键作用，这些有共现性的关节点构成了一个集合，不同的行为动作有不同的关节点集合，采用叠加的LSTM学习关节点之间的共现性特征，实现了对行为动作的分类。FabianBaradel等人同时用到了RGB图像数据和人体关节点数据，从每一帧图像中截取手部区域的子图片，然后用卷积神经网络提取特征，再输入到GRU对该特征序列进行分类，最后引入了注意力机制，从手部关节点的运动中计算关节点的速度和加速度，从中学习到注意力权重赋给GRU的输入；从人体全部关节点运动的速度和加速度中得到注意力权重赋给GRU的输出。

由于普通的LSTM和GRU模型一般用于处理时间序列数据，而忽略了关节点之间的空间关系。ST-LSTM是一种对LSTM的空间维度扩展，认为人体关节点之间存在空间依赖，ST-LSTM将行为识别问题处理为有时空维度的二维序列分类问题，实验结果显示ST-LSTM在多个行为识别数据集上取得了很好的准确率。

Liu和Wang等人认为不同的关节点对动作识别提供的信息重要程度时不同的，在ST-LSTM的基础上引入了注意力机制，提出了GCA-LSTM方法，进一步提高了ST-LSTM的分类准确率，在五个流行的基于骨骼关节点的动作识别数据集上取得了目前最好的性能。Zheng和An等人是较早将SRU用于动作识别的研究，先用卷积神经网络对图片序列中的每张图片提取特征，然后用SRU对提取出的特征序列进行分类，和传统的CNN-RNN模型相比有更低的复杂度和更高的效率，在两个公开动作识别数据集上取得了目前最好的结果。

以上方法都很好的利用了各种循环网络模型进行基于人体关节点的行为识别的研究，但是基于LSTM、GRU的方法在处理人体关节点序列时，存在大量依赖于时序的计算，这些计算不能独立完成。例如LSTM、GRU在计算当前时间步的隐含状态时，由于存在依赖，必须先计算出上一个时间步的隐含状态，这限制了序列处理的速度，随着LSTM模型的规模和超参数数量的增加，训练时间也越来越长，对参数的调整也将花费更多的时间。

发明内容