[发明专利]基于多尺度注意力图卷积网络的人体行为识别方法

说明书

本发明涉及人体行为识别技术领域，具体涉及基于多尺度注意力图卷积网络的人体行为识别方法，包括：获取待识别的原始3D骨架图序列；将所述原始3D骨架图序列输入经过预先训练的人体行为识别模型中：首先通过多分支输入模块从所述原始3D骨架图序列中提取关节信息、骨架信息和运动信息作为行为特征数据；然后通过多尺度注意力图卷积模块基于所述行为特征数据学习3D骨架关节点的相关性，提取各种行为在不同持续时间的时序信息；最后通过全局注意力池化层识别原始3D骨架图序列对应的人体行为；输出对应的人体行为识别结果。本发明中的人体行为识别方法能够兼顾人体行为识别的准确性和效率，从而能够保证人体行为识别的识别效果。

技术领域

本发明涉及人体行为识别技术领域，具体涉及基于多尺度注意力图卷积网络的人体行为识别方法。

背景技术

基于视频信息的人体行为识别是计算机视觉领域的热点问题，其主要利用图像处理、图像分析与计算机视觉等技术对视频序列进行目标检测、分类和跟踪，并对视频信息中的行为进行理解和描述。人体行为识别一般包括特征提取以及分类识别两个关键环节。第一个环节是指构建特征描述子来表达视频中的目标行为的信息，第二个环节是指利用特征描述子对目标行为分类，进而识别出目标行为的类别。想要对人体行为进行识别，首先需要用特征信息对目标人体的行为进行表达，因此，提取出的特征需要能够反映视频中目标人体在某一方面的关键信息。

随着低成本RGB-D传感器的普及，3D骨架关节点凭借其清晰的3D结构、不易受环境影响以及对光照的鲁棒性等优点在人体行为识别领域得到了大量的研究。3D骨架包含丰富的运动信息，能够准确的反映出人体的运动轨迹。例如，公开号为CN109858390A的中国专利就公开了《一种基于端到端时空图学习神经网络的人体骨架的行为识别方法》其包括：获取用于训练的人体3D骨骼关键点位置数据集，定义算法目标；对每一帧基于空间位置进行聚类表达，得到空间节点关系；计算每一关节点的时间轨迹，并据此进行关系度量，得到时间节点关系；建立所述时空图学习与图卷积神经网络的联合学习框架；使用所述学习框架估计连续人体3D骨架的行为类别。

上述现有方案中的人体骨架行为识别方法基于图卷积网络及全连接层进行体骨架行为识别，能够在一定程度上保证人体行为识别的准确率。然而，申请人发现上述现有识别方法通过构建人体3D骨架时空图来探索人体关节间的时空依赖关系，但是，3D骨架图结构是预定义的，其无法表现出人体在不同行为下多变的关节间关联信息，使得其提取的特征信息难以准确表达人体行为，导致人体行为识别的准确性不好；同时，高度表达特定行为的运动信息往往只需要几个关键节点的时空特征即可，使得其存在骨架序列中关节特征冗余性的问题，导致人体行为识别的效率均偏低。因此，如何设计一种能够兼顾人体行为识别的准确性和效率是急需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够兼顾人体行为识别的准确性和效率的人体行为识别方法，从而能够保证人体行为识别的识别效果。

为了解决上述技术问题，本发明采用了如下的技术方案：

1、基于多尺度注意力图卷积网络的人体行为识别方法，包括以下步骤：

S1：获取待识别的原始3D骨架图序列；

S2：将所述原始3D骨架图序列输入经过预先训练的人体行为识别模型中：

首先通过多分支输入模块从所述原始3D骨架图序列中提取关节信息、骨架信息和运动信息作为行为特征数据；然后通过多尺度注意力图卷积模块基于所述行为特征数据学习3D骨架关节点的相关性，提取各种行为在不同持续时间的时序信息；最后通过全局注意力池化层识别所述原始3D骨架图序列对应的人体行为；

S3：输出对应的人体行为识别结果。

优选的，步骤S2中：