[发明专利]基于图卷积网络的人体骨架行为识别方法、系统、装置

说明书

本发明属于计算机视觉及深度学习领域，具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置，旨在解决基于图卷积神经网络的人体骨架行为识别结果精度不高的问题。本发明方法包括：获取骨架视频帧并归一化；构建每一帧图对应的人体关节自然连接图；学习非自然连接边，获得人体关节连接图；为人体关节连接图各条边分配权重值；进行图卷积操作，获得骨架序列的空间信息；在时间维度上进行卷积操作，获得骨架序列的行为类别。本发明自然连接边能够学习到基本的人体行为特征，同时非自然连接边可以学习到附加的行为特征，通过自然连接边和非自然连接边共同构成一张图，可以更加充分的表征人体运动信息，提高识别性能。

技术领域

本发明属于计算机视觉及深度学习领域，具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置。

背景技术

行为识别作为计算机视觉的一个重要研究领域，旨在从一段给定视频中区分出人体所做的行为所属类别。行为识别应用广泛，在智能家居、运动分析、视频监控以及人机交互等多个领域具有重要的研究价值。目前的行为识别方法主要从基于RGB视频和基于人体骨架关节点两个角度进行研究。基于RGB视频的方法易受光照、遮挡的影响，鲁棒性较差，而基于人体骨骼关节点的方法则具有极强的判别性，不受光照影响，对视角变换、尺度变换等都具有较高的鲁棒性。因此，基于人体骨架关节点的行为识别方法也越来越受到研究者的关注。

基于人体骨架节点的行为识别方法主要分为两类，一类是基于传统的机器学习方法，这类方法需要进行手工特征设计，描述行为属性，然后训练分类器，进行行为识别。例如，通过将人体骨架序列建模为图结构，通过图核设计提取不同行为特征，最后利用SVM分类器进行行为识别，这类方法的主要缺点是手工设计的特征表征能力有限，无法保证良好的区分效果；另一类是基于深度学习的方法，这类方法以目标为导向，通过构建不同的深度神经网络架构进行行为识别，使用大量数据训练网络模型，使网络自动学习行为特征，往往能够取得更好的分类效果。例如，基于LSTM的方法在时间上建模，能够更好的描述时间依赖性；通过将整个视频的骨架序列表示为一幅图像的形式，然后采用基于CNN的方法进行卷积，获取每个视频的行为特征，进行行为识别，可以更好地捕获行为的时空特征。

最近，随着图卷积网络(GCN，Graph Convolutional Network)的流行，许多研究者开始从GCN的角度进行研究。但是，在实际工程中，大部分研究基于人体关节点的自然连接图，由于人体关节点的自然连接图并不能充分表征运动特征，例如，在进行“拍手”动作时，人的两只手之间存在交互关系；“摸头”动作中，手和头之间存在交互，而自然连接图中不存在两只手之间、手与头之间的连接，无法表征这些关系。同时，不同图的构建方式，对行为识别的分类结果会也带来很大影响。

发明内容

为了解决现有技术中的上述问题，即基于图卷积神经网络的人体骨架行为识别结果精度不高的问题，本发明提供了一种基于图卷积网络的人体骨架行为识别方法，包括：

步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；

步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建待对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；

步骤S30，基于所述待识别骨架序列每一帧图对应的人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；

步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；

步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；

步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。