[发明专利]基于局部场景感知图卷积网络的行为识别方法

说明书

本发明公开了的一种基于局部场景感知图卷积网络的行为识别方法，具体包括如下步骤：步骤1，获取人体行为数据集；步骤2，对步骤1得到的数据集使用经典姿态估计方法进行预处理，再利用骨骼信息获取骨骼关节点周围的局部场景信息；步骤3，搭建局部场景感知图卷积网络；步骤4，设计损失函数；步骤5，初始化神经网络参数；步骤6，训练搭建好的神经网络，将步骤2得到的结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中；步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。解决了现有技术中存在的因为骨骼方法对场景信息感知能力弱，导致对于一部分较为依赖场景信息的动作识别效果较差的问题。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于局部场景感知图卷积网络的行为识别方法。

背景技术

人体行为识别是视频分类中重要的一个类别，在智能视频监控、医疗监护系统、运动训练、人机交互和虚拟现实等方面具有重要的应用价值。而近年来，随着各种具有深度信息提取能力的传感器(如微软发布的Kinect)及各种姿态估计算法的逐渐成熟，基于骨骼数据的行为识别方法成为了一种实现方法。相较于视频序列及二维图像信息进行行为识别容易受到光照、遮挡、穿着变化以及环境变化影响，骨骼数据的表现形式更加稳定，此类研究中由卷积神经网络泛化而来的图卷积神经网络模型发展较晚，但取得了目前最佳的识别效果。而骨骼数据在避免受外部不稳定条件干扰的同时，也面临着丢失场景信息的缺陷，导致此类算法识别率难以进一步提升。

现有行为识别任务中，识别对象往往会与场景中的一些物体对象进行交互。而对此类信息表现能力的不足导致基于骨骼数据的行为识别方法对某些骨骼运动表现近似的动作类识别精度较差。如戴帽子、摘帽子这种关节时序信息相似的动作对于基于骨骼信息的行为识别方法分辨难度较高。而关节点周围的图像中包含了一部分场景信息，也包括一部分当前动作序列中交互物体的信息。也因此，局部区域的场景信息对于骨骼行为识别效果的进一步提升有着很大的作用。

发明内容

本发明的目的是提供一种基于局部场景感知图卷积网络的行为识别方法，该方法通过RGB信息与关节坐标特征的深度融合的方式解决了现有技术中存在的因为骨骼方法对场景信息感知能力弱，导致对于一部分较为依赖场景信息的动作识别效果较差的问题。

本发明所采用的技术方案是，基于局部场景感知图卷积网络的行为识别方法，具体包括如下步骤：

步骤1，获取人体行为数据集；

步骤2，对步骤1得到的数据集使用经典姿态估计方法进行预处理获得2D或3D骨骼信息，再利用骨骼信息获取骨骼关节点周围的局部场景信息；

步骤3，搭建局部场景感知图卷积网络；

步骤4，设计损失函数；

步骤5，初始化神经网络参数；

步骤6，训练搭建好的神经网络，将步骤2得到的结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数；

步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。

本发明的特点还在于：

步骤2的具体过程为：

步骤2.1，对步骤1得到数据集按帧进行拆分，得到N帧对应的N个图像；

步骤2.2，对单帧图像中的人体关节信息进行获取，得到N帧对应的N组关节信息；

步骤2.3，将关节点信息映射到原RGB图像中，获取每个关节点信息为中心的局部场景RGB信息；

步骤2.4，将人体整体关节坐标以重心为x＝0，y＝0为基准进行平移，并进行将坐标信息归一化到(0,1)区间内。