[发明专利]基于局部场景感知图卷积网络的行为识别方法

权利要求书

1.基于局部场景感知图卷积网络的行为识别方法，其特征在于：具体包括如下步骤：

步骤1，获取人体行为数据集；

步骤2，对步骤1得到的数据集使用经典姿态估计方法进行预处理获得2D或3D骨骼信息，再利用骨骼信息获取骨骼关节点周围的局部场景信息；

所述步骤2的具体过程为：

步骤2.1，对步骤1得到数据集按帧进行拆分，得到N帧对应的N个图像；

步骤2.2，对单帧图像中的人体关节信息进行获取，得到N帧对应的N组关节信息；

步骤2.3，将关节点信息映射到原RGB图像中，获取每个关节点信息为中心的局部场景RGB信息；

步骤2.4，将人体整体关节坐标以重心为x＝0，y＝0为基准进行平移，并进行将坐标信息归一化到(0，1)区间内；

步骤3，搭建局部场景感知图卷积网络；

所述步骤3中搭建的局部场景感知图卷积网络，输入部分为双支路输入，支路一输入为关节信息，结构依次为：输入层、批归一化层、三个级联的图卷积层；支路二输入为各关节点对应的局部场景RGB信息，结构依次为：输入层、批归一化层、三个级联的卷积层、以及全局平均池化层；支路一特征向量由关节位置得到，支路二特征向量由局部场景RGB信息得到；二者在特征通道上进行连接，并在后续网络层中进行后续分类；

步骤4，设计损失函数；

步骤5，初始化神经网络参数；

步骤6，训练搭建好的神经网络，将步骤2得到的结果作为输入，对应的实际行为类别标签作为输出，成批次地输入到网络中，计算前向传播的损失，使用反向传播算法，调整各层神经元参数；

步骤7，使用训练好的神经网络进行识别，得到未知类别样本的行为标签。

2.根据权利要求1所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤4中损失函数如下公式(1)所示：

其中，M表示类别数量，即数据库中包含行为类别数目；y_c为指示变量，在类别与样本类别相同时为1，否则为0；p_c表示Softmax层输出的属于类别c的预测概率。

3.根据权利要求2所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤5的具体过程为：

对参数epoch，batch_size，learning_rate进行设定，epoch为训练遍历所有数据的次数，设定为5-10之间的整数；batch_size为每批次训练的样本数，learning_rate为学习率。

4.根据权利要求1所述的基于局部场景感知图卷积网络的行为识别方法，其特征在于：所述步骤7的具体过程为：获取人体行为视频，将该行为视频进行剪辑预处理，并采用步骤2中方法获取人体关节结构图，以及各个关节对应的局部场景信息；将该信息输入训练搭建好的神经网络模型中计算输出预测分类结果对应的标签。