[发明专利]基于骨架视频的行为识别方法

权利要求书

1.一种基于骨架视频的行为识别方法，包含空间域图卷积神经网络，其特征在于还包括一个骨架关节点关系推理网络，通过训练确定骨架关节点关系推理网络参数，得到骨架关节点连接关系矩阵，该骨架关节点连接关系矩阵输入所述空间域图卷积神经网络，实现基于骨架视频的行为识别，具体包括如下训练步骤：

A1.对训练数据集中的每一段视频抽帧得到视频训练样本，并提取各帧的骨架关节点信息，得到骨架视频训练样本；

A2.用所述骨架视频训练样本对所述空间域图卷积神经网络进行初步训练，得到空间域图卷积神经网络的参数，训练方式为以行为类别为标签的监督式训练；

A3.基于得到的空间域图卷积神经网络的参数确定的空间域图卷积神经网络，用所述骨架视频训练样本训练所述骨架关节点关系推理网络，输出骨架关节点连接关系矩阵；

A4.用所得的骨架关节点连接关系矩阵训练所述空间域图卷积神经网络，更新该空间域图卷积神经网络的参数；

A5.重复步骤A3和A4若干次；

所述行为识别方法还包括如下应用步骤：

B1.获取待识别视频，对待识别视频抽帧得到待识别视频样本，并提取各帧的骨架关节点信息；

B2.将待识别视频样本输入训练好的骨架关节点关系推理网络，得到对应待识别视频样本的骨架关节点连接关系矩阵；

B3.将该骨架关节点连接关系矩阵和待识别视频样本输入训练好的空间域图卷积神经网络，得到行人行为的类别。

2.根据权利要求1所述的基于骨架视频的行为识别方法，其特征在于，步骤A1和B1中，所述骨架关节点信息包括N个关节点的2D或3D坐标，对视频抽帧得到视频训练样本或待识别视频样本，提取各帧的骨架关节点信息进一步包括：

将视频中的每一帧内的骨架信息建模成一张图G(x,A),其中x∈R^N×C，包含N个关节点的2D或3D坐标，A是所述骨架关节点连接关系矩阵，大小为N×N；

步骤A2中，通过如下方式将建立的初始骨架关节点连接关系矩阵初始化为骨架关节点物理连接关系矩阵：

其中α、β、γ为常数，α≥βγ≥0。

3.根据权利要求2所述的基于骨架视频的行为识别方法，其特征在于把骨架关节点集合划分成若干个骨架关节点子集合，对每个骨架关节点子集合分别用不同骨架关节点连接关系矩阵描述其连接关系；所述空间域图卷积神经网络中的图卷积层的输出为：

其中A_k是描述第k个骨架关节点子集合连接关系的子矩阵，Λ_k用于对连接关系矩阵做对称归一化处理，其表达式为W是空间维度上可学习的参数矩阵，k是划分子矩阵的数量，i和j表示不同的关节点的索引，分别对应矩阵的行和列。

4.根据权利要求1所述的基于骨架视频的行为识别方法，其特征在于所述空间域图卷积神经网络中还包括带通道交换机制的卷积层，用于将关节点维度和特征维度交换顺序。

5.根据权利要求1所述的基于骨架视频的行为识别方法，其特征在于步骤A3中用所述骨架视频训练样本训练所述骨架关节点关系推理网络，输出骨架关节点连接关系矩阵具体包括:

(1)首先通过多层感知机或者1D卷积神经网络对每个关节点的初始特征进行编码；

(2)将任意不同的两个关节点的特征进行拼接，得到连接任意两点的骨架关节边的特征，并用多层感知机或者1D卷积神经网络层对获得的骨架关节边的特征进行再一次的编码；

(3)将同一个点出发和接收的所有骨架关节边特征进行求和，以此求和后的特征表示新的骨架关节点的隐含层特征；

(4)重复步骤(2)-(3)若干次后，根据每条关节边的特征给每条关节边一个分数，根据分数构建新的连接关系矩阵。