[发明专利]一种基于人体骨架时空关系的行为识别方法

权利要求书

1.一种基于人体骨架时空关系的行为识别方法，其特征在于，包括以下步骤：

S1、对人体骨架序列进行均匀分段处理；

S2、对每段人体骨架信息生成基于距离的图像表达；

S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取；

S4、采用具有时序关系的多个短时空特征作为Bi-LSTM模型的输入，提取人体骨架序列的整体时空关系并进行行为识别；

步骤S2具体包括：

S21、对于划分的短序列中每一帧的骨架数据，分别进行部位划分，将其划分为J个部位；

S22、对于划分的短序列中每一帧骨架数据，计算各个部位中心点的位置：

其中，表示第k帧时，第j个部位的中心点在m通道所对应的坐标值；表示在第k帧中，第j个部位空间中的第i个关节点在m通道所对应的坐标值，n_j表示第j个部位中包含的关节点的数量；

S23、对于划分的短序列中每一帧骨架数据，计算各个部位中的关节点与中心点的距离：

其中，d为m通道中，该部位关节点与中心点的距离；

S24、对于划分的短序列中每一帧骨架数据，将其对应表达为包含中心点位置以及关节点与中心点距离的向量：

其中，P_j^(k,m)代表在第k帧中，第j个部位空间在m通道所对应的距离向量；

S25、对于划分的短序列，将其中每一帧骨架数据所得到的向量表达按时序顺序拼接；

S26、将拼接后的向量表达进行归一化处理；

S27、根据归一化后的向量获得每个短时序骨架数据的图形表达P：

P＝[P¹，P²，…，P^m],

2.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，

步骤S1具体包括：

S11、以原始人体骨架序列作为输入，确定均匀分段的段数L以及每段短序列中包含的帧数K，根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，使得处理后的人体骨架序列长度为L×K；

S12、对处理后得到的长度为L×K的人体骨架序列，以长度K为单位进行均匀分段，获得L段短序列。

3.如权利要求2所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，

步骤S11中，所述根据原始人体骨架序列包含的帧数X和L×K的大小关系对原始人体骨架序列进行采样或扩充处理，具体包括：

S111、若X＞L×K，则对原始人体骨架序列进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；

S112、若X＜L×K，则对原始人体骨架序列进行中的各帧进行复制，使得经过复制处理后的序列长度大于或等于L×K，若等于L×K，则进入步骤S12，若大于L×K，则进行顺序随机取帧至L×K帧，然后对所取的L×K帧数据进行合并，进入步骤S12；

S113、若X＝L×K，则进入步骤S12。

4.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，

步骤S3具体包括：

针对每个短时序骨架的图形表达P，采用针对行为特征提取的带权多视角卷积进行特征提取，得到该短时序骨架的时空特征：

f_r-mv＝a*S₁(x)+b*S₂(x)+c*S₃(x)+x

其中x代表本层输入，在第一层时，该输入为P，S₁、S₂、S₃分别对应三个视角的卷积操作，a、b、c分别对应三个视角卷积的结果在输出中所占的重要性，S₁、S₂、S₃与a、b、c具体数值均由网络学习得到。

5.如权利要求1所述的一种基于人体骨架时空关系的行为识别方法，其特征在于，

步骤S4具体包括：

S41、将多段短时序骨架时空特征作为Bi-LSTM网络的输入，以得到最终长时序骨架时空特征F；

S42、将长时序骨架时空特征F作为全连接层和softmax层的输入，得到最终各类得分；

S43、通过选取最高分类别的方式得到识别结果。