[发明专利]基于多尺度注意力图卷积网络的人体行为识别方法

权利要求书

1.基于多尺度注意力图卷积网络的人体行为识别方法，其特征在于，包括以下步骤：

S1：获取待识别的原始3D骨架图序列；

S2：将所述原始3D骨架图序列输入经过预先训练的人体行为识别模型中：

首先通过多分支输入模块从所述原始3D骨架图序列中提取关节信息、骨架信息和运动信息作为行为特征数据；然后通过多尺度注意力图卷积模块基于所述行为特征数据学习3D骨架关节点的相关性，提取各种行为在不同持续时间的时序信息；最后通过全局注意力池化层识别所述原始3D骨架图序列对应的人体行为；

S3：输出对应的人体行为识别结果。

2.如权利要求1所述的基于多尺度注意力图卷积网络的人体行为识别方法，其特征在于，步骤S2中：

关节信息，通过将原始3D骨架图序列中的3D骨架关节点集合v_t和相对位置集合R_t连接成一个序列得到；

其中，原始3D骨架图序列具有T帧的3D骨架关节点集合v_t，3D骨架关节点集合v_t中第t帧的3D骨架图源节点表示为v_tc＝(x_tc,y_tc,z_tc)；第t帧的3D骨架关节点v_ti的相对位置向量r_tic表示为r_tic＝v_ti-v_tc＝(x_ti-x_tc,y_ti-y_tc,z_ti-z_tc)，v_ti＝(x_ti,y_ti,z_ti)；第t帧的3D骨架关节点v_ti的相对位置集合R_t表示为R_t＝{r_tic|t∈T,i∈N}；c表示3D骨架图的源节点标号；i表示某一帧的3D骨架关节点标号。

3.如权利要求2所述的基于多尺度注意力图卷积网络的人体行为识别方法，其特征在于，步骤S2中：

骨架信息，通过将原始3D骨架图序列中的3D骨架边集合L_t和3D骨架间角度集合A_t连接成一个序列得到；

其中，第t帧的3D骨架边l_tij表示为l_tij＝v_ti-v_tj＝(x_ti-x_tj,y_ti-y_tj,z_ti-z_tj)；3D骨架边集合L_t表示为L_t＝{l_tij|t∈T,(i,j)∈N}；3D骨架间角度a_til表示为3D骨架间角度集合A_t表示为A_t＝{a_t(v_ti)|t∈T,i∈N}；i表示一阶领域的关节点，j表示关节点；N表示3D骨架关节点数。