[发明专利]一种人体动作识别系统及方法

权利要求书

1.一种人体动作识别系统，其特征在于，包括：

多个语义时空模块，用于对基于语义图式的骨架图表示的骨架序列数据进行语义图式图卷积操作以编码人体骨架中固有连接关系的关节之间的层级结构和包含高阶语义信息的潜在连接关系，得到骨架空间结构特征，并对经语义图式图卷积操作后的骨架序列数据进行时空卷积操作得到其时空特征；其中，每个语义时空模块包括依次连接的语义图卷积模块、批量池化和非线性激活模块、时间域卷积模块、批量池化和非线性激活模块；其中，所述多个语义时空模块被配置为按照执行如下步骤获得骨架序列数据的时空特征：

M1、对骨架图序列中的每一帧骨架图进行语义图式图卷积操作：

其中，表示语义连接关系m中语义角色k对应的邻接矩阵，第t帧的骨架特征V_t∈R^C1×25包含M种语义连接关系，且语义连接关系m中包含K_m个语义角色,是对角矩阵，表示语义连接关系m中的各个关节与语义角色k的邻居关节之间关系的卷积核参数，将骨架特征维度从C1维转换到C2维，用于特征变换提取高维特征，O_t∈R^C2×25是第t帧的语义图式图卷积输出，特征维度为C2维，空间维度为25维，特征维度C2由当前语义图卷积卷积核参数确定；

所有骨架图的语义图式图卷积输出组成骨架图序列的语义图式图卷积输出矩阵O∈R^C2×25×T1，其中，特征维度为C2维，空间维度为25维，时间维度为T1维，对于初始层语义时空模块，时间维度T1等于预设的时间维度；

M2、将步骤M1中骨架图序列的语义图式图卷积输出进行批量归一化操作得到其归一化特征；

M3、将步骤M2中得到的归一化特征输入到激活函数引入非线性因素进行非线性激活，得到骨架图序列的非线性特征；

M4、对步骤M3中得到的非线性特征进行时间域卷积处理得到骨架图序列的时空特征；

M5、对步骤M4中得到的时空特征进行批量归一化操作得到时空特征对应的归一化特征；

M6、对步骤M5中得到的归一化特征输入到激活函数引入非线性因素进行非线性激活，得到时空特征对应的非线性特征；

M7、将骨架图序列的语义图式图卷积输入通过残差连接到步骤M6的输出得到骨架图序列的初始时空特征；

M8、以步骤M7得到的初始时空特征作为输入，进行9次叠加的由语义图式图卷积、批量归一化操作、非线性激活、时空卷积操作、批量归一化、非线性激活组成的组合操作以得到骨架图序列的时空特征矩阵：R^C×25×T，其中，叠加操作中的上一次组合操作的输出是下一次的输入，且第1次至第3次组合操作对应的特征维度为C2维、空间维度为25维、时间维度为T1维，第4次至第6次组合操作的对应的特征维度为C2*2维、空间维度为25维、时间维度为T1/2维，第7次至第9次组合操作的对应的特征维度为C2*4维、空间维度为25维、时间维度为T1/4维，C＝C2*4,T＝T1/4；

广义注意力非局部模块，用于对经语义时空模块处理后的骨架序列数据的时空特征进行增强处理，构建骨架序列数据中任意位置之间的全局依赖关系；其中，所述广义注意力非局部模块被配置为执行如下步骤获得骨架序列数据中任意位置之间的全局依赖关系：

P1、将骨架图序列线性变换后的特征进行向量化以将特征沿着特征维度及时空维度展开表示为1维向量：

vec(W_θP)∈R^CN，vec(W_φP)∈R^CN，vec(W_gP)∈R^CN,

其中，vec函数表示将特征向量化，N＝25×T，W_θP∈R^C×25×T，W_φP∈R^C×25×T，W_gP∈R^C×25×T表示线性变换后得到的特征；W_θ，W_φ，W_g∈R^C×C是由神经网络学习获得的变换权重；

P2、使用点乘关系函数计算任意时空关节任意通道的关联度建立全局依赖关系得到增强特征Q∈R^C×25×T：

初级胶囊层，用于将经广义注意力非局部模块处理后的骨架序列数据特征按特征维度划分生成胶囊；

分类胶囊层，包括多个分类胶囊，使用经初级胶囊层生成的胶囊包含的信息，每个分类胶囊对应一个动作类别。