[发明专利]一种基于语义和交互特征的双人行为识别方法

权利要求书

1.一种基于语义和交互特征的双人行为识别方法，其特征在于，所述方法包括：

S1、通过OpenPose算法从视频中获取人体骨骼关节点的三维坐标信息；

S2、通过骨骼关节点信息判断是否为双人行为；

S3、将第一个人的骨架信息用第二人的骨架信息用来表示，并且通过高维编码嵌入高维，定义关节类型的语义spa，通过高维编码嵌入高维，与骨架信息融合；

S4、通过双人的骨架信息提取其双人交互信息g_ram；

S5、构建关节级图卷积模块，并将融合了关节类型的骨骼信息与双人交互信息输入进行特征融合；

S6、定义帧索引语义，与经过关节级图卷积后得到的特征进行融合；

S7、通过构建的帧级卷积模块，用于实现行为识别分类。

2.根据权利要求1所述的一种基于语义和交互特征的双人行为识别方法，其特征在于，所述步骤S1包括：使用OpenPose算法提取视频中的人体骨骼关节点的三维坐标信息得到大小为(Bs，3，N，T)的张量，其中Bs为批大小，N为关节点数量，每个关节点包括3维坐标信息，T为时间帧。

3.根据权利要求2所述的一种基于语义和交互特征的双人行为识别方法，其特征在于，所述步骤S2具体为：通过步骤S1获取所述张量中的关节点数量N，用于判断该行为是否是双人行为。

4.根据权利要求3所述的一种基于语义和交互特征的双人行为识别方法，其特征在于，所述关节点数量N＝25代表视频中包含一个人，所述关节点数量N＝50，代表视频中包含两个人。

5.根据权利要求1所述的一种基于语义和交互特征的双人行为识别方法，其特征在于，所述步骤S3包括：所述第一个人的骨架信息和所述第二个人的骨架信息的张量都为(Bs，3，25，T)，经过高维编码后变成了大小为(Bs，64，25，T)的张量；

所述关节类型的语义spa的定义：用一个热向量J_k∈R^dj表示第k个关节的类型，其中第k个维度为1，其他维度均为0；所述关节类型的语义spa维度为(Bs，25，25，T)；将所述语义spa进行高维编码后变成了大小为(Bs，64，25，T)的张量；最后使用cat函数将所述第一个人的骨架信息所述第二个人的骨架信息分别与关节类型语义进行融合得到其中表示第一个人的骨架信息和关节语义融合后的特征，表示第二个人的骨架信息和关节语义融合后的特征。

6.据权利要求4所述的一种基于语义和交互特征的双人行为识别方法，其特征在于，所述步骤S4包括：对于给定的两个人的骨架信息输入，计算出交互特征信息，对于同一帧t中从第一个人的第i个关节到第二个人第j个关节的边缘权重通过嵌入空间中的相似性建模为：

其中表示第一个人骨架的第t帧第i个关节点信息表示第二个人骨架的第t帧第j个关节点信息；θ和φ表示两个变换函数，每个由FC层实现，即θ(X)＝W₁X+b₁，φ(X)＝W₂X+b₂；其中W₁和W₂为可学习的权重参数，b₁和b₂为偏置矢量。最后计算得出的交互特征信息，g_ram为一个维度为(Bs，T，25，25)的张量。