[发明专利]一种基于人物关系建模的动作识别方法

权利要求书

1.一种基于人物关系建模的动作识别方法，其特征在于，包括以下步骤：

1)利用卷积神经网络检测待识别图像中所有的人体包围盒和物体包围盒并提取人体特征向量和物体特征向量

2)根据人体和物体的空间位置、人体特征向量和物体特征向量，分别计算人-物关系特征f_ho(m)和物-人关系特征f_oh(n)；

3)利用人-物关系特征f_ho(m)和物-人关系特征f_oh(n)对人体特征向量和物体特征向量增强；

4)融合增强后的人体特征向量和物体特征向量计算得到各类别动作的概率，完成动作识别。

2.根据权利要求1所述的一种基于人物关系建模的动作识别方法，其特征在于，所述的步骤2)具体包括：

201)根据人体包围盒和物体包围盒计算人和物体间的空间位置关系权重

202)根据人体特征向量和物体特征向量计算人和物体间的特征关系权重

203)根据空间位置关系权重和特征关系权重计算人人和物体间的最终关系权重

204)根据最终关系权重分别计算人-物关系特征f_ho(m)和物-人关系特征f_oh(n)，所述的人-物关系特征f_ho(m)为第m个人和整个物体集合的关系特征，所述的物-人关系特征f_oh(n)为第n个物体和整个人的集合的关系特征记作f_oh(n)。

3.根据权利要求2所述的一种基于人物关系建模的动作识别方法，其特征在于，所述的最终关系权重的计算公式为：

其中，为第m个人和第n个物体间的特征关系权重，为第m个人和第n个物体间的空间位置关系权重。

4.根据权利要求3所述的一种基于人物关系建模的动作识别方法，其特征在于，所述的特征关系权重的计算公式为：

其中，dot(·)代表矩阵间点乘操作，W_Q和W_K均为矩阵，分别用于将输入的人体特征向量和物体特征向量映射到子空间，d_k为映射后的特征维度；

所述的空间位置关系权重的计算公式为：

其中，fc(·)表示一个全连接层，嵌入函数ε_G为正弦函数，用于将人体包围盒b_h和物体包围盒b_o嵌入至高维空间。

5.根据权利要求2或3所述的一种基于人物关系建模的动作识别方法，其特征在于，所述的人-物关系特征f_ho(m)的计算公式为：

所述的物-人关系特征f_oh(n)的计算公式为：

其中，和为可学习权重，分别用于对物体特征向量和人体特征向量进行变换，f_ho(m)为经过变换后所有物体特征向量的加权和，f_oh(n)为经过变换后所有人体特征向量的加权和。

6.根据权利要求5所述的一种基于人物关系建模的动作识别方法，其特征在于，所述的利用人-物关系特征f_ho(m)和物-人关系特征f_oh(n)对人体特征向量和物体特征向量增强的具体公式为：

其中，N_r表示人-物关系特征f_ho(m)或物-人关系特征f_oh(n)的数量，Concat[·]表示将N_r个输出的人-物关系特征f_ho(m)或物-人关系特征f_oh(n)连接起来。