[发明专利]一种多人人体姿态的检测方法

权利要求书

1.一种多人人体姿态的检测方法，包括特征提取用主干网络，其特征在于：所述主干网络采用HRNet网络，所述主干网络内整合有MIMB输出特定人体实例的特征图；

所述检测方法包括以下步骤：

步骤一、由主干网络对输入图片进行特征提取,随后对网络进行分支，每个分支对应图片中一个人体实例；

步骤二、生成对应的热图和特征图，对人体关键点进行回归，得到由HRNet输出的每个人体实例的特征图后，对人体关键点进行定位，其中，定位过程包括：

S1根据特征图V得到粗略的人体关键点热图，在每个关键点的热图周围进行采样得到引导点，并得到与引导点对应的引导特征；

S2以引导点和与其对应的局部特征为基础，构建人体姿态图，并将姿态图导入图姿态调整模块，得到最终经过调整的定位结果。

2.根据权利要求1所述的检测方法，其特征在于：所述HRNet并行有多个分辨率的分支，且各分支之间进行不同分支之间的信息交互，以能够达到强语义信息和精准位置信息的目的。

3.根据权利要求1所述的检测方法，其特征在于：所述MIMB通过通道之间的相互依赖性，对通道特征加以利用，输出特定人体实例的特征图，以能够对有人体遮挡、重叠的情况做出理想的处理。

4.根据权利要求1所述的检测方法，其特征在于：所述步骤一中，具体包括：

特征图进入MIMB后，首先对其进行挤压操作，对特征图的每一层通道进行池化操作，得到一个通道描述符s；目的是在描述符中嵌入通道响应特征的全局分布使来自网络全局的信息能够被其较低层利用；

在接下来的激励操作中，将描述符作为一个简单的自门机制的输入，得到一个包含了每个通道的调制权重的集合e，同时，通过一个简单的全连接层，将标量λ转化为一个与集合e规模相同的集合v，最后将这两个集合与输入的特征结合，得到整个模块的输出特征图。

5.根据权利要求1所述的检测方法，其特征在于：所述步骤二中，引导特征的获取，具体包括：

首先，将特征图输入到一个定位子网络中，得到一组与热图尺寸相同的局部特征图F；

在热图中心关节实际位置的周围，按照距离关节位置的远近设置引导点进行采样，每个引导点都可以在局部特征图F中提取出与之对应的引导特征和置信度分数；

假设有K个人体关键点，每个关键点采样K个引导点，可以得到N*K个引导点，对应着N*K个引导特征。

6.根据权利要求5所述的检测方法，其特征在于：所述引导点包括三类点：热图中心的点、关节附近的点以及距离关节比较远的点。

7.根据权利要求1所述的检测方法，其特征在于：所述步骤二中，从每个人体关键点的N个引导特征中选取一个特征，组成一个人体姿态图，可以得到K个姿态图，将K个姿态图和引导点对应的置信度分数送入GPR模块，就得到了经过修正的人体关键点的坐标位置。

8.根据权利要求6所述的检测方法，其特征在于：所述GPR模块的出发点是：构成人体姿态的人体关节点的相对位置受到人体生理结构限制，针对关节点k，GPR模块的原理是根据k的实际位置sk以及其引导点和所对应的引导特征，加上k的相邻关节的实际位置和相邻关节的引导点和对应的引导特征，对引导特征进行修正，得到修正引导特征，具体来说，修正引导特征gk是由每一个引导特征经过线性变换后与对应的权重相乘，将相乘结果求和，再进行归一化得到的；

其中，权重的大小反应的是引导点距离人体关节点实际位置的远近，一般来说，距离关节点越近，权重越大，计算公式如下：

其中N(k)是一个集合，其中包含了s_k及其引导点和s_k相邻关节及其引导点，w_k′是各个引导点对应的权重，f_k′是引导特征，T_k′k是线性变换，Z_k＝∑sk′∈N(k)wk′的作用是归一化；

紧接着GPR模块，修正引导特征被送入一个含有全连接层和BN层的模块，该模块输出两个预测值，类别c_k和修正值r_k；最终经过调整的人体关键点坐标p_k就可以表示为关节k的实际位置s_k与修正值r_k的和。

p_k＝s_k+r_k。