[发明专利]人体姿态估计分组模型训练方法、姿态估计方法及装置

说明书

本发明提供一种人体姿态估计分组模型训练方法、姿态估计方法及装置，基于多路径结构分别以不同扩张速率进行空洞卷积，并同时进行变形卷积，能够更好地适应多人姿态识别场景下不同尺寸和形状人体对象的特征提取需求。基于长程偏移量图和局部中心偏移量图计算各候选关节点到各真实人体对象中心点的精细偏移量，在非极大值抑制操作的基础上，将精细偏移量相差倍数在设定数值以内的候选关节点划分至同一人体对象分组，能够在多人姿态识别场景中保证各关节点分组正确率的前提下，降低计算复杂度，极大节约算力，提高识别效率。

技术领域

本发明涉及计算机视觉和模式识别技术领域，尤其涉及一种人体姿态估计分组模型训练方法、姿态估计方法及装置。

背景技术

多人姿态估计的任务是在图像中定位人体关节。现有的多人姿态估计主要分为两种框架。一种使用人体检测算法的框架，首先检测图像中的人，然后进行单人姿态估计(自顶向下框架)。另一种方法则是自底向上的框架，可以一次估计出图像中所有人的姿势。前者表现得更准确，但计算成本更高。后者效率更高，但准确性较低。

自底向上的方法通常采用先检测后分组的两阶段任务，分组方法成为自底向上姿态估计的关键因素。以往的工作通常通过使用整数线性规划、启发式贪婪解析或聚类将分组阶段视为后处理。

对于自底向上的方法，问题在于，以往的方法学习到的分组线索可能在一些常见场景中效率低下，导致次优解。例如：利用关节点进行骨架连接的方法，要先检测图像中的所有关节点，然后将关节点与骨架结构进行分组。然而，当关节点在图像中被遮挡或缺失时，原本属于一个人的关节点可能被瓜分到不同的两个人上，其后处理过程非常复杂。

此外，利用联想嵌入的方法，利用嵌入向量作为分组线索，但是随着图像中人体对象数量的增加，嵌入空间的训练会变得更加困难。该方法采用无位置信息的外观特征进行嵌入预测。因此，如果两个人外表相似，例如穿着相似的衣服，即使他们相距很远，网络也容易为他们预测相似的嵌入向量。

仅此，亟需一种人体姿态估计和分组处理方法，在多人姿态评估的场景中，简化处理过程，并提高对多人姿态评估和分组的识别精度。

发明内容

本发明实施例提供了一种人体姿态估计分组模型训练方法、姿态估计方法及装置，以解决在多人姿态识别场景下对不同人体对象关节点分组的错误率高的问题。

本发明的技术方案如下：

一方面，本发明提供一种人体姿态估计分组模型训练方法，包括：

获取多个样本图像，每个样本图像中包含多个人体对象，标记各样本图像中每个人体对象对应的第一设定数量的关节点，将各关节点按照各人体对象分组，生成训练样本集；

获取预设神经网络模型，所述预设神经网络模型中：

先由预设骨架网络获取样本图像的关节特征图，将所述关节特征图分别输入多路径结构中，所述多路径结构的每一条路径结构都相同且每条路径包含一个多尺度转换层，所述多路径结构中的第二设定数量个多尺度转换层以针对每个关节点分别输出一个热图，将每个关节点对应的多个热图中热值最大的作为该关节点的最终热图，其中，各多尺度转换层采用可变形卷积和不同扩张速率的空洞卷积，每个最终热图中都包含多个候选关节点；

将各关节点的最终热图分别与所述关节特征图连接生成偏移图，将各关节点对应的偏移图输入一个多尺度转换层中以输出相应的长程偏移量图和局部中心偏移量图，所述长程偏移量图的张量值表示各候选关节点到预测的各人体对象中心点的预估坐标差值，所述局部中心偏移量图的张量值表示预测到的各人体对象中心点到对应真实人体中心点的偏移量，所述人体对象中心点在设定区域内，所述设定区域由覆盖人体对象的最小长方体框按照设定比例缩小得到；

根据各关节点对应的长程偏移量图和局部中心偏移量图做向量加法计算得到各候选关节点到各真实人体对象中心点的精细偏移量；