[发明专利]人体姿态估计分组模型训练方法、姿态估计方法及装置

权利要求书

1.一种人体姿态估计分组模型训练方法，其特征在于，包括：

获取多个样本图像，每个样本图像中包含多个人体对象，标记各样本图像中每个人体对象对应的第一设定数量的关节点，将各关节点按照各人体对象分组，生成训练样本集；

获取预设神经网络模型，所述预设神经网络模型中：

先由预设骨架网络获取样本图像的关节特征图，将所述关节特征图分别输入多路径结构中，所述多路径结构的每一条路径结构都相同且每条路径包含一个多尺度转换层，所述多路径结构中的第二设定数量个多尺度转换层以针对每个关节点分别输出一个热图，将每个关节点对应的多个热图中热值最大的作为该关节点的最终热图，其中，各多尺度转换层采用可变形卷积和不同扩张速率的空洞卷积，每个最终热图中都包含多个候选关节点；

将各关节点的最终热图分别与所述关节特征图连接生成偏移图，将各关节点对应的偏移图输入一个多尺度转换层中以输出相应的长程偏移量图和局部中心偏移量图，所述长程偏移量图的张量值表示各候选关节点到预测的各人体对象中心点的预估坐标差值，所述局部中心偏移量图的张量值表示预测到的各人体对象中心点到对应真实人体中心点的偏移量，所述人体对象中心点在设定区域内，所述设定区域由覆盖人体对象的最小长方体框按照设定比例缩小得到；

根据各关节点对应的长程偏移量图和局部中心偏移量图做向量加法计算得到各候选关节点到各真实人体对象中心点的精细偏移量；

对各最终热图中获得的所有候选关节点构建一个优先队列，每一次迭代中，各候选关节点以热图值递减的顺序输出所述优先队列，对输出的候选关节点进行非极大值抑制，移除所述优先队列中与该候选关节点类型相同且距离在设定半径范围内的候选关节点；将精细偏移量相差倍数在设定数值以内的候选关节点划分至同一人体对象分组；

采用所述训练样本集对所述预设神经网络模型进行训练，得到人体姿态估计分组模型。

2.根据权利要求1所述的人体姿态估计分组模型训练方法，其特征在于，所述多尺度转换层中，输入的所述关节特征图由变形卷积和形状变换模块输出第一特征图，由尺度卷积经激活函数处理得到第二特征图，所述第二特征图与经过重复变换得到的常规矩阵相乘得到第三特征图，将所述第一特征图与所述第三特征图输入批处理矩阵乘法模块并输出第四特征图，将所述第四特征图经可变形卷积层处理后与所述关节特征图相加得到所述关节特征图尺寸相同的热图；所述变形卷积和所述尺度卷积均为一个1*1的卷积；所述批处理矩阵乘法模块用于作批处理矩阵乘法运算。

3.根据权利要求2所述的人体姿态估计分组模型训练方法，其特征在于，所述激活函数为Sigmoid函数。

4.根据权利要求2所述的人体姿态估计分组模型训练方法，其特征在于，所述尺度卷积是由所述常规矩阵与设定比例因子相乘得到的。

5.根据权利要求1所述的人体姿态估计分组模型训练方法，其特征在于，所述预设骨架网络为HRnet网络、Hourglass网络或Resnet网络。

6.根据权利要求1所述的人体姿态估计分组模型训练方法，其特征在于，所述设定比例为0.15。

7.根据权利要求1所述的人体姿态估计分组模型训练方法，其特征在于，精细偏移量相差倍数在设定数值以内的候选关节点分组为同一人体对象中，所述设定数值为0.45。

8.一种人体姿态估计方法，其特征在于，包括：

获取待评估图像，将所述待评估图像输入如权利要求1至7任意一项所述的人体姿态估计分组模型训练方法中的人体姿态估计分组模型，以得到所述待评估图像中各人体对象的预测关节点及其分组结果。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。