[发明专利]一种基于级联金字塔网络的多人姿态估计方法

权利要求书

1.一种基于级联金字塔网络的多人姿态估计方法，其特征在于，主要包括级联金字塔网络(CPN)(一)；多人姿态估计(二)；训练和测试(三)。

2.基于权利要求书1所述的级联金字塔网络(CPN)(一)，其特征在于，级联金字塔网络包括两个子网络，分别为全局网络和提炼网络；全局网络是一个特征金字塔网络，可以定位“简单”的关键点，如眼睛和手，但可能无法精确识别被遮挡或不可见的关键点；提炼网络通过整合来自全局网络所有级别的特征表示来处理“难”关键点。

3.基于权利要求书2所述的全局网络，其特征在于，将不同的卷积特征第二到第五卷积层的最后一个残差块分别表示为C₂,C₃,…,C₅；在C₂,C₃,…,C₅上应用3×3卷积滤波器来生成关键点的热图；如浅层特征C₂和C₃具有较高的空间分辨率，但识别的语义信息较少；而深层特征层C₄和C₅由于卷积(和池化)而具有更多的语义信息，但空间分辨率较低；因此，通常将U形结构整合，从而保持特征层的空间分辨率和语义信息；特征金字塔网络(FPN)通过深度监督信息进一步改进了U形结构，将类似的特征金字塔结构应用于关键点估计；在上采样过程中的每个元素求和过程之前应用1×1卷积核。

4.基于权利要求书2所述的提炼网络，其特征在于，为了提高信息传输的效率和保持完整性，提炼网络通过不同级别的信息进行传输，最后通过上采样和级联的方式将不同层次的信息集成；提炼网络将所有金字塔特征串联起来；另外，将更多的瓶颈块叠加到更深的层次中，其较小的空间尺寸在效率之间取得了良好的平衡；

随着网络的不断训练，网络往往更多地关注大多数的“简单”关键点，而不重视遮挡和关键点；因此在提炼网络中，基于训练损失明确地选择“难”的关键点，并仅从选择的关键点反向传播损失。

5.基于权利要求书1所述的多人姿态估计(二)，其特征在于，多人姿态估计的方法主要分为自下而上和自上而下的方法；本方法采用了自上而下的方法，即首先从图像中定位和用边界框圈出所有人物，然后解决边界框中的单人姿态估计问题；

如果将自上向下的方法用于多人姿势估计，为了获得良好的性能，则需要人物检测器以及单人姿势估计器。

6.基于权利要求书5所述的人物检测，其特征在于，检测方法通常由两个阶段组成，首先根据默认的锚点生成边界框建议，然后根据特征图进行裁剪，并通过递归卷积神经网络(R-CNN)进一步细化建议，以获得最终的边界框。

7.基于权利要求书6所述的裁剪，其特征在于，对于每个人物的检测框，该框被延伸到一个固定的高宽比，例如高度:宽度＝256:192，然后从图像裁剪而不扭曲图像宽高比；最后，将裁剪后的图像的大小调整为默认高度256像素和192像素的固定大小。

8.基于权利要求书1所述的训练和测试(三)，其特征在于，在包含5000个图像的数据集上进行验证，测试集包括测试开发集(20K图像)和测试挑战集(20K图像)；大多数实验都是在对象关键点相似度(OKS)基础上进行评估的，其中OKS定义了不同人体姿势之间的相似度；在图像裁剪后，应用随机翻转、随机旋转(-40°～+40°)和随机大小(0.7～1.3)来增强数据。

9.基于权利要求书8所述的训练，其特征在于，所有的姿态估计模型都是使用随机梯度下降算法训练的，初始学习速率为5×10^-4；学习率每10个时期降低2倍；使用10^-5的权重衰减，并在网络中使用批量归一化。

10.基于权利要求书8所述的测试，其特征在于，测试时，为了最小化预测的方差，在预测的热点上应用二维高斯滤波器；预测相应的翻转图像的姿态并平均热图以得到最终预测；使用从最高响应到第二高响应方向的四分之一偏移来获得关键点的最终位置。