[发明专利]一种基于上下文信息与联合嵌入的人体关键点检测方法

说明书

本发明公开了一种基于上下文信息与联合嵌入的人体关键点检测方法，该方法包含以下步骤：S1：获取训练数据；S2：搭建人体关键点检测模型；S3：构建人体关键点真实标签热图和联合嵌入值标签热图；S4：使用训练数据对人体关键点检测模型进行训练，得到训练后的人体关键点检测模型；S5：使用验证数据对人体关键点检测模型进行评估，选取最优模型；S6：重复步骤S4至S5，至全部训练数据被训练完成，得到最优模型；S7：利用最优模型进行人体关键点预测。该方法通过上下文融合模块对特征图中的像素内在相关性进行建模，提高了对关键点像素位置的预测进度，同时通过构造联合嵌入损失，降低训练难度加快收敛速度，保证不同人体关键点之间的正确匹配。

技术领域

本发明涉及计算机视觉和深度学习技术领域，尤其涉及一种基于上下文信息与联合嵌入的人体关键点检测方法。

背景技术

人体关键点检测是计算机视觉领域的一个重要分支，在研究人体行为分析、姿态识别与追踪等任务中起着关键性作用。人体关键点检测主要是对图像或视频中人体的一些重要关键点(例如人体关节点或其他一些重要部位)位置进行检测，即给定输入一幅包含至少一个行人的图像，输出图像中包含所有行人的全部关键点的位置坐标，通过对输出关键点坐标进行配对即可获取图像中所有人的姿态信息。

传统方法主要包括图模型和图形结构，从特征表示和关键点的空间位置关系两个方面分别进行建模。但是这种方法的检测精度一般，对背景干扰信息敏感，只适用于一些背景干净的场景。随着检测场景越来越复杂多变，以及对检测精度的要求越来越高，基于传统方法的关键点检测已经不能满足应用需求了。从2012年AlexNet的提出开始，深度学习开始快速发展，一系列的深度学习算法被引入到人体关键点检测问题，极大地提升了人体关键点的检测精度和检测速度。自2016年COCO多人姿态估计数据集公布后，多人姿态估计以其更广泛的应用需求逐渐取代了单人姿态估计成为人体关键点检测的主流研究方向。按照检测模式的不同多人姿态估计可以划分为自上而下的人体关键点检测方法和自下而上的人体关键点检测方法。

自上而下的检测方法是先通过一个行人检测器对图像中包含的行人进行检测，再对检测到的行人在原图中裁剪后进行仿射变换输入到关键点检测网络种预测人体关键点位置坐标。因此自上而下的检测方法可以看成是行人检测器加单人关键点检测的两阶段串行模式，这并不是一个端到端的模型，且后一阶段的检测精度很大程度上取决前一阶段的输出结果，在一些密集复杂场景下，行人检测器的往往会出现严重的漏检现象。此外，其检测时间受图像中行人数量的影响，检测速度难以保证，难以在实际场景中推广应用。

自下而上的检测方法无需使用行人检测器，直接对图像中所有行人的关键点进行预测，然后对所有关键点分组配对，自下而上的检测方法由于其相对较快的检测速度，在实际的应用场景中有着很大的发挥空间，但目前自下而上方法的检测精度，在实际应用中仍受到诸多限制，检测速度不够快，检测精度不高。

发明内容

本发明所要解决的技术问题是：克服现有技术存在的上述缺陷，提供一种基于上下文信息与联合嵌入的人体关键点检测方法，包含以下步骤：

S1：获取训练数据集，训练数据集包含训练数据和验证数据，标注训练数据中训练图片上的人体关键点坐标位置信息；

S2：依据自上而下检测策略搭建人体关键点检测模型；

S3：根据人体关键点检测模型构建人体关键点真实标签热图和联合嵌入值标签热图；

S4：使用步骤S1获取的已标注人体关键点坐标位置信息的训练数据对步骤S2搭建的人体关键点检测模型进行训练，得到训练后的人体关键点检测模型；

S5：使用训练数据集中的验证数据对步骤S4得到的训练后的人体关键点检测模型进行评估，选取最优模型；

S6：重复执行步骤S4至S5，直至全部训练数据被训练完成，得到最优模型；

S7：利用步骤S6得到的最优模型进行人体关键点预测。