[发明专利]生成人体关键点检测模型的方法和装置

说明书

本申请实施例公开了生成人体关键点检测模型的方法和装置。该方法的一具体实施方式包括：获取样本集，包括样本人体图像和标注信息；从样本集中选取样本，以及执行以下训练步骤：将选取的样本的样本人体图像输入初始第一模型，得到金字塔结构的特征图；基于特征图和样本人体图像中的关键点的标注信息确定第一层损失值；将特征图输入初始第二模型，得到检测出的关键点的位置坐标；基于检测出的关键点的位置坐标和样本人体图像中的关键点的标注信息确定第二层损失值；响应于确定出初始第一模型和初始第二模型训练完成，将初始第一模型和初始第二模型确定为人体关键点检测模型。该实施方式能够更准确地检测被遮挡或隐藏的人体关键点。

技术领域

本申请实施例涉及计算机技术领域，具体涉及生成人体关键点检测模型的方法和装置。

背景技术

人体关键点检测是通过计算机视觉技术获得图像或者视频中人体关键点位置，分为单人关键点检测和多人关键点检测两个问题。多人关键点检测通常是经过人体检测之后，再使用单人关键点检测的方法获得图片中的每个人的关键点位置，因此，提升单人关键点检测方法的性能尤其重要。深度学习方法为提升人体关键点检测准确度提供有效的解决方案。

相关技术中对于手腕、脚踝等容易被遮挡、容易形变的关键点的检测准确度较低。并且没有考虑不同尺度特征图的差异，因此不能有效地解决关键点的目标区域较小、难以检测的问题。

发明内容

本申请实施例提出了生成人体关键点检测模型的方法和装置。

第一方面，本申请实施例提供了一种生成人体关键点检测模型的方法，包括：获取样本集，其中，样本集中的样本包括样本人体图像以及样本人体图像中的关键点的标注信息；从样本集中选取样本，以及执行以下训练步骤：将选取的样本的样本人体图像输入初始第一模型，得到金字塔结构的特征图；基于特征图和样本人体图像中的关键点的标注信息确定第一层损失值；将特征图输入初始第二模型，得到检测出的关键点的位置坐标；基于检测出的关键点的位置坐标和样本人体图像中的关键点的标注信息确定第二层损失值；基于第一层损失值与第二层损失值确定初始第一模型和初始第二模型是否训练完成；响应于确定出初始第一模型和初始第二模型训练完成，将初始第一模型和初始第二模型确定为人体关键点检测模型。

在一些实施例中，将选取的样本的样本人体图像输入初始第一模型，得到金字塔结构的特征图，包括：将选取的样本的样本人体图像输入残差网络，得到各个残差块的最后一个卷积层输出的特征图；将各卷积层输出的特征图分别经过全卷积层，再通过上采样后横向连接得到金字塔结构的特征图。

在一些实施例中，基于特征图和样本人体图像中的关键点的标注信息确定第一层损失值，包括：根据样本人体图像中的关键点的标注信息为每个关键点生成一个真实热力图；根据特征图生成预定数目个第一预测热力图，其中，每个第一预测热力图对应一个关键点；基于每个关键点在真实热力图与第一预测热力图中的位置偏差确定出第一层损失值。

在一些实施例中，将特征图输入初始第二模型，得到检测出的关键点的位置坐标包括：根据特征图生成注意力特征图；根据注意力特征图生成预定数目个第二预测热力图，其中，每个第二预测热力图对应一个关键点；对于预定数目个第二预测热力图中的第二预测热力图，根据每个第二预测热力图中最大概率像素所在的位置检测出对应关键点的位置坐标。

在一些实施例中，根据特征图生成注意力特征图，包括：将特征图加入不同次数的瓶颈块，得到不同尺度的特征图；将不同尺度的特征图经过上采样后融合在一起，得到第一特征图；将不同尺度的特征图输入注意力模型，得到不同分辨率的第一注意力图；将不同分辨率的第一注意力图经过上采样后融合在一起，得到融合的第一注意力图，以及将融合的第一注意力与第一特征图结合得到第二特征图；将第二特征图输入注意力模型，得到第二注意力图；将第二注意力图和第二特征图结合得到注意力特征图。