[发明专利]一种基于多分辨率特征融合网络的人体姿态估计方法

说明书

本申请公开了一种基于多分辨率特征融合网络的人体姿态估计方法，主要通过构建具有并行网络结构的多个特征提取网络分支的多分辨率特征融合网络模型，采集不同分辨率的图像特征，得到对应的单人姿态估计结果，并在其中嵌入多感受野融合模块，该模块包括并列设置的若干个不同尺寸的卷积核，第一层卷积核对图像特征进行卷积操作，提取第一层感受野特征，下一层卷积核分别获取所述图像特征以及上一层卷积核输出的感受野特征并进行卷积操作，将各层卷积核输出的感受野特征进行融合；本发明采用多感受野融合模块，充分利用了上下文信息，增强了各分辨率特征的判别性，实现了“困难关键点”的检测，提高了检测精度。

技术领域

本申请涉及深度学习与计算机视觉技术领域，更具体地，涉及一种基于多分辨率特征融合网络的人体姿态估计方法。

背景技术

人体姿态估计(Human Pose Estimation，HPE)作为计算机视觉领域中极具挑战性的课题之一，一直以来都备受研究人员的瞩目。如何让计算机理解人类的行为是一个非常重要的研究问题，而人体姿态估计则可以看作是这个问题的基础任务。

人体姿态估计目标是从给出的图像中准确检测出人身体部位的关键点，例如手腕、手肘、肩部等；将检测出的关键点按照人体骨架的结构进行连接，进而形成人体的姿态。基于深度学习方法的人体姿态估计提供两种思路。一种是基于自顶向下(Top-down)的思路，该思路的人体姿态估计首先将输入图像中的人体实例框全部检测出来，再独立估计每个框内人体的姿势；另一种是基于自底向上(Bottom-up)的思路，该思路则是对输入图像所包含的所有人体实例的所有关键点一次性进行全部检测，之后对检测到的关键点按某类聚类算法将其划分给对应的人体实例。

针对Top-down思路的人体姿态估计，其主要任务是准确定位关键点的位置。因此，在特征层面上，实现高精度的人体姿态估计关键问题有两个：(1)定位关键点对空间灵敏度要求较高；(2)人体姿态复杂多样并且关键点之间区分难度大。

针对关键问题(1)，定位关键点对空间灵敏度要求较高是人体姿态估计任务的挑战之一。随着深度学习的兴起，各种深层的卷积神经网络被用于图像的特征提取，大多数网络都是基于传统分类网络的结构，提取图像深层的语义信息，进而用于相应的任务。这种过程会损失较多的空间信息，得到的低分辨特征图不适用于人体姿态估计任务。

针对关键问题(2)，对于背景复杂、人体动作复杂或存在遮挡等困难场景的图像(图像中存在“困难关键点”)，该类图像进行人体姿态估计任务难度都较大。现有方法大多是基于多尺度特征融合或增加相应额外数据集训练的方法来提升“困难关键点”的检测精度。多尺度特征融合虽然能使学习的特征更加丰富，但可能欠缺上下文的信息作为引导。增加额外数据集代价比较昂贵，会造成较大的资源消耗(数据集的标注耗时耗力)。

人体姿态估计广泛应用于多个领域，包括人机交互、行为识别、视频监控等，这些领域与人们的生活关系密切。伴随着科学技术的发展，人们对生活质量的需求不断上升，因此研究人体姿态估计有很优良的前景。而在长久的发展过程中，人体姿态估计算法的性能一直未能达到实际的应用水平，但是深度学习技术的出现扭转了这个局面。目前的方法多以改进现有的网络模型为主，例如将分类任务中的网络迁移到人体姿态估计任务中。但是分类任务的网络一般都忽略了空间信息的重要性，而人体姿态估计对各关节点的准确定位要求是非常高的。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于多分辨率特征融合网络的人体姿态估计方法，其目的在于提升复杂场景的图像中人体关键点(包括“困难关键点”)的检测精度。

为实现上述目的，按照本发明的一个方面，提供了一种基于多分辨率特征融合网络的人体姿态估计方法，其包括以下步骤：

获取待测图像并输入人体检测网络模型中，获得所述待测图像中每个人体实例的建议框；

分别将每个所述建议框输入训练好的多分辨率特征融合网络模型中，得到对应的单人姿态估计结果；