[发明专利]姿势估计方法和装置、计算机系统

说明书

技术领域

本申请涉及计算机视觉，具体涉及姿势估计方法和装置、计算机系统。

背景技术

关节型对象的姿势估计是计算机视觉领域中的基本任务之一。其解决了在图像中对象的部位定位问题，并具有如动作识别和人体跟踪等很多重要的应用。该任务所面临的主要挑战在于高度关节化、遮蔽、服装、灯光、杂乱的背景等。近来在人体姿势估计领域已利用深度卷积神经网络(DCNN)实现了最先进的性能。这些方法主要分为两类：利用DCNN对每个身体部位位置的热图(heat map)进行回归；以及学习深度结构化输出以进一步对身体关节之间的关系进行建模。

基于DCNN的热图回归模型已显示出学习更好的特征表达的可能性。但是，如图1(b)和图1(d)所示，这些方法可产生诸多假阳性。例如，在图1(b)中多数假阳性区域为未标注人员的头部，虽然这些假阳性区域是合理的但是将在训练中被当作误报。这些区域上的误差将反向传播以影响与头部检测对应的特征，而这是不适当的。图1(d)中示出了另一示例，其中处于背景(左上角)中的假阳性区域将在训练中被当作难阴性。

近来，深度结构化输出学习吸引了相当大的关注，并且在诸如语义分割、目标检测和深度估计等任务中显示出了可喜的成果。对于人体姿势估计，最近的研究将DCNN与全连接马尔可夫随机场(Markov Random Field)或身体部位位置的弱空间直方图结合，以检测身体关节位置之间的结构性约束。然而，利用卷积核学习空间约束的参数空间太大，使得学习变得非常困难。此外，对于具有各种可能姿势的人，例如，在图像中头部并不总是处于肩膀上方，这些方法效果甚微。

发明内容

本申请实施例提供了一种姿势估计技术方案。

本申请实施例的一方面公开了一种姿势估计方法，该方法包括：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。

本申请实施例的另一方面公开了一种姿势估计装置，该装置包括：提取模块，提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；预测模块，为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；优化模块，对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及确定模块，根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。

本申请实施例的另一方面还公开了一种计算机系统，该系统包括：

存储器，存储可执行指令；

一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：

提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；

为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；

对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及

根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。

本申请实施例的又一方面公开了非暂时性计算机存储介质，该介质存储计算机可读指令，当这些指令被执行时使处理器执行以下操作：提取图像中对象的多个身体部位中每个身体部位对应的特征以生成多个特征图，其中每个所述身体部位对应至少一个部位类型；为每个所述特征图中的每个特征预测部位类型分值，并根据所预测的部位类型分值建立多个部位类型得分图；对于每个所述部位类型得分图中的至少一点，根据与所述点对应的身体部位的相邻身体部位相关的消息，优化所建立的部位类型得分图；以及根据经过优化的部位类型得分图确定每个所述身体部位的估计位置和估计部位类型，以得到所述对象的估计姿势。

附图说明