[发明专利]一种基于卷积神经网络的多人姿态估计方法

说明书

本发明提出了一种基于卷积神经网络的多人姿态估计方法，将待处理图像输入到已完成训练的多人姿态估计网络得到两组数据，分别为人体关键点位置数据和人体关键点映射向量数据，然后解码数据得到图像中人体关键点和人体中心点的位置，并通过映射向量将关键点映射到可聚类的二维空间，再使用k‑means算法对映射后的关键点进行聚类间接实现原始人体关键点的分组，对分组关键点分析，最终实现多人姿态估计。本发明提出的多人姿态估计网络由特征提取网络、特征通道压缩模块、人体关键点位置分支模块和人体关键点映射向量分支模块四部分组成，可以实现端到端的训练和预测。本发明是一种自下而上多人姿态估计方法，在速度和准确率上均有良好表现。

技术领域

本发明属于计算机视觉技术领域，具体涉及到了一种基于卷积神经网络的多人姿态估计方法。

背景技术

在计算机视觉任务中，人体常常是主要的研究对象，例如视频监控、运动分析和人机交互等。人的行为动作由人体关键点或称为骨骼点的运动组成，如肩部、手肘和手腕的运动组成手的运动。如果可以定位这些人体关键点，就可以为后续的人体行为分析打下基础，例如在无人监守的情况下自动识别打砸，行人跌倒等异常行为。基于计算机视觉的多人姿态估计，是指根据图像信息定位人体关键点，将人体关键点相连从而构成人体骨架模型。多人姿态估计主要面临以下难点：图像中的人体可能出现在任意位置，数量和尺寸未知；图像中的人体存在互相遮挡的情况，人体外观不完整；图像中的人体姿态复杂多变等。

近年来，得益于卷积神经网络的强大图像特征提取能力，多人姿态估计取得了显著的进步，主要可以分为自上而下和自下而上两种思路。其中自上而下是指，首先检测图像中人体从而获得人体的位置、数量和尺寸信息，再对每个检出人体采用单人姿态估计方法。这种方法依赖人体检测器，测试速度慢且随图像中人体个数线性变慢。自下而上是指，首先检测图像中所有的人体关键点再建模关键点之间的关系，属于相同人体的关键点分组在一起，组成人体骨架模型，从而实现多人姿态估计。现有技术一般采用预测关键点标记或者关键点之间的连接关系，通过标记或者连接关系对关键点分组，不能很好的利用人体结构特点，可解释性较差。

发明内容

针对现有技术的缺陷，本发明提供了一种基于卷积神经网络的多人姿态估计方法，旨在解决现有技术自上而下的方法速度慢，依赖人体检测器，自下而上的方法其关键点分组可解释性较差的问题。

为实现上述目的，本发明提供了一种基于卷积神经网络的多人姿态估计方法，包括：

(1)使用完成训练的多人姿态估计网络对输入的512×512大小的图像进行计算得到两种数据，分别是人体关键点位置数据和人体关键点映射向量数据；

(2)解码人体关键点位置数据得到图像中所有的16类人体关键点和人体中心，解码人体关键点映射向量数据，将每个人体关键点和人体中心映射到可聚类的二维空间得到人体关键点映射后的二维坐标；

(3)使用k-means对映射后的二维坐标分组，从而间接实现原始人体关键点分组，完成多人姿态估计。

优选地，步骤(1)中所述多人姿态估计网络由特征提取网络、特征通道压缩模块、人体关键点位置分支模块和人体关键点映射向量分支模块四部分组成。其中，特征提取网络为去除池化层和全连接层的ResNet50(残差50)网络，用于提取图像特征；特征通道压缩模块由卷积层、BN(Batch Normalization，批归一化)和ReLU(Rectified linear unit，修正线性单元)激活函数组成，用于压缩特征，使得特征通道数由2048缩减至512；人体关键点位置分支模块由3层卷积和激活函数组成，前两层激活函数为ReLU激活函数，最后一层激活函数为sigmoid激活函数，用于输出人体关键点位置数据；人体关键点映射向量分支模块由3层卷积和激活函数组成，前两层激活函数为ReLU激活函数，最后一层激活函数为tanh激活函数，用于输出人体关键点映射向量数据。

优选地，多人姿态估计网络的训练采用的损失函数为平方损失函数，定义总体损失函数为：