[发明专利]基于深度残差神经网络的二维多人体姿态估计方法

说明书

本发明公开了一种基于深度残差神经网络的二维多人体姿态估计方法，包括步骤：1)获取基础人体姿态估计训练数据集2)将获取的图片送入预训练的深度残差神经网络，生成对应的特征向量；3)将特征向量通过两个方向的多次卷积操作生成两个分支的特征映射，生成关节点置信场和部位亲和场；4)计算真实图片的关节点置信场和部位亲和力场，组合成为真实图片的特征映射，将步骤3)中的特征映射与真实图片的特征映射之间均方误差，做网络的训练；重复步骤1)‑步骤3)，生成训练后图片的关节点置信场和部位亲和力场；5)使用步骤4)中生成的关节点置信场和部位亲和场进行关节点的计算和关节点连接。本发明可以很好地应付复杂的姿态变换并且推广到多人姿态估计。

技术领域

本发明涉及计算机视觉的技术领域，尤其是指一种基于深度残差神经网络 的二维多人体姿态估计方法。

背景技术

人体姿态估计长久以来一直是计算机视觉领域的一个热点问题。其主要内 容，是让计算机从图像或视频中定位出人物的关键点(也称为关节点，如肘、 手腕等)。人体姿识别计按维度可分为二维和三维两种：二维人体姿态识别通常 使用线段或者矩形来描述人体各关节在图像上的投影位置，线段的长度和角度 表示了人体的二维姿态；三维人体姿态估计通常使用树模型来描述估计的姿态， 各关节点的位置使用三维坐标确定。在实际应用中，目前获取的大多数图像仍 是二维图像，同时三维姿态估计可以使用二维预测进行推理，所以二维姿态估 计有着重要的研究价值。

自人体姿态估计的概念提出以来，国内外的学者对此做出了不懈的努力。 传统的姿态估计算法主要是基于图结构(Pictorial Structures)模型。该模型将人 或物体表示为多个部件的集合，这些部件之间含有空间约束，通过人工指定的 特征检测组件实现关节点检测。传统方法过于依赖手工设计的模板，难以应付 复杂的姿态变换并且推广到多人姿态估计。随着深度学习技术在计算机视觉领 域大放异彩，部分学者开始研究如何利用深度学习来解决人体姿态估计问题。 本文所做的研究，目的就是通过深度学习的方式来实现人体姿态识别。

人体姿态识别作为理解图像或视频中人物动作的基础，一直受到众多学者 的关注。随着计算机技术的迅猛发展，人体姿态估计已经在动作识别、人机交 互、智能安防、增强现实等领域获得了广泛应用。随着人体姿态识别的广泛普 及，对这类问题的算法研究，是意义重大的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度残差 神经网络的二维多人体姿态估计方法，不再依赖手工设计的模板，可以很好地 应付复杂的姿态变换并且推广到多人姿态估计。

为实现上述目的，本发明所提供的技术方案为：基于深度残差神经网络的 二维多人体姿态估计方法，包括以下步骤：

1)获取基础人体姿态估计训练数据集，数据集包括多张图片，每张图片包 含多个人体和标注好的每个人体各关键点的位置；

2)将步骤1)中获取的图片处理成网络输入所需的形式，然后送入预训练 的深度残差神经网络中进行前向传播，生成对应的特征向量作为图片的特征；

3)将步骤2)中生成的特征向量通过两个方向的多次卷积操作生成两个分 支的特征映射，特征映射对应到两个分支的预测，一个称为部位亲和力场，用 于预测各关节点位置，另一个称为关节点置信场，用于预测关节点直接的连接；

4)计算真实图片的关节点置信场和部位亲和力场，组合成为真实图片的特 征映射，将步骤3)中输出的特征映射与真实图片的特征映射之间均方误差，并 将误差反向传播，更新每个权值，做网络的训练，最终保存训练结果的网络参 数；重复步骤1)-步骤3)，生成训练后图片的关节点置信场和部位亲和力场；