[发明专利]一种基于动态信息传输的人体姿态估计方法

说明书

本发明提供了一种基于动态信息传输的人体姿态估计方法。本发明的方法通过使用多任务学习的方法共同定位人体关节点(如肩、肘、腕等)和骨骼(如下肢、上臂等)，并通过动态信息迁移模块主动的动态的将来自骨骼预测分支的定位引导信息传递给关节点预测分支进行关节点的定位，从而优化得到更好的人体姿态估计的结果。采用本发明可以应对复杂姿态，关节相似和重叠遮挡等挑战，准确的检测关节点，进而对人体姿态进行准确估计。

技术领域

本发明涉及计算机视觉(Computer Vision)中检测识别领域，具体地说是一种基于动态信息传输的人体姿态估计方法。

背景技术

2D人体姿态估计(HPE)是从单目图像或视频中定位人体关节(如肩、肘、腕等)或人体骨骼(如下肢、上臂等，骨骼也即关节连线)的任务。它已成为人体动作识别、人机交互、动画等应用的重要基础。传统的人体姿态估计方法大都采用图结构模型。他们用顶点表示关节点，用基于骨骼结构的各个关节点的连接表示边，通过概率推理的方式对关节点的位置进行估计。随着近年来深度学习技术方法的流行，无须复杂的显示推理过程，神经网络可以直接从大量数据中学习图像的特征信息和其上下文的特征关系。

A.Toshev等在人体姿态估计任务上首先应用深度卷积神经网络，直接回归人体关节坐标的方法进行估计。大多数卷积神经网络采用从高到低和从低到高的框架来学习各种尺度的特征。A.Newel等提出了一种堆叠沙漏网络(Stacked Hourglass Networks)，该架构整合了多个分辨率特征，用于重复自下而上、自上而下的推理。W.Tang等展示了一个顺序架构，它通过组合多个模块来改进关节检测。Y.Chen等提出了一个级联金字塔网络(CascadedPyramid Network)，该网络集成和细化不同的空间特征来处理“硬”关节。W.Li等采用从粗到细的监督策略和跨多级网络架构的聚合特征，以实现更好的性能。为了在网络的不同阶段保持高分辨率特征，K.Sun等提出了具有多分支信息融合的高分辨率网络(HRNet)。

由于图像中存在复杂姿态，关节相似和重叠遮挡等原因，在复杂的背景下卷积神经网络很难准确的定位人体关节。最近的一些研究表明，关节点之间的空间依赖性可以提供有用的背景线索，能帮助在这些具有挑战性的场景中定位身体关节更精确。W.Tang等提出了一种利用人体关节之间关系的分层组合框架。X.Nie等提出以多任务学习方式利用人体解析的骨骼信息辅助人体姿态估计。这些方法都证明了人体关节空间表征学习在姿态估计中的有效性。但他们依赖于手动设计复杂的架构或额外的密集样本标记。

发明内容

本发明的目的就是提供一种基于动态信息传输的人体姿态估计方法，以解决人体姿态估计任务中的因身体姿态的高度变化、人体的自相似部位和关节点遮挡而难以检测的问题。

本发明是这样实现的：一种基于动态信息传输的人体姿态估计方法，该方法首先需要训练多任务学习网络；然后利用训练好的多任务学习网络对图像中人体姿态进行估计。训练多任务学习网络与后期利用训练好的多任务学习网络对图像中人体姿态进行估计的过程类似。下面以训练多任务学习网络为例进行说明。

训练多任务学习网络具体包括如下步骤：

a1、对训练样本进行预处理；

a2、通过多任务学习网络共同学习关节点和人体骨骼的特征，并对特征进行分组；

a3、将分组后的特征送入动态信息迁移模块，利用骨骼特征来引导优化关节点的定位结果；

a4、比较预测结果与真值，计算损失函数，根据损失函数优化多任务学习网络中各参数。

进一步地，步骤a1具体如下：

将图像处理为预设大小；

将图像通过随机旋转、随机尺度变换和随机翻转来增加数据的鲁棒性。

进一步地，步骤a2具体如下：