[发明专利]一种基于骨架图回归的三维人体姿态估计的方法

说明书

技术领域

本发明涉及姿态估计领域，尤其是涉及了一种基于骨架图回归的三维人体姿态估计的方法。

背景技术

根据人体的图像或视频序列自动提取其中的人体姿态信息，是机器视觉领域的研究热点之一。利用人体姿态估计的方法，可以使得计算机系统根据摄像机系统拍摄的视频信息，提取出人体的姿态，然后根据姿态的变化对人体的行为进行分析和判断。这种方法如果能应用到传统的视频监控设备中，将帮助机器实现分析视频内容的功能，通过识别视频中人物的异常行为或危险行为而提示监管人员及时制止可疑或危险行为的发生，这将大大提高视频监控设备的使用效率，减少大量的人力、物力和财力。三维人体姿态估计还可以应用于开发肢体控制游戏，用运动感应手柄代替传统的机械手柄，使用户体验到更真实生动的游戏效果，这在人体动画、游戏、人机交互、虚拟现实和增强现实等领域均有着广阔的应用前景。除此之外，它可以通过捕捉人体运动，从而用于动画制作、医疗分析和工业测量与控制等行业，或者帮助运动员分析自身运动特征，有效制定训练计划；记录肢体损伤的病人肢体恢复情况，帮助医生制定治疗方法和康复计划等。然而，传统的三维人体姿态估计面临着训练数据不足的难题，同时，由于受到照明、遮挡等的影响，姿态估计效果往往不太理想。

本发明提出了一种基于骨架图回归的三维人体姿态估计的方法，先给定一个人的RGB图像，对于具有裁剪缩放和宽度尺的每个配置，采用编码器-解码器架构解卷积生成前景骨架图和背景骨架图，接着骨架映射分别馈入单独的回归网络，采用骨架图作为输入并且输出三维姿势的假设，从而产生多个三维假设，最后为了匹配二维观测值，选择对二维联合检测具有最小投影误差的假设作为最终输出。本发明从骨架图单独训练回归网络，当与多个假设相结合时，能够在室内和野外数据集上实现较好的估计效果，大大减少了由于照明、遮挡等对结果造成的影响，在很大程度上提高了姿态估计的性能。

发明内容

针对训练数据不足和遮挡等问题，本发明的目的在于提供一种基于骨架图回归的三维人体姿态估计的方法，先给定一个人的RGB图像，对于具有裁剪缩放和宽度尺的每个配置，采用编码器-解码器架构解卷积生成前景骨架图和背景骨架图，接着骨架映射分别馈入单独的回归网络，采用骨架图作为输入并且输出三维姿势的假设，从而产生多个三维假设，最后为了匹配二维观测值，选择对二维联合检测具有最小投影误差的假设作为最终输出。

为解决上述问题，本发明提供一种基于骨架图回归的三维人体姿态估计的方法，其主要内容包括：

(一)分割；

(二)回归；

(三)匹配。

其中，所述的基于骨架图回归的三维人体姿态估计的方法，给定一个人的RGB图像目标是输出关节数为K＝16的3D关节位置将问题分解为分割、回归和匹配三个步骤。

进一步地，所述的分割、回归和匹配，对于具有裁剪缩放c_i和宽度尺l_i的每个配置p_i＝{c_i,l_i}，通过解卷积网络Deconv_i(i＝1,…,n)生成前景骨架图和背景骨架图骨架映射分别馈入单独的回归网络R＝{Regression_i|i＝1,…,n}，其中，Regression_i采用骨架图作为输入并且输出3D姿势的假设Xⁱ，从而产生多个3D假设为了匹配二维观测值选择对二维联合检测具有最小投影误差的假设作为最终输出。

进一步地，所述的骨架图，骨架图在人体骨骼中的相邻关节之间画出一条宽度为l_i的线，并指定不同的颜色来区分身体部位；将胸部定义为根，再定义其它15个身体部位；骨架图是身体局部分割图，它可以根据身体各个部位中的关系对各个身体部位进行编码。

其中，所述的分割，采用编码器-解码器架构解卷积，从而生成骨架图；使用解卷积层替换第5池层之后的完全连接层；网络结构以224×224图像开始，并提取下采样过程中的特征；在这里只描述了res2c，res3d，res4f和res5c(残差网络的层)；最后去掉完全连接层；建立在第5池层上的传递模块处理特征映射，产生最终输出：一个三通道56×56的骨架图由重复的上采样块组成(初始权重设置为双线性上采样)，然后是残差模块；分割包括截断处理、宽度处理和遮挡处理。