[发明专利]基于特征融合与样本增强的三维人体姿态估计方法

说明书

本发明公开了一种基于特征融合与样本增强的三维人体姿态估计方法，涉及三维人体姿态估计与性能优化方法。首先，采用基于候选区域的全卷积网络，对图片中人体进行身体部位分类与像素点三维坐标回归；其次，采用辅助网络样本增强，对没有初始标注的样本位置进行信号补充；最后，将模型与现有效果良好的2D姿态识别模型进行特征融合，从全局姿态的角度与局部回归坐标发挥优势互补性。本发明通过特征融合技术构造基于多任务并行的人体姿态估计架构，为二维和三维姿态识别的优势互补提供有效的理论和方法；通过模拟半监督学习的方式，建立基于数据增强的辅助网络，为提升姿态识别模型泛化能力提供新的思路。

技术领域

本发明属于计算机视觉领域，具体地说，涉及三维人体姿态估计与性能优化方法。

背景技术

随着人工智能的兴起，越来越多关于人类行为特征的识别、分类等深度学习系统被应用到实际生活场景中；而关于人体姿势的3D识别由于其更直观、丰富的视觉体验和更符合人类理解世界的行为模式，在人机交互、AR、VR等现实场景中具有广泛的应用途径和应用价值。

然而，在通常的计算机视觉人体姿态识别模型中，计算机对于3D世界的了解很少。与之相反的是，对于人类来说，即使在查看存在透视、遮挡、深度、场景中的人体相互关联等情况下的2D图片的时候，人的眼睛依然能够以3D空间来理解和解读。在深度学习模型中，从3D角度理解人体姿态一直面临着一些难题，涉及到应用于3D数据表示的物体的计算、从2D图像推导3D物体形状和姿态估计、从2D图像确定物体的3D姿态的变换等等。因此，面对现实背景复杂多变的情况下，如何让机器在3D空间的视角下理解人体姿态，成了计算机系统地解释和认知现实世界不可或缺的环节和亟待解决的问题。

目前基于3D姿态识别的研究大多基于两类方法：(1)基于辅助设备的3D姿态识别：通过增加辅助硬件设备(如深度传感器、六视角摄像机、可穿戴设备等)的方式，采集样本数据的三维特性，将采集的三维数据直接作为网络输入进行训练；该种方法存在设备复杂、造价昂贵、计算量庞大等问题，难以推广到日常生活与应用中；(2)基于三维骨架拟合的3D姿态识别：通过将3D人体骨架模型拟合到2D图片上的方式，来实现对输入图像中人体的3D姿态识别；该方法目前存在着样本量缺乏、预测结果模糊、二义性、错误翻转等问题，造成准确率的不理想。

因此，这些问题的存在导致3D姿态识别分析还处于未完善阶段。针对现有姿态识别方法中样本量缺乏、三维空间中姿态模糊、局部二义性等问题，需要一种能够应对复杂现实场景中对3D人体姿态更具体和精确的识别方法。

发明内容

本发明的目的在于克服现有技术不足，公开一种基于特征融合与样本增强的三维人体姿态估计方法，针对当前现实应用场景中存在的问题和困难，围绕人体姿态多尺度特征融合识别及样本增强扩充展开研究工作，实现能够应对复杂现实场景中对3D人体姿态识别做到更具体、更精确。

技术方案

一种基于特征融合与样本增强的三维人体姿态估计方法，概括为，包括三个步骤：

步骤一：部位分类与像素回归

采用基于候选区域的全卷积网络，对图片中人体进行身体部位分类与像素点三维坐标回归，其流程图如图7所示；

步骤二：辅助网络样本增强

采用辅助网络样本增强算法，对没有初始标注的样本位置进行信号补充；

步骤三：特征融合

将3D模型与现有效果良好的2D姿态识别模型进行特征融合，从全局姿态的角度与局部回归坐标发挥优势互补性。

步骤二和步骤三流程图如图8所示。

三个步骤整体流程图如图9所示

以下进一步给出具体方法过程

步骤一：部位分类与像素回归，具体为：