[发明专利]一种人体骨骼关键点检测方法及装置

说明书

技术领域

本发明涉及一种人体骨骼关键点检测方法及装置，特别是涉及一种利用前后期特征图信息、局部与全集信息的全卷积神经网络来检测二维深度图中人体骨骼关键点位置的人体骨骼关键点检测方法及装置。

背景技术

计算机视觉研究领域中其中一个重要的任务是人体骨骼关键点检测，具体来说是使得计算机能够感知人体各个骨骼关键点的位置，为进一步的动作识别、动作异常检测、智能监控、自动驾驶等多个实用场景提供基础。

人体骨骼关键点检测任务的目标是以一张图片作为输入，输出图中人体的各个骨骼关键点在图片中的横纵坐标。输入图片往往有两种，一种是三维的RGB彩色图片，另外一种是二维的深度图。RGB图片往往由于光线明暗、衣着复杂、背景杂乱等干扰因素而增加人体骨骼关键点检测的难度。而深度摄像机能够测量人与相机之间的距离，把距离转化成深度值(每个像素的深度值是该点所处的真实空间到深度摄像机之间的距离，并通过一定计算转化而成的值)，直接勾勒出人体的轮廓，具有抗光线明暗、衣着复杂、背景杂乱等干扰性，大大增强了神经网络输出的鲁棒性以及能够用简化神经网络的构建复杂度，也就能够减少计算复杂度从而加快神经网络的运行速度。因此使用深度图是一种人体骨骼关键点检测的重要数据类型。

然而，由于深度图缺乏对于人体细节的记录，深度图会存在一些深度噪声，并且人体自遮挡以及外部障碍物遮挡等困难依旧存在，因此要求稳定快速地进行基于深度图进行二维人体骨骼关键点检测依旧是一个十分具有挑战性的课题。此外，人体骨骼关键点检测任务往往需求模型既能够推断出不同骨骼关键点之间的相互联系(全局信息)，又能够根据图片特征块区区域的细节特征(局部信息)来判断该区域所对应的骨骼点，因此设计出有效的模型来结合两者信息也是更好地去解决以上问题的方法。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种人体骨骼关键点检测方法及装置，以通过有效地利用特征信息、结合前后期的特征信息和全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

为达上述及其它目的，本发明提出一种人体骨骼关键点检测方法，包括如下步骤：

步骤一，获取单目深度图；

步骤二，将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。

进一步地，于步骤一之前，还包括如下步骤：

构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数，获得所述经训练好的全卷积深度神经网络。

进一步地，所述构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数的步骤包括：

构建所述全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数；

收集若干单目深度图作为收集训练样本，并对所述单目深度图中的人进行人体骨骼关键点的标注，获得标注坐标；

生成所述标注坐标对应的目标特征图；

以所述单目深度图作为输入，以所述标注坐标生成的特征图为目标输出，使用梯度下降优化算法，利用所述训练样本进行端到端的模型训练，更新所述全卷积深度神经网络的参数，使得所述全卷积深度神经网络输出趋于目标输出。

进一步地，于所述构建所述全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数的步骤中，所构建的全卷积深度神经网络包括多个二维卷积层、多个修正线性单元层，除最后一层获得输出的卷积层，其余每一层卷积层后接一个修正线性单元，其间加入多个池化层、上采样层，所述上采样层后接一层将高级特征和低级特征并联的特征图并联层。

进一步地，所述全卷积深度神经网络中的任意一处特征通过特征增强模块来增强特征输出，所述特征增强模块的加入形式采用并联或者串联形式。

进一步地，于所述生成所述标注坐标对应的目标特征图的步骤中，以每个人体骨骼关键点的标注坐标为中心，依次生成二维高斯分布的概率置信图。