[发明专利]一种基于图像检索的人体三维姿态估计方法

说明书

本发明公开了一种基于图像检索的人体三维姿态估计方法。该方法包括步骤：构建并训练模型、使用训练模型估计、生成估计图像描述子、构建人体姿态字典集、查询人体姿态字典集，通过以上步骤能够对待识别图像中的人体姿态特征进行提取并生成图像描述子，然后在构建的人体姿态字典集中通过图像描述子比较进行快速查询，得到最匹配的人体三维姿态作为待检测人体二维姿态对应的人体三维状态输出。本发明方法克服了现有技术在室外和背景较为复杂的环境中难以识别人体姿态的问题，同时可以估计不同视角下图像中目标人物的人体三维姿态，具有鲁棒性强和高精度的优点。

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于图像检索的人体三维姿态估计方法。

背景技术

人体姿态估计是计算机视觉领域中的一个重要研究方向，在人体活动分析、动作识别、行为识别和人机交互等领域中的关键问题，也是当前的研究热点。基于视觉的人体姿态估计主要就是从图像中检测出人体各个部位或关节位置及其方向和尺度信息。人体姿态估计从输入不同主要分为基于RGB-D图和基于RGB图两种，由于深度相机在日常使用中存在诸多不便，基于单目视觉RGB图的研究具有更广泛的应用前景。但是目前基于深度学习的方法依然无法解决需要大量样本数据的问题，数据采集依然是困难之一。此外，受限于数据的采集，端对端方法在实际应用中依然受到诸多因素的限制，其中，如何在实际环境中应用便是限制因素之一。

发明内容

本发明主要解决的技术问题是提供一种基于图像检索的人体三维姿态估计方法，解决现有技术中难以具有复杂背景二维图像中提取人体二维姿态，并对应快速输出人体三维姿态的问题。

为解决上述技术问题，本发明采用的一个技术方案是提供一种基于图像检索的人体三维姿态估计方法，包括以下步骤：

构建并训练模型，构建卷积神经网络模型，将训练图像和训练标签输入到所述卷积神经网络模型并进行训练，使得所述卷积神经网络模型能够从输入的所述训练图像中提取出人体二维姿态训练数据,并且所述人体二维姿态训练数据与对应的训练标签相一致；使用训练模型估计，将待识别图像输入到经前一步骤训练完成的所述卷积神经网络模型中进行人体姿态估计，得到对应的人体二维姿态估计数据；生成估计图像描述子，将所述人体二维姿态估计数据按照图像描述子转换方法转换为对应的估计图像描述子；构建人体姿态字典集，将人体三维姿态字典数据通过多视角投影方法得到对应的人体二维姿态字典数据，再利用所述图像描述子转换方法将所述人体二维姿态字典数据转换为对应的字典图像描述子，从而构建包含所述人体三维姿态字典数据与所述字典图像描述子相映射的人体姿态字典集；查询人体姿态字典集，将所述估计图像描述子输入到所述人体姿态字典集，通过图像描述子相似比较法从中查询与所述估计图像描述子最相似的所述字典图像描述子，再将这个最相似的所述字典图像描述子对应映射的所述人体三维姿态字典数据，作为所述待识别图像中对应的人体三维姿态输出。

在本发明基于图像检索的人体三维姿态估计方法另一实施例中，所述卷积神经网络模型包括深度卷积神经网络Open pose模型，构建训练图像中人体的15个关键节点分别为头、颈、左肩、右肩、左肘、右肘、左手、右手、左胯、右胯、左膝、右膝、左脚踝、右脚踝以及盆骨，并对所述关键节点进行标注得到训练标签，所述训练图像和训练标签输入应用到所述深度卷积神经网络Open pose模型中，并对所述深度卷积神经网络Open pose模型进行训练，提取得到人体二维姿态训练数据。

在本发明基于图像检索的人体三维姿态估计方法另一实施例中，所述深度卷积神经网络Open pose模型包括由多个3×3卷积核和池化层串接而成的第一级网络，以及在所述第一级网络之后是依次串联的第二级网络至第七级网络，所述第二级网络包括两个分支，均接收来自所述第一级网络提取输出的图像特征，其中第一分支用于预测肢体部分亲和域，第二分支用于对人体关键关节位置进行初步的预测；第三级网络至第七级网络的输入包括来自所述第一级网络提取输出的图像特征，以及与前一级网络输出的高维特征的和。