[发明专利]基于热力图和偏移向量的姿态识别方法、系统及存储介质

说明书

本发明公开了基于热力图和偏移向量的姿态识别方法、系统及存储介质，方法包括：获取待识别目标图像；对所述待识别目标图像进行特征提取；根据提取的特征，预测关键点位置；对预测得到的关键点进行修正，确定关键点的最终位置；以及根据所述关键点，确定待识别目标的姿态信息。本发明通过提取图像的特征，接着预测关键点位置，还能对预测结果进行修正，最后识别得到姿态信息，本发明能够获得更加精确的姿态信息，可广泛应用于深度学习技术领域。

技术领域

本发明涉及深度学习技术领域，尤其是基于热力图和偏移向量的姿态识别方法、系统及存储介质。

背景技术

热力图：是一种概率图，距离中心点位置越近的像素点的概率越接近1，距离中心点越远的像素点的概率越接近0，具体可以通过相应函数进行模拟，如Gaussian等。

偏移向量：由点与参考点之间的距离推断出点与点之间的位移。

姿态估计：确定物体在图像(或立体图像、图像序列)中的姿态,重建人的关节和肢体的具体任务。

日常生活中人们通常使用拍摄照片的方式来记录生活，为了能更好地理解图片中人物信息，我们想要定位人们的位置，了解人们所进行的活动，如何实现这些目标是人体姿态估计的主要问题。姿态估计又称为人体关键点检测，主要识别人体关键部位的位置，比如鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝、右膝、左脚踝和右脚踝等等。尽管进行了多年的研究，但至今仍是是计算机视觉中一个极具挑战性的问题，其难点主要来自于自然场景下的复杂背景，模糊，遮挡，光照的明暗，衣物的颜色。不仅如此，人与人之间的肢体交互也会造成强烈的干扰，例如肢体的重叠，肢体间的遮挡。

由于实际应用场景中的人物往往不止一个，目前的姿态估计算法主要为多人姿态算法。多人姿态估计算法主要有两种趋势，一种是自顶而下(Top-down)的方法，另一种则是自底向上(Bottom-up)的方法。自顶向下就是先利用目标检测(Object detection)的方法，例如Faster-RCNN(Faster Region-based Convolutional Neural Networks)或SSD(Single Shot MultiBox Detector)等得到图像中多个人物的检测框，然后把它们从原图中剪切下来分别传递给后面的姿态估计网络，该网络则针对剪切后的图像单独预测人体关键点。自顶向下的方法将多人姿态估计的问题转化为单人姿态估计。自底向上的多人姿态估计方法则是先检测所有人身上的关键点，然后对这些关键点进行聚类处理，将不同人的不同关键点连接在一块，从而聚类产生不同的个体。自底向上的多人姿态估计方法侧重于对关键点聚类方法的探索，即如何去构建不同关键点之间的关系。

随着深度学习技术在计算机视觉领域的迅猛发展，最近几年涌现出了大批采用深度学习解决人体关键点检测的研究工作。然而，大多数现有的工作都聚焦于如何设计数据在网络中的传递路径，以获取图片中丰富的空间信息和细节信息。例如，特征金字塔网络(Feature Pyramid Networks for Object Detection)，级联的卷积神经网络(CascadedPyramid Network for Multi-Person Pose Estimation)和堆叠的沙漏网络(StackedHourglass Networks for Human Pose Estimation)等等。这些方法固然能提升人体关键点检测的准确性，但是它们忽略了预测点从低分辨率到高分辨率映射过程中，会发生微小的偏移，这造成了一定程度的精度损失。

发明内容

有鉴于此，本发明实施例提供基于一种精度高的热力图和偏移向量的姿态识别方法、系统及存储介质。

本发明的第一方面提供了一种基于热力图和偏移向量的姿态识别方法，包括：

获取待识别目标图像；

对所述待识别目标图像进行特征提取；

根据提取的特征，预测关键点位置；