[发明专利]对包含人像的图像的多人骨骼关键点检测方法及装置

说明书

本发明公开了一种对包含人像的图像的多人骨骼关键点检测方法及装置，该方法包括：对原始含人像的RGB图像进行显著性检测，得到图像中各位置的显著性值；根据显著性值对所述RGB图像进行裁剪；对所述裁剪后的图像进行骨骼关键点检测，得到各类关键点位置的分布热图；对所述分布热图根据显著性值进行加权，并根据加权后的分布热图计算出裁剪后图像的骨骼关键点检测结果；最后计算所述原始RGB图像中每个人的骨骼关键点的最终检测结果。本发明的方法和装置能得到高精度的人体骨骼关键点检测结果。

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其是涉及对包含人像的图像进行多人骨骼关键点检测的方法及装置。

背景技术

对包含人像的图像(如RGB图像)进行人体骨骼关键点检测，是当前计算机视觉领域一个热点研究方向。所检测出的人体骨骼关键点结果可为行为识别、人机交互、电影特效制作等多个领域提供关键信息，具有重要的实用价值。

目前主流的人体骨骼关键点检测方法主要分为两种：单人骨骼关键点检测方法和多人骨骼关键点检测方法。

单人骨骼关键点检测方法，是指首先对包含人像的图像进行物体检测，得到图像中每个人的矩形边框位置，然后对每个边框内的信息进行独立关键点检测，最后进行整合，以获取图像中全部人的骨骼关键点信息。这种方法严重依赖于物体检测的精度，边框位置及大小的微小变化可能对结果精度有较大影响，并且物体检测阶段效率低，难以达到实时性的要求。

多人骨骼关键点检测方法，是指直接在图像中检测出所有可能的人体骨骼关键点，然后利用全局信息对图像中属于同一个人的骨骼关键点进行连接。这种方法可以在不依赖人体边框位置信息的情况下较有效地检测出全部人体骨骼关键点，具有较高的检测速度。

但是，目前常见的多人骨骼关键点检测方法通常是直接利用卷积神经网络对原始RGB图像缩放到固定大小后进行特征提取，对所提取特征进行组合后得到关键点位置分布热图，然后输出检测结果。这一流程没有考虑到图像中人体位置分布情况。当人体面积在图像中占据较小比例时，直接对原始图像缩放到固定大小后进行特征提取和特征组合将难以得到准确结果。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的主要目的在于在现有多人骨骼关键点检测方法的基础上，提出一种对包含人像的图像的多人骨骼关键点检测方法及装置，得到高精度的人体骨骼关键点检测结果。

本发明为达上述目的提出以下技术方案：

一种对包含人像的图像的多人骨骼关键点检测方法，包括：对一含人像的原始RGB图像进行图像显著性检测，得到所述原始RGB图像中各位置的显著性值；根据显著性值对所述原始RGB图像进行裁剪，得到裁剪后的图像及裁剪后图像各位置的显著性值；对所述裁剪后的图像进行人体骨骼关键点检测，得到N个关键点位置分布热图；其中，N≥1；对所述分布热图根据所述裁剪后图像各位置的显著性值进行加权，根据加权后的分布热图计算出所述裁剪后图像的骨骼关键点检测结果；计算所述原始RGB图像的骨骼关键点的最终检测结果；最终检测结果包括所述原始RGB图像中的人数及检测到的每个人的骨骼关键点坐标集合。

所述装置包含有计算机程序，用于执行以实现如上方法。

与现有技术相比，本发明的有益效果在于：本发明添加图像显著性信息，以对图像主体部分进行裁剪，并修正关键点位置分布热图。由于本发明将图像显著性信息与现有基于卷积神经网络的多人骨骼关键点检测进行结合，提出的这种新的方法，增加了卷积神经网络所处理信息中主体信息的数量，提高了特征提取和特征组合的效果，有利于得到更高精度的多人骨骼关键点检测结果。

附图说明