[发明专利]用于检测物体关键点的方法、装置及电子设备

说明书

本发明实施例提供一种检测物体关键点方法、装置及电子设备。其中，用于检测物体关键点的方法包括：获取待检测图像的多个局部区域候选框各自的特征图，所述多个局部区域候选框与至少一种目标物体对应；根据各局部区域候选框的特征图，分别对所述待检测图像的相应局部区域候选框进行目标物体关键点检测。本发明实施例的检测物体关键点方法、装置及电子设备能够有效地抑制背景对物体检测的影响，可应用于例如物体相互遮挡的复杂应用场景，即使提取的局部区域候选框位置不准确，也不影响图像中关键点的检测。

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种用于检测物体关键点的方法、装置及电子设备。

背景技术

物体的关键点是指物体上具有稳定且重要的语义信息的部位。物体的关键点的检测对于物体的深层次分析具有极其重要的辅助作用，因而被广泛应用于行为识别、跟踪以及人体再认证等。

通用物体关键点的检测是指在现实复杂场景中对场景中指定的多种物体的每个实例进行关键点检测。目前的关键点检测方法通常分为两种。

在第一种方法中，对关键点的几何位置分布进行建模，然后根据检测的分数并基于关键点空间结构来预测关键点。在这种方法中一般人工定义用于预测的特征。

在第二种方法中，采用深度卷积神经网络来产生特征，然后加入关键点位置的回归或者分类以预测关键点。在这种方法中，设计者会根据特定目标的关键点布局，在卷积神经网络中加入反映关键点空间结构的图模型。

发明内容

本发明实施例的目的在于，提供一种用于检测物体关键点的方法、装置及电子设备，以从各种场景中的图像中对多个类别的物体进行关键点检测。

根据本发明实施例的一方面，提供一种用于检测物体关键点的方法，包括：获取待检测图像的多个局部区域候选框各自的特征图，所述多个局部区域候选框与至少一种目标物体对应；根据各局部区域候选框的特征图，分别对所述待检测图像的相应局部区域候选框进行目标物体关键点检测。

可选地，结合本发明实施例提供的任一种方法，其中，所述根据各局部区域候选框的特征图，分别对所述待检测图像的相应局部区域候选框进行目标物体关键点检测包括：以每个所述局部区域候选框的特征图作为深度神经网络模型的输入，分别获取每个所述局部区域候选框的第一个数的检测关键点热度图以及关键点预测概率，所述第一个数为所述至少一种目标物体预定的关键点的个数总和，所述深度神经网络模型用于预测物体区域候选框的第一个数的检测关键点热度图以及各个检测关键点热度图中各个位置为关键点的关键点预测概率；根据任一局部区域候选框的第一个数的检测关键点热度图以及关键点预测概率预测所述局部区域候选框中的关键点。

可选地，结合本发明实施例提供的任一种方法，其中，在以每个所述局部区域候选框的特征图作为深度神经网络模型的输入，分别获取每个所述局部区域候选框的第一个数的检测关键点热度图之前，通过以下处理训练得到所述预先训练的深度神经网络模型：通过多个样本图像训练所述深度神经网络模型，所述样本图像配有至少一种物体的局部区域候选框的第二个数标定关键点热度图，所述深度神经网络模型包括多个卷积层和分类器层，其中，在所述多个卷积层的末端获得每个局部区域候选框的第二个数的预测关键点热度图，从所述分类器层输出每个所述预测关键点热度图中各个位置的关键点预测概率。

可选地，结合本发明实施例提供的任一种方法，其中，所述通过多个样本图像训练所述深度神经网络模型包括：对所述多个样本图像的特征向量进行卷积，获得所述多个样本图像的卷积特征向量；对所述卷积特征向量进行1×1卷积，分别获得所述每个样本图像的N+1个预测关键点热度图，N为第二个数；根据各个局部区域候选框的位置，从每个所述样本图像的前第二个数所述预测关键点热度图分别剪切出各个局部区域候选框的第二个数的预测关键点热度图；分别获取所述各个局部区域候选框的第二个数的预测关键点热度图与相应的第二个数标定关键点热度图之间的差异；使用获取到的差异和所述多个样本图像迭代地更新所述深度神经网络模型的网络参数。