[发明专利]关键点识别模型的生成方法和关键点识别方法

说明书

本公开实施例公开了一种关键点识别模型的生成方法和装置、关键点识别方法和装置、计算机可读存储介质及电子设备，其中，关键点识别模型的生成方法包括：基于初始模型包括的热力图生成模块，生成样本图像对应的热力图集合；基于初始模型包括的预测矢量转换模块，将热力图集合中的热力图转换为预测矢量；基于关键点集合中的关键点的位置信息，确定关键点集合中的关键点对应的监督矢量；基于预测矢量和监督矢量，对初始模型进行训练，得到关键点识别模型。本公开实施例可以提高模型训练的收敛速度，以及提高训练后的模型的识别准确性和效率。

技术领域

本公开涉及计算机技术领域，尤其是一种关键点识别模型的生成方法和装置、关键点识别方法和装置、计算机可读存储介质及电子设备。

背景技术

关键点检测技术是指从诸如人脸图像、人体图像等各种图像中，确定具有某种关键特征的点(例如眼角、鼻尖等部位)的技术。目前的关键点检测方法可以分为：传统方法、基于坐标回归的CNN(卷积神经网络，Convolutional Neural Networks)方法，基于热力图(heatmap)回归的CNN方法等。

发明内容

本公开的实施例提供了一种关键点识别模型的生成方法和装置、关键点识别方法和装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种关键点识别模型的生成方法，该方法包括：基于初始模型包括的热力图生成模块，生成样本图像对应的热力图集合，其中，热力图集合中的热力图表征目标对象上的预测关键点的位置，样本图像具有预先标注的表征目标对象上的关键点集合中的关键点的位置信息；基于初始模型包括的预测矢量转换模块，将热力图集合中的热力图转换为预测矢量；基于关键点集合中的关键点的位置信息，确定关键点集合中的关键点对应的监督矢量；基于预测矢量和监督矢量，对初始模型进行训练，得到关键点识别模型。

根据本公开实施例的另一个方面，提供了一种关键点识别方法，该方法包括：获取包括目标对象的待识别图像；将待识别图像输入预先训练的关键点识别模型包括的热力图生成模块，得到热力图集合，其中，热力图集合中的热力图表征目标对象上的预测关键点的位置，关键点识别模型基于上述关键点识别模型的生成方法训练得到；基于关键点识别模型包括的预测矢量转换模块，将热力图集合中的热力图转换为预测矢量；基于关键点识别模型包括的解码模块，对预测矢量进行解码，得到待识别图像对应的关键点集合中的关键点的位置信息。

根据本公开实施例的另一个方面，提供了一种关键点识别模型的生成装置，该装置包括：第一生成模块，用于基于初始模型包括的热力图生成模块，生成样本图像对应的热力图集合，其中，热力图集合中的热力图表征目标对象上的预测关键点的位置，样本图像具有预先标注的表征目标对象上的关键点集合中的关键点的位置信息；第一转换模块，用于基于初始模型包括的预测矢量转换模块，将热力图集合中的热力图转换为预测矢量；确定模块，用于基于关键点集合中的关键点的位置信息，确定关键点集合中的关键点对应的监督矢量；训练模块，用于基于预测矢量和监督矢量，对初始模型进行训练，得到关键点识别模型。

根据本公开实施例的另一个方面，提供了一种关键点识别装置，该装置包括：第二获取模块，用于获取包括目标对象的待识别图像；第二生成模块，用于将待识别图像输入预先训练的关键点识别模型包括的热力图生成模块，得到热力图集合，其中，热力图集合中的热力图表征目标对象上的预测关键点的位置，关键点识别模型基于上述关键点识别模型的生成方法训练得到；第二转换模块，用于基于关键点识别模型包括的预测矢量转换模块，将热力图集合中的热力图转换为预测矢量；解码模块，用于基于关键点识别模型包括的解码模块，对预测矢量进行解码，得到待识别图像对应的关键点集合中的关键点的位置信息。

根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述关键点识别模型的生成方法或关键点识别方法。