[发明专利]一种人体关键点识别方法、装置及电子设备

权利要求书

1.一种人体关键点识别方法，其特征在于，包括：

获得待识别人体关键点的目标图像；

获得所述目标图像的人像蒙版；

利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为利用样本图像和所述样本图像中每个人体关键点的真值热度图，并以所述样本图像的人像蒙版作为先验信息，所训练的模型；

基于所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；

所述利用预先训练的神经网络模型，以所述目标图像的人像蒙版作为先验信息，对所述目标图像进行关键点信息识别，得到所述目标图像中每个人体关键点的热度图，包括：

将所述目标图像和所述目标图像的人像蒙版进行关于通道维度的矩阵拼接，得到所述目标图像对应的第一拼接矩阵；

将所述目标图像对应的第一拼接矩阵输入至预先训练的神经网络模型，以使所述神经网络模型对所述目标图像对应的第一拼接矩阵进行特征提取，得到所述目标图像的特征矩阵，对所述目标图像的特征矩阵进行热度图分析处理，得到所述目标图像中每个人体关键点的热度图。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：

获得多个样本图像，以及，每个样本图像的人像蒙版和每个样本图像中每个人体关键点的坐标；

针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；

针对每个样本图像，以该样本图像的人像蒙版作为先验信息，利用该样本图像对训练中的所述神经网络模型进行训练，得到该样本图像中每个人体关键点的预测热度图；

基于每个样本图像中每个人体关键点的真值热度图与预测热度图的差异，计算综合损失值；

基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整训练中的所述神经网络模型的网络参数，继续训练所述神经网络模型。

3.根据权利要求2所述的方法，其特征在于，针对每个样本图像，以该样本图像的人像蒙版作为先验信息，利用该样本图像对训练中的所述神经网络模型进行训练，得到该样本图像中每个人体关键点的预测热度图的步骤，包括：

针对每个样本图像，将该样本图像和该样本图像的人像蒙版进行关于通道维度的矩阵拼接，得到该样本图像对应的第一拼接矩阵；

分别将每个样本图像对应的第一拼接矩阵输入至训练中的所述神经网络模型，以使训练中所述神经网络模型分别对每个样本图像对应的第一拼接矩阵进行特征提取，得到每个样本图像的特征矩阵，对每个样本图像的特征矩阵进行热度图分析处理，得到每个样本图像中每个人体关键点的预测热度图。

4.根据权利要求3所述的方法，其特征在于，所述针对每个样本图像，将该样本图像和该样本图像的人像蒙版进行关于通道维度的矩阵拼接，得到该样本图像对应的第一拼接矩阵，包括：

针对每个样本图像，将该样本图像的图像尺寸调整为第一尺寸，得到尺寸调整后的该样本图像，以及将该样本图像的图像尺寸调整为所述第一尺寸，得到该样本图像的第一人像蒙版；并将尺寸调整后的该样本图像的矩阵和该样本图像的第一人像蒙版的矩阵进行数据拼接，得到该样本图像对应的第一拼接矩阵；

其中，所述第一尺寸为所述神经网络模型的用于特征提取的输入内容的尺寸；

所述将所述目标图像和所述目标图像的人像蒙版进行关于通道维度的矩阵拼接，得到所述目标图像对应的第一拼接矩阵的步骤，包括：

将所述目标图像的图像尺寸调整为所述第一尺寸，得到尺寸调整后的所述目标图像；

将所述目标图像的人像蒙版的图像尺寸调整所述第一尺寸，得到所述目标图像的第一人像蒙版；

将尺寸调整后的所述目标图像的矩阵和所述目标图像的第一人像蒙版的矩阵进行数据拼接，得到所述目标图像对应的第一拼接矩阵。