[发明专利]关键点检测模型训练方法、关键点检测方法及装置

权利要求书

1.一种关键点检测模型训练方法，其特征在于，包括：

获取训练样本集；其中，所述训练样本集中包括第一类型的训练样本和第二类型的训练样本，所述第一类型的训练样本包括训练图像、训练图像中的关键点的位置及相应关键点的可用性，所述第二类型的训练样本包括训练图像；

利用第一类型的训练样本和第一总损失函数训练教师网络，得到训练后的教师网络；其中，所述第一总损失函数包括用于约束关键点的可用性的损失函数和用于约束关键点的位置的损失函数；

从所述训练样本集中选取第一训练样本，在所述第一训练样本为所述第二类型的训练样本的情况下，将所述第一训练样本输入至训练后的教师网络，得到第一关键点位置预测结果和相应的第一关键点可用性预测结果，并将所述第一训练样本输入至学生网络，得到第二关键点位置预测结果和相应的第二关键点可用性预测结果；

将所述第一关键点位置预测结果、所述第一关键点可用性预测结果、所述第二关键点位置预测结果、及第二关键点可用性预测结果输入至第二总损失函数，得到第二总损失函数的第一数值，并将第二总损失函数的第一数值反馈至学生网络，以基于训练后的教师网络的知识蒸馏利用第二类型的训练样本训练学生网络，并根据训练后的学生网络或包括训练后的学生网络和训练后的教师网络的网络得到关键点检测模型；其中，所述第二总损失函数包括用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数。

2.如权利要求1所述的关键点检测模型训练方法，其特征在于，所述第二总损失函数还包括用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数和用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数；

根据训练后的学生网络或包括训练后的学生网络和训练后的教师网络的网络得到关键点检测模型之前，所述方法，还包括：

从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络。

3.如权利要求2所述的关键点检测模型训练方法，其特征在于，从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络，包括：

从所述训练样本集中选取第二训练样本，在所述第二训练样本为所述第一类型的训练样本的情况下，屏蔽掉所述第二总损失函数中的用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数和用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数，并将所述第二训练样本输入至学生网络，得到第三关键点位置预测结果和相应的第三关键点可用性预测结果，并将所述第三关键点位置预测结果和所述第三关键点可用性预测结果输入至所述第二总损失函数，得到第二总损失函数的第二数值，并将第二总损失函数的第二数值反馈至学生网络，以利用第一类型的训练样本训练学生网络。

4.如权利要求2所述的关键点检测模型训练方法，其特征在于，

用于约束学生网络的关键点位置预测结果接近教师网络的关键点位置预测结果的损失函数为均方误差损失函数，和/或，用于约束学生网络的关键点位置预测结果接近已知关键点位置的损失函数为均方误差损失函数；

用于约束学生网络的关键点可用性预测结果接近教师网络的关键点可用性预测结果的损失函数为交叉熵损失函数，和/或，用于约束学生网络的关键点可用性预测结果接近已知关键点可用性预测结果的损失函数为交叉熵损失函数。