[发明专利]知识蒸馏学习模型的预测方法、系统、设备及存储介质

说明书

本发明提供知识蒸馏学习模型的预测方法、系统、设备及存储介质，其中，预测方法包括：获取待检测样本；将待检测样本输入至学生模型，以得到学生模型输出的第一预测结果和第一置信度；判断第一置信度是否高于一置信度阈值；若是，将第一预测结果输出，并退出执行；若否，将待检测样本输入至教师模型中，以得到教师模型输出的第二预测结果和第二置信度，并判断第一置信度是否低于第二置信度；若是，将第二预测结果输出，并退出执行；若否，将第一预测结果输出，并退出执行。本发明的有益效果在于：实现了当学生模型不符合用户需求时，获取更高的置信度对应的预测结果作为最终预测结果，进而提高教师‑学生模型的预测准确度。

技术领域

本发明涉及模型预测技术领域，尤其是涉及一种知识蒸馏学习模型的预测方法、系统、设备及存储介质。

背景技术

知识蒸馏是一种模型压缩常见方法，在教师-学生模型中，将复杂、学习能力强的教师模型(teacher model)学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的学生模型(student model)。即通过知识蒸馏可以将精度高的教师模型的知识传递给预测速度很快的学生模型，可以保持教师-学生模型预测的精度的同时提高学生模型预测的速度。

然而由于物体预测的知识蒸馏中样本数量通常较大，而样本质量却参差不及，诸如样本中可能包括脏样本或过难样本，因此学生模型通常无法继承教师模型的全部知识，也就是说学生模型通常无法达到教师模型的精度，模型和任务之间的差异会导致该精度损失，并且教师-学生模型的预测速度完全取决于学生模型的结构，教师-学生模型的预测精度完全取决于学生模型对于教师模型知识的学习能力，因此现有技术中的教师-学生模型无法解决学生模型不符合用户需求时的问题，从而降低教师-学生模型在物体预测时的预测准确度，并且现有技术中的教师-学生模型缺乏对于预测速度和预测精度的动态调节，进而导致教师-学生模型在物体预测时的预测效果不佳。

发明内容

本发明针对现有技术中的缺点，提供了一种旨在提高教师-学生模型的预测准确度，动态调节教师-学生模型预测速度和预测精度的知识蒸馏学习模型的预测方法、系统、设备及存储介质。

一种知识蒸馏学习模型的预测方法，其中，通过知识蒸馏向已训练好的教师模型学习，以得到学生模型，预测方法具体包括以下步骤：

获取待检测样本；

将待检测样本输入至学生模型，以得到学生模型输出的第一预测结果和第一置信度；

判断第一置信度是否高于一置信度阈值；

若是，将第一预测结果输出，并退出执行；

若否，将待检测样本输入至教师模型中，以得到教师模型输出的第二预测结果和第二置信度，并判断第一置信度是否低于第二置信度；

若是，将第二预测结果输出，并退出执行；

若否，将第一预测结果输出，并退出执行。

优选的，知识蒸馏学习模型的预测方法，其中，置信度阈值的设置方法具体包括以下步骤：

获取测评样本集，测评样本集包括多个测评样本；

设置多个测评阈值；

将测评样本集分别输入至学生模型和教师模型中，学生模型和教师模型根据设置的测评阈值输出对应于测评阈值的预测参数，预测参数包括预测精度和预测速度；

选择最佳的预测参数对应的测评阈值作为置信度阈值。

优选的，知识蒸馏学习模型的预测方法，其中，测评阈值与预测精度之间为正相关的关系，测评阈值与预测速度之间为负相关的关系。

优选的，知识蒸馏学习模型的预测方法，其中，获取第一置信度具体包括以下步骤：