[发明专利]一种基于重要数据进行知识蒸馏的方法

摘要

本发明涉及神经网络模型优化领域，具体涉及一种根据训练数据对测试数据的影响力分数来挑选重要数据从而进行知识蒸馏的模型以及方法，选取重要的训练数据时候我们采取利用记录模型参数梯度下降的方法来量化数据对模型的影响，通过将训练数据和测试数据对模型参数梯度下降的方向和距离做点积得到训练数据对测试数据的影响力分数。知识蒸馏通将一个网络模型结构较为复杂、网络性能较好的模型作为教师模型，将另一个网络模型结构较为简单、网络性能较差的模型作为学生模型，然后在学生模型训练的时候先将训练数据放入到教师模型中产生关于训练数据的知识，然后再利用这个知识来指导学生模型的训练，从而提高学生模型的性能。本发明能在模型复杂度较小、训练数据较少的情况下达到原始模型的性能，而且能够有效降低模型的运算成本，使得最后的模型能够在低算力的设备上运行。