[发明专利]一种模型的训练方法、装置、存储介质及电子装置

说明书

本发明实施例提供了一种模型的训练方法、装置、存储介质及电子装置，其中，该方法包括：基于初始网络模型中包括的第一初始模型的第一训练精度确定第一初始模型的第一评价指标，以及基于初始网络模型中包括的第二初始模型的第二训练精度确定第二初始模型的第二评价指标；在第一评价指标以及第二评价指标中存在大于预定阈值的评价指标的情况下，将第一评价指标以及第二评价指标中包括的最小评价指标对应的初始模型确定为待优化的目标初始模型；利用训练数据以及其他初始模型训练目标初始模型，得到目标网络模型。通过本发明，解决了相关技术中存在的模型训练时间长、效率低的问题，达到提高模型的训练效率的效果。

技术领域

本发明实施例涉及计算机领域，具体而言，涉及一种模型的训练方法、装置、存储介质及电子装置。

背景技术

近年来，深度学习发展迅猛，被应用到计算机视觉、语音识别以及自然语言处理上。随着数据规模积累的足够大，场景越加复杂，往往会使用到更加复杂的模型结构，这不仅仅需要更大的算力需求，同时也对存储带来了一定的挑战。由此以衍生了模型优化、压缩、剪枝、蒸馏等技术方案，而模型蒸馏就这些方案中比较常用的一种。

蒸馏方案主要以一个优秀的Teacher 模型为基础，通过知识蒸馏将Teacher 模型优秀的表现传递给Student模型，从而得到一个又好又快的Student模型。然而，在相关技术中，Teacher模型是提前训练好的，且Teacher模型的精度要高于Student模型，由此导致了模型训练时间长、效率低的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种模型的训练方法、装置、存储介质及电子装置，以至少解决相关技术中存在的模型训练时间长、效率低的问题。

根据本发明的一个实施例，提供了一种模型的训练方法，包括：基于初始网络模型中包括的第一初始模型的第一训练精度确定所述第一初始模型的第一评价指标，以及基于所述初始网络模型中包括的第二初始模型的第二训练精度确定所述第二初始模型的第二评价指标，其中，所述初始网络模型为经过训练得到的网络模型；在所述第一评价指标以及所述第二评价指标中存在大于预定阈值的评价指标的情况下，将所述第一评价指标以及所述第二评价指标中包括的最小评价指标对应的初始模型确定为待优化的目标初始模型；利用训练数据以及其他初始模型训练所述目标初始模型，得到目标网络模型，其中，所述其他初始模型为所述第一评价指标以及所述第二评价指标中包括的最大评价指标对应的初始模型。

根据本发明的另一个实施例，提供了一种模型的训练装置，包括：第一确定模块，用于基于初始网络模型中包括的第一初始模型的第一训练精度确定所述第一初始模型的第一评价指标，以及基于所述初始网络模型中包括的第二初始模型的第二训练精度确定所述第二初始模型的第二评价指标，其中，所述初始网络模型为经过训练得到的网络模型；第二确定模块，用于在所述第一评价指标以及所述第二评价指标中存在大于预定阈值的评价指标的情况下，将所述第一评价指标以及所述第二评价指标中包括的最小评价指标对应的初始模型确定为待优化的目标初始模型；训练模块，用于利用训练数据以及其他初始模型训练所述目标初始模型，得到目标网络模型，其中，所述其他初始模型为所述第一评价指标以及所述第二评价指标中包括的最大评价指标对应的初始模型。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。