[发明专利]模型训练方法、装置、设备和计算机存储介质

说明书

本公开公开了一种模型训练方法、装置、设备和计算机存储介质，涉及人工智能技术领域下的深度学习和自然语言处理技术。具体实现方案为：获取已训练得到的第一模型；利用所述第一模型的参数对第二模型的参数进行初始化；利用预设的训练目标，对所述第二模型进行训练以迭代更新所述第二模型的参数；其中，所述第二模型的规模大于所述第一模型，且所述第一模型和第二模型的类型相同。通过本公开能够提高模型训练的效率，降低成本。

技术领域

本公开涉及计算机应用技术领域，尤其涉及人工智能技术领域下的深度学习和自然语言处理技术。

背景技术

近年来随着深度学习和自然语言处理技术的不断发展，基于大规模语料的预训练模型+下游任务微调的模式逐渐成为经典的框架。预训练模型效果的提升往往伴随着数据量和模型参数规模的飞速膨胀，从开始的亿级别逐渐扩展到千亿级别，甚至仍会继续膨胀。

从零开始训练一个大规模的预训练模型的代价是巨大的，这对时间和算力成本都带来了严峻的挑战。因此，如何能够高效率、低成本的进行模型训练成为亟待解决的问题。

发明内容

有鉴于此，本公开提供了一种模型训练方法、装置、设备和计算机存储介质，以便于提高模型训练的效率，降低成本。

根据本公开的第一方面，提供了一种模型训练方法，包括：

获取已训练得到的第一模型；

利用所述第一模型的参数对第二模型的参数进行初始化；

利用预设的训练目标，对所述第二模型进行训练以迭代更新所述第二模型的参数；

其中，所述第二模型的规模大于所述第一模型，且所述第一模型和第二模型的类型相同。

根据本公开的第二方面，提供了一种模型训练装置，包括：

模型获取单元，用于获取已训练得到的第一模型；

初始化单元，用于利用所述第一模型的参数对第二模型的参数进行初始化；

模型训练单元，用于利用预设的训练目标，对所述第二模型进行训练以迭代更新所述第二模型的参数；

其中，所述第二模型的规模大于所述第一模型，且所述第一模型和第二模型的类型相同。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第五方面，一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例提供的模型训练方法的流程图；

图2为本公开实施例提供的模型参数矩阵的示意图；

图3a～图3b为本公开实施例提供的两种对第一部分参数初始化的示意图；