[发明专利]一种模型训练方法、装置和用于模型训练的装置

说明书

本发明实施例提供了一种模型训练方法、装置和用于模型训练的装置。所述方法包括：获取训练数据，所述训练数据包括与预训练任务无关的第一训练数据，以及与预训练任务相关的第二训练数据；将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型；基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型。本发明实施例得到候选语言模型能够适用于预训练任务，网络结构、参数等更符合预训练任务的任务需求；基于与预训练任务相关的第二训练数据对所述候选语言模型进行调整，根据候选模型的损失值调整模型参数，进一步提升了模型性能，提高了目标语言模型的准确度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种模型训练方法、装置和用于模型训练的装置。

背景技术

目前，预训练语言模型发展突飞猛进。预训练可以通过自监督学习从大规模数据中获得与具体任务无关的预训练语言模型，然后将预训练语言模型从大规模数据中学习到的知识迁移到任务模型中，采用任务模型进行任务处理。

然而，由于目前采用的预训练语言模型为通用领域的模型，并没有针对具体任务的预训练语言模型，基于通用领域的预训练语言模型迁移得到的任务模型，在处理具体任务时，模型性能较差，导致处理结果容易出现偏差，准确度不高。

发明内容

本发明实施例提供一种模型训练方法、装置和用于模型训练的装置，可以训练专门适用于预训练任务的语言模型，提升模型性能和准确度。

为了解决上述问题，本发明实施例公开了一种模型训练方法，所述方法包括：

获取训练数据，所述训练数据包括与预训练任务无关的第一训练数据，以及与预训练任务相关的第二训练数据；

将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型；

基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型。

另一方面，本发明实施例公开了一种模型训练装置，所述装置包括：

训练数据获取模块，用于获取训练数据，所述训练数据包括与预训练任务无关的第一训练数据，以及与预训练任务相关的第二训练数据；

预训练模块，用于将所述第一训练数据输入语言模型，基于所述预训练任务对所述语言模型进行预训练，得到候选语言模型；

模型调整模块，用于基于所述第二训练数据对所述候选语言模型进行调整，得到目标语言模型。

再一方面，本发明实施例公开了一种用于模型训练的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如前述一个或多个所述的模型训练方法的指令。

又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的模型训练方法。

本发明实施例还公开了一种计算机程序产品，所述计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中，且适于由处理器读取并执行，以使得具有所述处理器的计算机设备执行如前述一个或多个所述的模型训练方法。

本发明实施例包括以下优点：