[发明专利]构建预训练模型的方法、装置、终端设备和存储介质

说明书

本申请适用于人工智能技术领域，提供一种构建预训练模型的方法、装置、终端设备和存储介质。该方法首先获取用户输入的预训练模型的模型参数，该模型参数包含预训练模型的模型层数、准确率指标以及算子序列参数；然后，根据准确率指标从预设的模型库中查找与该准确率指标匹配的原始模型，并对该原始模型进行拆解，得到该原始模型的一个网络层包含的各个原始算子；接着，根据算子序列参数对各个原始算子以及算子序列参数中指示的其它算子进行组装，从而得到该预训练模型的一个目标网络层；最后，根据模型层数对该目标网络层进行复制并依次连接，从而构建出该预训练模型。采用该方法能够有效提高预训练模型的构建效率。

技术领域

本申请涉及人工智能技术领域，提供一种构建预训练模型的方法、装置、终端设备和存储介质。

背景技术

目前，在构建预训练模型时，通常由开发者利用TensorFlow等深度学习框架从零开始地去实现模型中每个计算的步骤，也即构建各个算子。采用这种方式的优点是模型构建灵活，开发者有任何想法都可以着手实现。然而，开发者需要花费大量的时间从零开始编写模型代码，导致构建预训练模型的效率较低。

发明内容

有鉴于此，本申请提出一种构建预训练模型的方法、装置、终端设备和存储介质，能够提高构建预训练模型的效率。

第一方面，本申请实施例提供了一种构建预训练模型的方法，包括：

获取输入的模型参数，所述模型参数包含待构建的预训练模型的模型层数、准确率指标以及算子序列参数，所述算子序列参数用于指示所述预训练模型的一个网络层包含的各个目标算子以及所述各个目标算子的排列顺序；

从预设的模型库中查找与所述准确率指标匹配的原始模型；

对所述原始模型进行拆解，得到所述原始模型的一个网络层包含的各个原始算子；

根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装，得到所述预训练模型的一个目标网络层，所述其它算子为所述各个目标算子中除所述各个原始算子之外的算子；

根据所述模型层数对所述目标网络层进行复制，并依次连接复制得到的各个网络层，从而构建出所述预训练模型。

本申请实施例采用的是一种模型算子拆解和组装的标准化方法。首先，获取用户输入的预训练模型的模型参数，该模型参数包含预训练模型的模型层数、准确率指标以及算子序列参数；然后，根据准确率指标从预设的模型库中查找与该准确率指标匹配的原始模型，并对该原始模型进行拆解，得到该原始模型的一个网络层包含的各个原始算子；接着，根据算子序列参数对各个原始算子以及算子序列参数中指示的其它算子进行组装，从而得到该预训练模型的一个目标网络层；最后，根据模型层数对该目标网络层进行复制并依次连接，从而构建出该预训练模型。在这个过程中，用户只需输入所要构建的预训练模型的模型参数即可，无需从零开始编写模型代码，因此能够有效提高预训练模型的构建效率。

在本申请的一个实施例中，所述从预设的模型库中查找与所述准确率指标匹配的原始模型，可以包括：

确定所述准确率指标所处的准确率范围区间；

从所述模型库中查找准确率落入所述准确率范围区间的一个模型，作为所述原始模型。

在本申请的一个实施例中，所述各个目标算子和所述各个原始算子相同，所述根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装，得到所述预训练模型的一个目标网络层，可以包括：

根据所述算子序列参数指示的所述各个目标算子的排列顺序，依次对所述各个原始算子进行组装，得到所述预训练模型的一个目标网络层。