[发明专利]构建预训练模型的方法、装置、终端设备和存储介质

权利要求书

1.一种构建预训练模型的方法，其特征在于，包括：

获取输入的模型参数，所述模型参数包含待构建的预训练模型的模型层数、准确率指标以及算子序列参数，所述算子序列参数用于指示所述预训练模型的一个网络层包含的各个目标算子以及所述各个目标算子的排列顺序；

从预设的模型库中查找与所述准确率指标匹配的原始模型；

对所述原始模型进行拆解，得到所述原始模型的一个网络层包含的各个原始算子；

根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装，得到所述预训练模型的一个目标网络层，所述其它算子为所述各个目标算子中除所述各个原始算子之外的算子；

根据所述模型层数对所述目标网络层进行复制，并依次连接复制得到的各个网络层，从而构建出所述预训练模型。

2.如权利要求1所述的方法，其特征在于，所述从预设的模型库中查找与所述准确率指标匹配的原始模型，包括：

确定所述准确率指标所处的准确率范围区间；

从所述模型库中查找准确率落入所述准确率范围区间的一个模型，作为所述原始模型。

3.如权利要求1所述的方法，其特征在于，所述各个目标算子和所述各个原始算子相同，所述根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装，得到所述预训练模型的一个目标网络层，包括：

根据所述算子序列参数指示的所述各个目标算子的排列顺序，依次对所述各个原始算子进行组装，得到所述预训练模型的一个目标网络层。

4.如权利要求1所述的方法，其特征在于，所述各个目标算子包含所述各个原始算子以及一部分其它算子，所述根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装，得到所述预训练模型的一个目标网络层，包括：

通过实例化的方式构建出所述其它算子；

根据所述算子序列参数指示的所述各个目标算子的排列顺序，依次对所述各个原始算子和所述其它算子进行组装，得到所述预训练模型的一个目标网络层。

5.如权利要求4所述的方法，其特征在于，所述模型参数还包含输入尺寸和注意力机制类型，所述通过实例化的方式构建出所述其它算子，包括：

从预先使用cuda语言封装完成的各个注意力机制算子中，选取与所述输入尺寸和所述注意力机制类型匹配的注意力机制算子，作为所述其它算子。

6.如权利要求1所述的方法，其特征在于，所述各个目标算子包含所述各个原始算子的一部分以及一部分其它算子，所述根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装，得到所述预训练模型的一个目标网络层，包括：

通过实例化的方式构建出所述其它算子；

将所述各个原始算子划分为第一原始算子和第二原始算子，其中所述第一原始算子为所述各个目标算子中包含的算子，所述第二原始算子为所述各个目标算子中不包含的算子；

针对每个所述第二原始算子，检测所述其它算子中是否具有与该第二原始算子功能相同的算子；若所述其它算子中具有与该第二原始算子功能相同的算子，则将该第二原始算子确定为可替代算子；若所述其它算子中不具有与该第二原始算子功能相同的算子，则将该第二原始算子确定为不可替代算子；

根据所述算子序列参数指示的所述各个目标算子的排列顺序，依次对所述第一原始算子、所述其它算子以及所述第二原始算子中的不可替代算子进行组装，得到所述预训练模型的一个目标网络层。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述模型层数为N，所述根据所述模型层数对所述目标网络层进行复制，并依次连接复制得到的各个网络层，从而构建出所述预训练模型，包括：

对所述目标网络层进行复制N-1次，得到N个网络层；

依次连接所述N个网络层，从而构建出所述预训练模型。