[发明专利]一种大规模预训练模型微调方法及装置

权利要求书

1.一种大规模预训练模型微调方法，其特征在于，所述方法包括以下步骤：

获取下游任务的训练数据集和预训练模型；

根据所述训练数据集为所述预训练模型的各个参数计算出费希尔信息量；

将预训练模型的各个参数，按照计算出的费希尔信息量的绝对值进行排序；

选取设定比例的参数组成下游任务的功能子网络；

对预训练模型进行微调，只更所述新功能子网络中的参数。

2.如权利要求1所述的方法，其特征在于，所述根据所述训练数据集为所述预训练模型的各个参数计算出费希尔信息量，包括：

对第i个参数，其费希尔信息量由下面公式计算得到

其中，w表示预训练模型的参数，x表示下游任务的训练数据集，y表示训练数据集的标签，|D|表示的是整个下游任务数据集的规模大小，括号内部表示的是下游任务数据集每一个数据的对数似然概率对该参数求偏导的值。

3.如权利要求1所述的方法，其特征在于，所述按照计算出的费希尔信息量的绝对值进行排序，包括：

按照计算出的费希尔信息量的绝对值从大到小进行排序。

4.如权利要求3所述的方法，其特征在于，所述选取设定比例的参数作为与下游任务的功能子网络，包括：

选取设定比例为前10％至40％的参数作为下游任务的功能子网络。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

将功能子网络之外的参数冻住，保持原有的预训练权重。

6.一种大规模预训练模型微调装置，其特征在于，所述装置包括以下模块：

获取模块，用于获取下游任务的训练数据集和预训练模型；

计算模块，用于根据所述训练数据集为所述预训练模型的各个参数计算出费希尔信息量；

排序模块，用于将预训练模型的各个参数，按照计算出的费希尔信息量的绝对值进行排序；

选择模块，用于选取设定比例的参数组成下游任务的功能子网络；

微调模块，用于对预训练模型进行微调，且只更所述新功能子网络中的参数。

7.如权利要求6所述的装置，其特征在于，所述计算模块用于：

对第i个参数，其费希尔信息量由下面公式计算得到

其中，w表示预训练模型的参数，x表示下游任务的训练数据集，y表示训练数据集的标签，|D|表示的是整个下游任务数据集的规模大小，括号内部表示的是下游任务数据集每一个数据的对数似然概率对该参数求偏导的值。

8.如权利要求6所述的装置，其特征在于，所述排序模块用于：

按照计算出的费希尔信息量的绝对值从大到小进行排序。

9.如权利要求8所述的装置，其特征在于，所述选择模块用于：

选取设定比例为前10％至40％的参数作为与下游任务的功能子网络。

10.如权利要求6所述的装置，其特征在于，还包括冻住模块，用于：

将功能子网络之外的参数冻住，保持原有的预训练权重。