[发明专利]一种基于提示学习的领域自适应方法

权利要求书

1.一种基于提示学习的领域自适应方法，其特征在于，包括以下步骤：

1)选择Bert模型，将该预训练语言模型作为主干，对提示学习方法中的模板和标签词进行设置；

2)构造出所需要的提示学习模型，对于数据集，运用提示学习数据加载函数对数据进行加载和处理，之后进行领域自适应任务；

3)随机选取少量源域数据样本进行训练，之后将目标域的句子嵌入到同样的模板中，通过预训练语言模型进行掩码语言建模，对输入的目标域句子进行分类预测。

2.根据权利要求1所述的一种基于提示学习的领域自适应方法，其特征在于，所述步骤1)具体包括：

步骤1.1)选择预训练语言模型Bert作为主干；

步骤1.2)模板设置，模板为修改原有的输入，根据不同数据集的内容来手动设置不同的模板，将原始输入进行修改和封装，对于每个实例x，首先使用模板将x映射到提示输入x_prompt＝T(x)；

步骤1.3)标签词的设置：将原始标签投影到一组标签词中，存在一个单射映射函数Y→V，它连接了类集和标签词集，根据原始标签，映射一组跟其意思接近的标签词。

3.根据权利要求1所述的一种基于提示学习的领域自适应方法，其特征在于，所述步骤2)具体包括：

步骤2.1)构造提示学习模型，调用openprompt第三方库中的提示学习分类函数，所述提示学习分类函数包括三个参数，分别是预训练语言模型、模板、标签词，将步骤1)中得到三个变量分别赋予进去，从而可以得到提示模型；

步骤2.2)加载和处理源域和目标域中的数据集，调用openprompt第三方库中的提示数据加载函数，所述提示数据加载函数包括四个参数，分别是数据集、分词器、模板、分词包装类，所述分词器和分词包装类所要赋予的值是由调用加载预训练语言模型函数得到的，之后得到处理好的的训练和测试数据集，从而进行领域自适应任务。

4.根据权利要求1所述的一种基于提示学习的领域自适应方法，其特征在于，所述步骤3)体包括：

步骤3.1)在对少量源域数据进行训练后，当目标域句子嵌入到模板中，它将被归类带标签为y的类别中，其中y∈Y，标签词集为V_y＝{v₁，v₂，…，v_n}，V_y是整个词汇V的子集，即V_y∈V，并且V_y被映射到标签为y的类别中；在预训练语言模型中，V_y中的每个单词被填入到[MASK]中，其概率表示为P([MASK]＝v∈V_y|X_p)；因此，对目标域分类任务转化为标签词的概率计算问题，其计算公式如(1)所示：

P(y∈Y|X_p)＝P([MASK]＝v∈V_y|X_p) (1)

步骤3.2)在求出V_y中每个标签词的概率后，将目标域中每个标签词得到的预测概率映射到具体地类别标签上，预测分数的平均值作为最后类别分类的依据，则预测标签如(2)所示：

步骤3.3)在目标域句子中，如果的V₁＝{computer}的计算预测概率大于的V₂＝{recreation}，则最后预测该目标域中的句子被分类为Computer类。