[发明专利]一种自然语言推理微调方法、系统、装置及存储介质

权利要求书

1.一种自然语言推理微调方法，其特征在于，包括以下步骤：

获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；

将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；

将隐藏向量拆分为前提隐藏向量和假设隐藏向量；

将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；

将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；

将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块。

2.根据权利要求1所述的一种自然语言推理微调方法，其特征在于，所述对前提文本与假设文本进行分词，获得文本的离散编码，包括：

将前提文本表示为其中m为前提文本的长度；

将假设文本表示为其中n为假设文本的长度；

将前提文本与假设文本连接起来作为联合文本，联合文本表示为其中，句首的CLS作为句向量表示词，句中SEP作为句子对的分割词，以及文本的结尾；

将联合文本输入到分词器得到文本的离散编码。

3.根据权利要求2所述的一种自然语言推理微调方法，其特征在于，所述将离散编码输入预训练模型中进行句向量建模，获得隐藏向量，包括：

将文本的离散编码输入到预训练模型BERT中，经过编码后获得隐藏向量，隐藏向量表示为

4.根据权利要求3所述的一种自然语言推理微调方法，其特征在于，所述将隐藏向量拆分为前提隐藏向量和假设隐藏向量，包括：

将隐藏向量进行拆分得到前提隐藏向量和假设隐藏向量如下：

前提隐藏向量：

假设隐藏向量：

5.根据权利要求1所述的一种自然语言推理微调方法，其特征在于，所述将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失，包括：

将前提隐藏向量中的句首向量h_CLS，输入到推理模块的MLP网络中，并根据分类器获取样本预测类的概率分布，获取最大的概率作为预测类别；

将预测类别和预设的标签进行交叉熵损失计算，得到推理任务的第一损失。

6.根据权利要求5所述的一种自然语言推理微调方法，其特征在于，所述将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失，包括：

将前提隐藏向量以及样本的标签嵌入输入到BiLSTM网络中，其中，前提隐藏向量中的每个向量作为BiLSTM网络每一个时间步的输入；

获取每一个时间步生成的单词的概率分布，选取最高概率的单词作为输出单词，生成句子；

将生成的句子和原本样例的假设文本进行交叉熵损失计算，得到生成任务的第二损失。

7.根据权利要求6所述的一种自然语言推理微调方法，其特征在于，所述生成任务中采用到的标签根据推理任务是三分类还是二分类进行自适应地选择；

标签信息通过标签嵌入矩阵得到标签嵌入向量，作为文本生成模块中BiLSTM网络的起始输入向量，表明当前生成的假设文本和前提文本之间的蕴含关系，从而指导BiLSTM网络进行生成；

利用Softmax函数计算每一步生成的单词概率分布，选择最高的概率的单词作为最终生成的单词。

8.一种自然语言推理微调系统，其特征在于，包括：

文本分词模块，用于获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；

句子建模模块，用于将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；

向量拆分模块，用于将隐藏向量拆分为前提隐藏向量和假设隐藏向量；

文本推理模块，用于将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；

文本生成模块，用于将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；

网络优化模块，用于将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块。