[发明专利]一种自然语言推理微调方法、系统、装置及存储介质

说明书

本发明公开了一种自然语言推理微调方法、系统、装置及存储介质，其中方法包括：获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；将隐藏向量拆分为前提隐藏向量和假设隐藏向量；将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块。本发明能够充分学习句子间的语义相关性，在原本的推理任务中取得更好的效果。本发明可广泛应用于自然语言推理技术领域。

技术领域

本发明涉及自然语言推理技术领域，尤其涉及一种自然语言推理微调方法、系统、装置及存储介质。

背景技术

自然语言推理是自然语言理解任务之一，是评估模型语言理解能力的重要任务，该项任务对于模型的语义理解能力，语义结构建模能力等要求较高，自然语言推理任务也可以称为文本蕴含任务，该任务将前提和假设的语义关系分为蕴含、矛盾和中立三类或者蕴含和非蕴含两类，是句子对分类任务。一个蕴含关系的例子如下，给定前提“一个骑马的人跳过了一架坏掉的飞机。”，任务目标是判断是否可以通过该前提推理出给定的假设“一个人在户外，骑在马上。”。现存的自然语言推理语料库包括斯坦福自然语言推理语料(SNLI)，来自科学问答的文本蕴涵数据集(SciTail)和多种类自然语言推理语料库(MultiNLI)等。现有的预训练-微调方法在自然语言推理任务中取得了一定的效果，但还存在以下缺点：1)预训练模型在训练集较少的推理任务中无法充分发挥模型的性能，对于语义的提取不够充分；2)现存的多任务学习则需要在多个不同的任务上联合学习，数据量大，训练时间长，损失函数设计复杂，适用性不强。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种自然语言推理微调方法、系统、装置及存储介质。

本发明所采用的技术方案是：

一种自然语言推理微调方法，包括：

获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；

将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；

将隐藏向量拆分为前提隐藏向量和假设隐藏向量；

将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；

将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；

将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块。

进一步地，所述对前提文本与假设文本进行分词，获得文本的离散编码，包括：

将前提文本表示为其中m为前提文本的长度；

将假设文本表示为其中n为假设文本的长度；

将前提文本与假设文本连接起来作为联合文本，联合文本表示为其中，句首的CLS作为句向量表示词，句中SEP作为句子对的分割词，以及文本的结尾；

将联合文本输入到分词器得到文本的离散编码。

进一步地，所述将离散编码输入预训练模型中进行句向量建模，获得隐藏向量，包括：

将文本的离散编码输入到预训练模型BERT中，经过编码后获得隐藏向量，隐藏向量表示为

进一步地，所述将隐藏向量拆分为前提隐藏向量和假设隐藏向量，包括：

将隐藏向量进行拆分得到前提隐藏向量和假设隐藏向量如下：

前提隐藏向量：