[发明专利]一种少样本机器阅读理解方法、系统、设备及存储介质

说明书

本发明公开了一种少样本机器阅读理解方法、系统、设备及存储介质，提示模板的构建使得训练任务和预训练任务贴近，更好地挖掘了预训练语言模型的知识，减少了训练量，少样本场景下防止了过拟合，提示模板为训练任务提供了指导，在不同数据集上的迁移性更佳；本发明提供的方案更贴合真实场景中的少样本情况，能够更有效地利用现有的预训练语言模型，发掘其潜力，应用前景非常广阔。

技术领域

本发明涉及自然语言生成技术领域，尤其涉及一种少样本机器阅读理解方法、系统、设备及存储介质。

背景技术

机器阅读理解是近年来自然语言处理领域的热点之一。一方面，由于其多样和复杂性，阅读理解能力已经成为衡量计算机语言理解能力的一项重要指标。另一方面，阅读理解任务在工业界有众多的应用场景，比如智能搜索引擎、问答系统、客服机器人等。机器阅读理解任务使机器通过阅读文章，针对给定的问题给出答案，完整的数据是“上下文-问题-答案”，而在真实的场景下，往往数据总量较少，而且人工标注数据需要耗费大量人力、物力，效率低下。因此，少样本场景下的机器阅读理解技术具有很高的研究价值。

现有的机器阅读理解技术多采用基于预训练语言模型直接进行微调的方法，然而在少样本场景下普遍存在着效果不佳、迁移性差的问题，这是由于预训练语言模型在预训练阶段的任务与微调阶段任务不匹配，从而无法充分利用预训练语言模型学到的知识。最近的一些方法希望通过改变预训练目标来解决这个问题，并且也取得了一些效果，然而针对阅读理解任务设计预训练任务这种思路存在着一些问题，比如需要用海量预训练数据来对模型进行训练，这需要很强的算力，从经济角度来看并不完美，使得这种方法的普适性降低。

发明内容

本发明的目的是提供一种少样本机器阅读理解方法、系统、设备及存储介质，在提升少样本场景下机器阅读理解的回答质量的同时，无需消耗太多的资源。

本发明的目的是通过以下技术方案实现的：

一种少样本机器阅读理解方法，包括：

训练阶段，将包含问题文本、带掩码的提示模板伪token和上下文文本的训练文本通过提示模板编码器，获得带有连续提示模板的输入数据；将所述输入数据输入至包含双向编码器与自回归解码器的双向自回归语言模型，通过所述双向编码器对所述输入数据进行编码，利用给定的期望输出的答案构造所述自回归解码器输入信息，通过自回归解码器的自注意力机制进行处理后，采用交互注意力机制与所述双向编码器的输出进行交互，获得解码向量；利用所述解码向量计算各个生成词的概率分布，并构建损失函数对所述提示模板编码器与双向自回归语言模型进行训练；

预测阶段，将给定的包含问题文本、带掩码的提示模板伪token和上下文文本的输入文本，依次通过提示模板编码器以及双向自回归语言模型，获得答案文本。

一种少样本机器阅读理解系统，包括：提示模板编码器与双向自回归语言模型；其中：

训练阶段，将包含问题文本、带掩码的提示模板伪token和上下文文本的训练文本通过提示模板编码器，获得带有连续提示模板的输入数据；将所述输入数据输入至包含双向编码器与自回归解码器的双向自回归语言模型，通过所述双向编码器对所述输入数据进行编码，利用给定的期望输出的答案构造所述自回归解码器输入信息，通过自回归解码器的自注意力机制进行处理后，采用交互注意力机制与所述双向编码器的输出进行交互，获得解码向量；利用所述解码向量计算各个生成词的概率分布，并构建损失函数对所述提示模板编码器与双向自回归语言模型进行训练；

预测阶段，将给定的包含问题文本、带掩码的提示模板伪token和上下文文本的输入文本，依次通过提示模板编码器以及双向自回归语言模型，获得答案文本。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。