[发明专利]一种基于迁移学习的多轮阅读理解方法

说明书

本发明公开了一种基于迁移学习的多轮阅读理解方法。通过多任务学习方法，可以较好地迁移来自单轮阅读理解领域中的知识，有效地提升模型在多轮阅读理解任务上的效果。本发明包括如下步骤：1)获取多个阅读理解任务的训练语料；2)在多任务学习的过程中，从预定义的任务分布中采样一个批次的训练数据，送入共享的编码器和任务特定输出层中；3)通过任务特定的注意力机制捕捉任务对不同层输出的依赖，从而建立更好的任务相关的表征。和现有技术相比，本发明利用了单轮阅读理解任务中蕴含的知识，并且利用任务特定输出层和任务特定的注意力机制较好地建模目标任务的特性，可以有效地提升模型在多轮阅读理解任务的效果。

技术领域

本发明涉及迁移学习和深度学习方法在多轮阅读理解领域上的应用，尤其涉及采用任务特定的输出层和注意力机制建模任务特定表征的技术方法。

背景技术

在阅读理解任务中建模对话历史已经成为了一个研究热点。在这个场景中存在两个角色，提问者和回答者。提问者会连续的根据回答者的回答进行提问，而回答者的任务是从仅对其可见的文章中抽取一个文本片段作为回复。这个任务又称为ConvQA(Conversational Question Answering)。与传统的单轮阅读理解任务相比，此任务更加侧重于多轮交互的建模。

多轮阅读理解属于机器阅读理解任务的一种，指在给定上下文相关的语境和相关文章的情况下，根据问题从文章中抽取一段文本作为答案。多轮阅读理解任务中的上下文语境的设置较好地模拟了现实中用户的提问习惯，即用户通常会以指代和省略等方式引用上下文语境中的信息。理解上下文属于非常重要的技术。多轮阅读理解场景广泛地出现在各种信息咨询场景例如医疗问答，客服咨询等等。

在此任务中主要存在两个挑战。1)不可回答的问题。在对话的过程中，因为某些问题在文章中是无法找到答案的，因此需要给出不可回答的答复。2)多轮交互的建模问题。因为在对话的过程中，当前问题可能指代和引用对话历史中的部分信息，因此对话历史成为了理解当前问题时非常重要的线索。在理解问题时经常需要进行指代消解和省略补全。例如为了回答“在他身上发生了什么事情”，回答者必须理解代词“他”指向的是历史对话中涉及的人物。目前的方法都忽略了在大多数的阅读理解任务中知识是可以迁移的。单轮阅读理解任务和多轮阅读理解任务均需要某些相同的能力，例如识别不可回答的问题，推理和抽取答案。来自源任务的知识可能可以提升模型在目标任务上的表现，特别是当源任务和目标任务较为相关时。

发明内容

本发明目的是解决现有技术中存在的问题，并提供一种基于迁移学习的多轮阅读理解方法。

本发明具体采用的技术方案如下：

一种基于迁移学习的多轮阅读理解方法，其步骤如下：

S1：获取多个阅读理解任务的训练语料，并将它们预处理为相同的输入格式；

S2：利用训练预料对模型进行迭代更新，得到模型参数；且在每次模型更新时，采用多任务学习的方式来达到迁移学习的目的，步骤如S21～S22：

S21：按预定义的任务分布从候选任务中选择一个任务，并在该任务中采样得到一组由问题和文章组成的数据；

S22：将S21中采样得到的数据送入共享编码器和任务输出层；

所述共享编码器为多轮阅读理解模型，负责对输入数据进行信息建模；

所述任务输出层，负责捕捉共享编码器中每个任务的输出偏好，每个任务均具有各自对应的任务输出层；对于任一任务t而言，共享编码器的输出为H^t，采用前馈神经网络预测每个任务t对应的答案起始位置和结束位置，公式如下，

其中：表示任务t的答案起始位置，表示任务t的答案结束位置；均为权重,均为偏置，四个参数均为可训练变量；上标T表示转置；