[发明专利]基于注意力机制的用于阅读理解的方法、装置和电子设备

说明书

公开了基于注意力机制的用于阅读理解的方法、装置和电子设备。该方法包括：对获得文本数据和问题数据分别进行词向量转化；处理问题和文本的词向量表示，以分别获得问题和文本的语义向量表示；对问题和文本的语义向量表示进行语义加强；通过注意力机制层获得融合问题信息的上下文表示；对融合问题信息的上下文表示进行语义加强，以及，基于加强的融合问题信息的上下文表示和加强的问题语义向量表示，获得问题数据对应的答案。这样，通过采用语义加强方法的特定模型架构优化用于机器阅读理解的系统，以提升短文本答案抽取任务的效果。

技术领域

本发明总体地涉及数据处理领域，特别是涉及基于注意力机制的用于阅读理解的方法、装置和电子设备。

背景技术

自从计算机诞生以来，计算机在很多事情上的处理能力以超过人类，那么计算机能不能拥有智能，像人类一样懂得自然语言呢？机器阅读理解(Machine ReadingComprehension，MRC)是自然语言处理领域的一个重要课题，其目的在于让计算机在海量文本中找到精确的答案，从而减轻人类获得信息的成本。

机器阅读理解任务包括完形填空式的任务，答案抽取式的任务和更复杂的基于网络数据的问答任务，其中，最流行的阅读理解任务为答案抽取式的任务。答案抽取式的阅读理解任务指的是，给定问题和与该问题相关的短文本(通常为1000词以内)，从该短文本中抽取文本片段作为该问题的正确答案。

目前针对答案抽取式的阅读理解任务，主流的做法是通过深度学习来完成此任务。然而，在具体实现基于深度学习的短文本答案抽取的过程中，仍存在着诸多难题需要攻克，这些难题制约着机器阅读理解系统的性能和实际产业应用范围。

因此，对于一种能够更为全面地克服短文本答案抽取实现难题的基于注意力机制的用于阅读理解的方案之需求是持续存在的。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了基于注意力机制的用于阅读理解的方法、装置和电子设备，其通过采用语义加强方法的特定模型架构优化用于机器阅读理解的系统，以提升短文本答案抽取任务的效果。

根据本申请的一方面，提供了一种基于注意力机制的用于阅读理解的方法，包括：对获得的文本数据和与所述文本数据相关的问题数据分别进行词向量转化，以分别获得所述问题数据和所述文本数据的词向量表示；以第一循环神经网络模型分别处理所述问题数据和所述文本数据的词向量表示，以分别获得所述问题数据的问题语义向量表示和所述文本数据的文本语义向量表示；通过第一语义加强层处理所述问题语义向量表示和文本向量语义表示，以分别获得加强的问题语义向量表示和加强的文本语义向量表示；通过注意力机制层处理所述加强的问题语义向量表示和所述加强的文本语义向量表示，以获得融合问题信息的上下文表示；通过第二语义加强层处理所述融合问题信息的上下文表示，以获得加强的融合问题信息的上下文表示；以及，基于所述加强的融合问题信息的上下文表示和所述加强的问题语义向量表示，获得所述文本数据中每个词语为所述问题数据对应答案的起始位置和结束位置的概率，以将起始位置和结束位置的联合分布概率最大的文本片段确定为所述问题数据对应的答案。

在上述基于注意力机制的用于阅读理解的方法中，通过第一语义加强层分别获得加强的问题语义向量表示和加强的文本语义向量表示，包括：以所述第一循环神经网络模型再次分别处理所述问题语义向量表示和所述文本语义向量，以分别获得第二问题语义向量表示和第二文本语义向量表示；以第二循环神经网络模型分别处理所述第二问题语义向量表示和所述第二文本语义向量表示，以分别获得第三问题语义向量表示和第三文本语义向量表示；以第三循环神经网络模型分别处理所述第二问题语义向量表示和所述第二文本语义向量表示，以分别获得所述问题数据的每个词语的语义处理权重和所述文本数据的每个词语的语义处理权重；基于所述问题数据的每个词语的语义处理权重、所述第二问题语义向量表示和所述第三问题语义向量表示，获得所述加强的问题语义向量表示；以及，基于所述文本数据的每个词语的语义处理权重、所述第二文本语义向量表示和所述第三文本语义向量表示，获得所述加强的文本语义向量表示。