[发明专利]一种基于图注意力机制的深度学习问答推理方法及装置

说明书

本发明公开了一种基于图注意力机制的深度学习问答推理方法及装置。本发明提出了一种基于图点乘注意力算法的推理模型AGTF，针对问答中的多跳问题，提出了融合ALBERT与图注意力机制(GAT)的混合模型，该模型包含了编解码层和图神经网络预测层，经过实验结果表明，与现有的多跳问答推理算法相比，AGTF模型有效的提高了多跳问答的推理能力。

技术领域

本发明属于计算机应用技术领域，涉及一种融合ALBERT与图注意力机制的问答推理方法。

背景技术

对自然语言进行推理和推理的能力是人工智能的重要方面。自动问答任务提供了一种可量化的客观方法来测试人工智能系统的推理能力，正逐渐成为一种人与机器进行自然交互的新趋势，能够更准确地理解以自然语言描述的用户问题，并依据用户的真实意图返回给用户更精准的答案，它将成为下一代搜索引擎的新形态。

问答一直是自然语言处理领域的热门话题，QA为评估NLP系统在语言理解和推理方面的能力提供了一种量化的方法，深度学习模型的发展使得机器阅读理解领域和问答领域取得了长足的进步，甚至在包括SQuad在内的单段问答基准上超过了人类，但是以前的大多数工作都集中在从单一段落中寻找证据和答案，很少测试底层模型的深层推理能力，若要跨越机器和人类之间的问答鸿沟，面临着提升模型推理能力的挑战，单段问答模型倾向于在与问题匹配的句子中寻找答案，不涉及复杂的推理并且当单个文档不足以找到正确答案时，仍然缺乏对多个文档进行推理的能力。因此，多跳问答成为下一个需要攻克的前沿。

图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，图注意力机制引入了注意力算法来实现更好的结点聚合，在图注意力机制中，模型会通过线性变换来获得表达能力更强的特征，以满足深度学习中的各项下游任务。原始的图注意力机制(GAT)通过由a∈R^2F+1参数化的单层前馈网络来计算系数。而点积注意力机制是通过图中各个节点表示学习后所获取的，采用了与注意力机制相同的推理公式。通过学习邻居的权重，图注意力机制(GAT)可以实现对邻居的加权聚合。因此，图注意力机制(GAT)不仅能处理带噪声的邻接点，注意力机制也赋予了模型可解释性。

发明内容

本发明的目的旨在针对现有问答模型的不足，提供一种能有效应用于多条问答的问答推理模方法。

为了实现上述目的，本发明提供的技术是基于图注意力机制的深度学习问答推理方法，包括以下步骤：

步骤1、对数据进行表征抽取：

BERT模型凭借MASKED LM、双向Transformer encoder和句子级负采样获得了一个深度双向编码的描述了字符级、词级、句子级甚至句间关系的特征的预训练模型，而ALBERT模型的参数相比BERT而言小了很多，相反地，准确率比BERT高，所以使用ALBERT模型进行表征抽取。部分输入的是问题Q和相关的段落P，输出的是对应问题Q和段落的词向量P，以及从中提取出的语义向量(SEMANTIC)。首先，将问题[Q₁,Q₂...Q_n]和段落[P₁,P₂...P_m]输入模型。然后，ALBERT基于词元(token)、类别(type)和位置(position)的嵌入为每个词元生成表示，输出的表示Q＝[q₁,q₂...q_n]∈R^m×d,P＝[p₁,p₂...p_m]∈R^n×d，同时语义向量(semantic)也随表示输出。在附图2中演示了模型的架构。

步骤2、提取输入句子的实体：