[发明专利]基于线索的离散推理方法及系统

说明书

本发明属于机器阅读理解技术领域，具体公开了一种基于线索的离散推理方法及系统，该系统包括编码模块、线索节点预测模块、推理模块和预测模块，编码模块用于提取文章和问题的词向量，线索节点预测模块用于预测已构建图中节点是否是线索节点，并在线索节点之间添加边，推理模块用于计算问题相关性得分和注意力权重系数，迭代更新节点特征向量，预测模块用于预测答案类型和答案。采用本技术方案，寻找文章中重要实体和数字，并在构建的关系网络图上挖掘推理信息，提高机器阅读理解中的离散推理能力。

技术领域

本发明属于机器阅读理解技术领域，涉及一种基于线索的离散推理方法及系统。

背景技术

机器阅读理解是自然语言处理的一项重要任务，要求计算机理解给定问题和文章的语义，并根据文章对问题进行解答。在机器阅读理解中，离散推理能力是一项更高水平的技能，要求机器能够挖掘问题和文章隐含的推理信息。离散推理通常包括加、减、排序、统计等推理方式。

现有技术中，通过在传统问答模型QANet的预测层上添加片段抽取、计数、计算表达式的答案类型预测的方式获得处理离散推理的能力，片段抽取指从文章或问题中抽取文本片段作为答案，计数指预测0至9中的一个数字作为答案，计算表达式指预测文章中数字对应的符号(-，+，0)，再用数字和符号组成表达式，最后运算得到数字答案。还有的方法是构建一个程序集，利用BERT模型从程序集中选择得分最高的程序并执行它得到答案。或者通过在预先构建的数字数据和文本数据上以生成方式来将数值推理能力注入预训练模型BERT，最后在数据集上训练得到一个直接生成数字答案的模型。NumNet首先利用数字大小关系将问题和文章中数字构建一个关系图，然后利用数字感知的图神经模型(NumGNN)实现数字比较,解决目前机器阅读理解模型在数值推理上的不足。QDGAT构建实体与数字之间的异构图，显式地建立了相同类型数字间的联系以及同句子实体和数字间的联系，并设计了一个问题导向图注意力网络来驱动该图上的多步数值推理。

但现有技术在机器阅读理解中进行离散推理时，忽视了不同实体和数字单元的作用程度，很少关注这些实体和数字单元之间的关系，没有充分考虑重要实体和数字对推理的作用。

发明内容

本发明的目的在于提供一种基于线索的离散推理方法及系统，提高机器阅读理解中的离散推理能力。

为了达到上述目的，本发明的基础方案为：一种基于线索的离散推理方法，包括如下步骤：

获取文本，输入预训练模型，进行编码，提取文章和问题的词向量；

利用命名实体识别工具确定问题和文章中包括的各实体和各数字节点，以及各数字分别对应的类型；

根据词向量确定问题的特征向量，以及关系网络图中各节点的初始特征向量,问题对应词向量进行平均池化获得问题特征向量，节点对应词向量进行平均池化获得节点初始特征向量；

将节点初始特征向量和问题特征向量输入线索节点预测器，预测节点是否为线索节点，以实体和数字为节点的异构关系图为基础，在线索节点之间添加边，获取新的异构关系图；

基于节点特征向量，计算问题相关性得分，构建所有节点间的相关性矩阵，度量节点间的相关性；

利用相关性矩阵，计算注意力权重系数，调整注意力分布；

根据节点的邻居节点的注意力权重系数，对各邻接节点的特征向量进行加权求和，基于求和结果更新特征向量；

预设迭代次数，根据预设数迭代后该节点的更新特征向量，更新问题和文章对应的词向量特征；

将更新后的问题和文章对应的词向量输入分类模型中，得到预测答案类型和答案。