[发明专利]一种基于多注意力机制融合网络问答系统的实现方法

说明书

本发明公开了一种基于多注意力机制融合网络问答系统的实现方法，包括以下步骤：构建问答系统网络模型，对原始数据集预处理后得到待用数据集，进行文本长度分布分析；将待用数据集中文本进行one‑hot向量表示，使用CBOW模型训练one‑hot词向量，并组成word2vec词表；调整文本中每一条句子的序列长度，并加入句子结束符；使用ELMO语言模型训练word2vec向量得到ELMO词向量；对ELMO向量进行编码得到句子向量；分别对句子向量进行粗细粒度的关注分别得到记忆向量和基于每个词的关注向量；进行向量拼接得到基于词和句子的表示向量；解码表示向量生成问题句子的答案。本发明通过ELMO语言模型提高了句子的表征能力；融合多种注意力机制，提高了系统做决策的准确率，增强了系统的可解释性。

技术领域

本发明涉及问答系统领域，更具体地，涉及一种基于多注意力机制融合网络问答系统的实现方法。

背景技术

问答是人类交流的主要方式之一，随着数据规模的不断增长，越来越多的人开始关注如何从海量的信息中快速的获取自己想要的答案，而传统的搜索引擎系统已经跟不上时代的步伐，其搜索结果的精确度和多样化都需要作出巨大的改变才能满足用户的需求。国外研究人员认为以直接而准确的方式回答用户自然语言提问的自动问答系统将构成下一代搜索引擎的基本形态。区别于传统的搜索引擎系统，问答系统通过自然语言输入问句，经过一系列的语义解析，句法分析，句子理解，知识推理等处理手段，用自然语言回答用户问题，直接给出用户所需要的答案，而不是返回一系列相关文档排序的形态。当前，人工智能正式上升为国家战略，业界认为自然语言处理领域应该重点突破自然语言的语法逻辑、字符概念表征和深度语义分析的核心技术，推进人类与机器的有效沟通和自由交互，实现多风格多语言多领域的自然语言智能理解和自动生成。问答系统有很多种分类，根据答案的范围分类，可以分为面向限定领域和面向开放领域的问答系统。根据方法技术的不同分类，可以分为基于规则的、基于相似度计算的和基于深度学习的问答系统。根据答案生成的反馈机制的不同分类，问答系统也可以分为基于检索式的和基于生成式的问答系统。此外，根据支持问答系统产生答案的知识库以及实现的技术分类，可将问答系统分为社区问答系统、知识图谱问答系统、阅读理解问答系统等。当前基于注意力机制的阅读理解问答系统值得进一步研究。

发明内容

本发明为克服上述现有技术中问答系统采用端到端的模型数据压缩时出现数据丢失导致系统的表征能力不足、可解释性低的缺陷，提供一种基于多注意力机制融合网络问答系统的实现方法。

本发明旨在至少在一定程度上解决上述技术问题。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

一种基于多注意力机制融合网络问答系统的实现方法，所述方法包括以下步骤：

S1：构建问答系统网络模型，所述问答系统网络模型包括有：输入层、词嵌入层、编码层、关注层和解码输出层；采集原始文本数据组成原始数据集并进行文本格式预处理后得到待用数据集，根据待用数据集中各文本长度分布，确定待用数据集中每个文本的最大长度及计算待用数据集中文本的平均长度，所述文本包括：问题句子文本、答案句子文本和文章文本；同时将待用数据集按设定的比例划分为训练集和验证集；

S2：在输入层对待用数据集中的文本进行one-hot编码得到one-hot词向量；在词嵌入层采用word2vec的CBOW模型训练one-hot词向量，得到word2vec词表；

S3：从训练的word2vec词表中获取文本每个词的向量表示，并根据S1得到的文本平均长度进行补零或裁剪处理，使文本中每一条句子的序列长度一致，并加入句子结束符；

S4：使用ELMO语言模型训练CBOW模型训练完毕的word2vec向量，得到ELMO词向量；使文本的每个词向量具有不同的语义；

S5：在编码层通过双向循环神经网络对步骤S4得到的ELMO向量进行编码得到句子向量；所述句子向量包括：文章句子向量和问题句子向量；