[发明专利]一种基于深度学习和主题模型的问答系统实现方法

说明书

本发明公开了一种基于深度学习和主题模型的问答系统实现方法，包括步骤：S1、将问句输入Twitter LDA主题模型获得问句的主题类型，并提取相应主题词，将输入问句和主题词表示为词向量；S2、将输入问句的词向量输入RNN循环神经网络编码，获取问句的编码隐藏层状态向量；S3、解码RNN循环神经网络使用联合注意力机制结合问句的局部和全局混合语义向量，进行解码生成词；S4、使用大规模对话语料训练基于编码解码框架的深度学习主题问答模型；S5、利用训练的问答模型预测输入问句的答案，生成与问句主题相关的答案。本发明弥补了问答模型外源知识的缺失，增加回答的丰富性和多样性。

技术领域

本发明涉及自然语言处理中问答系统的技术领域，尤其是指一种基于深度学习和主题模型的问答系统实现方法。

背景技术

人机对话是自然语言处理技术(Natural Language Processing,NLP)与实现真正人工智能中是一个富有挑战性的任务，现有的问答系统(question and answering,QA)包括特定任务的问答系统和开放域的问答系统。问答系统旨在帮助人类完成特定的任务，比如完成人发出的指令、引导人完成某一项任务，与此同时，问答系统设计用来完成不同聊天背景下模仿人类自然聊天的过程。之前有大量的研究集中在对话系统，随着网络上社交媒体数据的爆炸式增长，大量的训练对话语料成为模型进一步改进的突破口，深度学习聊天机器人成为了学术界和工业界的热门方向。

目前，问答系统问答模型相关问题的研究方法主要包含以下方法:1、基于模板式匹配问答模型。首先是模板匹配式模型，我们可以通过设计规则来让对话模型知道遇到不同语言问句时，回复不同内容，这种方式需要设计多种规则，并且考虑规则间的优先顺序，规则越完善则回答内容越好，不过这种模型可迁移性较差。2、另外，检索式模型跟搜索引擎相似，不同的是检索模型给我们的是答案，这个模型主要是对问答对进行匹配，取决于输入的问句与答案候选集之间相似度，但生成内容依赖于数据集，不能创造新的回答内容。

本发明针对问答系统生成与问句主题相关的回答，重点研究了一种基于深度神经网络和主题模型的问答模型，由于神经网络能够捕捉到问题和回复答案之间语义和句法上的关系，通过完全端到端(end-to-end)的方式从大量问答语料中学习模型参数，通过拟合神经网络参数，能够理解问答中的问句并做出适当的回复。当前主流的生成式问答模型主要使用序列到序列模型(sequence-to-sequence)生成问答回复，并且结合注意力机制(attention mechanism)和主题模型，能够有效的生成问句主题相关的回复，因此是一种可行的分析方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习和主题模型的问答系统实现方法，利用主题模型提取问句的主题词，并结合联合注意力机制有效利用编码语义向量和主题词，生成与问句主题相关的回答，从而弥补了对话模型外源知识的缺失，增加回答的丰富性和多样性。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习和主题模型的问答系统实现方法，包括以下步骤：

S1、将问句输入Twitter LDA主题模型获得问句的主题类型，并提取相应主题词，将输入问句和主题词表示为词向量；

S2、对话模型使用sequence-to-sequence编码解码框架，将输入问句的词向量输入RNN循环神经网络编码，获取问句的编码隐藏层状态向量；

S3、解码RNN循环神经网络使用联合注意力机制结合问句的局部和全局混合语义向量，进行解码生成词；

S4、使用大规模对话语料训练基于编码解码框架的深度学习主题问答模型；

S5、利用训练的问答模型预测输入问句的答案，生成与问句主题相关的答案。