[发明专利]一种基于问题答案对的问答系统实现方法

说明书

本发明一种基于问题答案对的问答系统实现方法包括：问题分析、问题检索、答案选择。用户向问答系统提交自然语言表述的问题之后，问答系统会利用问题向量化、关键词提取、关键词拓展等自然语言处理技术去理解用户的提问意图，然后利用检索引擎的方法在问题答案对数据库中获取与问题相关的候选问题答案对集合，并利用匹配算法和排序算法从这些候选集合中准确地挑选出最佳答案。本发明通过综合不同算法和模型学习得到问题与答案之间的匹配度评分的函数，实现从候选问题答案对中选取出最佳答案的方法，完成了一种基于卷积神经网络、Xgboost特征融合的答案选择方法，为问答系统的答案选择提供了一种更好的方法。

技术领域

本发明涉及一种基于问题答案对的问答系统实现方法，属于自然语言处理技术领域。

背景技术

搜索引擎技术在信息检索方面可以满足用户的信息需求，但是搜索引擎存在许多不完善的地方，主要体现在两个方面：一是搜索引擎对于用户输入的查询经过检索返回一系列相关网页，网页包含的内容过多，用户往往需要阅读这些网页才能定位自己的需求；二是搜索引擎采取关键词匹配对进行信息检索，关键词匹配技术只对句子进行语法解析而没有语义解析。对于难以用关键词表述的复杂需求，搜索无法给出令人满意的查询结果。为了改善信息检索的用户体验，直接以自然语言作为输入与输出的问答系统成为了研究热点。在众多问答系统中，有一类建立在已配对的问题答案对列表的问答系统，这类问答叫做基于问题答案对的问答系统。

用户向问答系统提交自然语言表述的问题之后，系统首先会对问题进行分析，利用各种自然语言处理的技术去理解问题的意图或者主题，例如对问题按意图或主题进行分类、提取问题中的关键词、根据关键词生成关联词，然后将自然语言表述的问题转换成检索所需要的查询语句。接下来，在检索得到的相关候选问题答案对中，通过复杂匹配度计算，选择最佳答案。

基于问题答案对的问答系统同时具有搜索引擎和问答系统的优点：

1)通过训练得到的关联词来获取相似问题集合，增强问题的特征。

2)建立问题与候选问题答案对之间更加复杂语义层面的匹配模型，融合了多个计算问题与候选问题答案对之间的相似度的算法和模型给出置信度更高的相似度评分，其中包括传统的统计分布、结构和语义相似度特征以及深度神经网络特征。

3)卷积神经网络模型允许网络捕获更长的距离依赖性，训练高效，在网络结构中加入传统相似度特征能够提高准确性。4)能够利用自然语言进行更加人性化的交互。

不足之处：

1)模型对比传统的检索模型更加复杂，训练模型的过程需要花费时间调参。

2)基于卷积神经网络的模型中两个句子在建模过程中是完全独立的，没有任何参数交互行为，一直到最后生成抽象向量表示后才有交互行为。

3)问题答案对中数据库更新之后，需要在之前模型的基础上继续训练。

基于上述缺陷，本发明专注于中文基于问题答案对的问答技术。答案选择模块是基于问题答案对的问答系统中最重要也最难的部分。本发明分别优化了答案选择模块的关键技术：基于卷积神经网络、Xgboost特征融合的候选问题答案对排序方法。

发明内容

本发明技术解决问题：针对用户可能提交的问题，提出了一种新的基于问题答案对的问答系统实现方法，在答案选择模块训练一个答案句子选择模型，这个模型能够学习问题答案对数据集中配对的问题和答案的相关性进行评分的函数，使得相关性强的答案评分排在前面。

本发明技术解决方案：一种基于问题答案对的问答系统实现方法，包括如下步骤：问题分析、问题检索和答案选择。具体步骤如下：

S1.问题分析，负责分析用户提出的问题，从而领会用户的提问意图。该步骤在分析用户的问题时，包括将问题向量化、从问题中提取关键词、关键词拓展等操作。这些分析结果会对后续的步骤S2问题检索和步骤S3答案选择产生帮助。