[发明专利]一种基于命名实体识别的问答系统构建方法

说明书

本发明公开了一种基于命名实体识别的问答系统构建方法，该方法包括步骤1，构建问答数据库：步骤2，将问答数据库中的问题进行命名实体识别和非命名实体识别，步骤3，将步骤2的识别结果存储到问答数据库中对应字段，步骤4，计算相似度，将用户输入问题进行实体识别后和中文分词后，得到命名类实体和非命名类实体，从问答数据库中找到对应的实体问题作为候选问题，返回相似度最高的候选问题的答案；通过对问答数据库中的问题进行命名实体识别和中文分词，获得命名实体和非命名实体的词向量，进而获得相应的候选问题，根据改进的相似度计算方法，得到用户输入和候选问题的相似度，精准匹配出用户输入问题，提高了问答系统中答案的准确性。

技术领域

本发明涉及自然语言处理研究领域，具体涉及一种基于命名实体识别的问答系统构建方法。

背景技术

移动互联网的高速发展，给互联网用户带来了丰富多样的信息。面对互联网上的海量信息，人们越来越依靠通过搜索引擎查询信息。但是，传统的搜索引擎返回大量的相关网页，用户很难从大量网页中快速准确地定位到与问题相匹配的正确答案。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：与传统搜索引擎不同，问答系统作为一种新型信息检索技术，能够直接返回给用户精确的答案，从而省去了用户从大量相关网页中寻找所需信息的时间。其中，短文本相似度计算在问答系统中具有重要作用，因为问题和答案都是短文本的形式，尤其是问题的长度一般不超过100字，包含的信息量较少；并且用户表达习惯不同，短文本问题中存在错别字、简称、口语化等不规范的表达，导致给出的答案质量有所下降。短文本与长文本不同，具有内容较短和特征稀疏等特点，导致短文本相似度计算度量效果较差。目前的短文本相似度方法无法有效解决短文本噪声词语的干扰问题，提高短文本相似度计算的准确性。因此需要提出新的语义相似度方法，提高自动返回用户答案的匹配精度。如何从短文本信息中挖掘出有价值的信息，准确定位到最相似的问句，返回用户最准确的答案，是一个亟待解决的问题。

发明内容

为了克服现有技术的不足，本发明提供了一种基于命名实体识别的问答系统构建方法，通过命名实体识别和非命名实体识别，去除了冗余信息，得到用户输入和候选问题的相似度，精准匹配出用户输入问题，提高了问答系统中答案的准确性。技术方案如下：

一种基于命名实体识别的问答系统构建方法，该方法包括如下步骤：

步骤1，构建问答数据库：

获取问答数据源，利用网络爬虫抓取问答类平台作为问答数据库的数据源，

抓取网页后需要进行数据清洗操作，清除无用数据，得到问题要素：问题、答案、答案时间、点赞数、评论数字段；根据问题要素计算每条答案记录的有效分数记S；根据有效分数S，针对每个问题，只保留一条有效分数最高的答案记录，存入问答数据库中。

步骤2，将问答数据库中的问题进行命名实体识别，所称命名实体识别是指识别出文本中具有特定意义的实体，包括人名、地名、组织机构名；使用BERT-BiLSTM-CRF模型对问答数据库中的问题进行命名实体识别，利用BERT生成输入内容的词向量语义表示，再连接BiLSTM-CRF模型。

使用BERT-BiLSTM-CRF模型进行实体识别的方法如下：

(1)在BERT预训练语言模型内部使用双向的Transformer编码器对问题进行处理，构建Embedding层，获得每个词的向量表示，作为下游任务BiLSTM-CRF的输入。

(2)通过BERT处理得到的词向量作为BiLSTM模型的输入，同时按正向和反向来处理序列输入，然后将同一时刻正向信息向量输出与反向信息向量的输出进行拼接，得到时刻t的句子表示通过正向和反向两个方向学习文本上下文之间的联系。