[发明专利]一种基于命名实体识别的问答系统构建方法

权利要求书

1.一种基于命名实体识别的问答系统构建方法，其特征在于，该方法包括如下步骤：

步骤1，构建问答数据库：

获取问答数据源，利用网络爬虫抓取问答类平台作为问答数据库的数据源，

抓取网页后需要进行数据清洗操作，清除无用数据，得到问题要素：问题、答案、答案时间、点赞数、评论数字段；根据问题要素计算每条答案记录的有效分数记S；根据有效分数S，针对每个问题，只保留一条有效分数最高的答案记录，存入问答数据库中；

步骤2，将问答数据库中的问题进行命名实体识别和非命名实体识别，所称命名实体识别是指识别出文本中具有特定意义的实体，包括人名、地名、组织机构名；使用BERT-BiLSTM-CRF模型对问答数据库中的问题进行命名实体识别，利用BERT生成输入内容的词向量语义表示，再连接BiLSTM-CRF模型；

使用BERT-BiLSTM-CRF模型进行实体识别的方法如下：

(1)在BERT预训练语言模型内部使用双向的Transformer编码器对问题进行处理，构建Embedding层，获得每个词的向量表示，作为下游任务BiLSTM-CRF的输入；

(2)通过BERT处理得到的词向量作为BiLSTM模型的输入，同时按正向和反向来处理序列输入，然后将同一时刻正向信息向量输出与反向信息向量的输出进行拼接，得到时刻t的句子表示通过正向和反向两个方向学习文本上下文之间的联系；

(3)把BiLSTM层的输出作为CRF的输入序列X＝(x₁,x₂,…,x_n)，x表示词向量，n表示输入词向量的个数，学习标签间的约束条件提升标签预测的准确性，得到最终的预测标签序列，为输入问题的每个位置打上标注信息；

将问答数据库中的问题进行中文分词，对非命名实体进行识别：使用百度LAC分词工具对问答数据库中的问题进行分词及词性标注，跳过对计算相似性没有价值的代词、形容词和副词，筛选出非命名实体类名词和非命名实体类动词；

步骤3，将步骤2的识别结果存储到问答数据库中对应字段，对数据库中的每个问题新增如下字段列：组织机构实体、人名实体、地点实体、非命名类实体名词和非命名类实体动词，将步骤2得到的命名类实体和非命名类实体分别存储到相应列中，其中每个元素包括存储实体名和实体词向量，若存在某一类中存在多个命名，则以逗号分隔存储；

步骤4，计算相似度，将用户输入问题进行实体识别后和中文分词后，得到命名类实体和非命名类实体，从问答数据库中找到对应的实体问题作为候选问题，通过改进的相似度计算方法，计算用户输入问题与候选问题的相似度，返回相似度最高的候选问题的答案；具体为：

将用户输入问题进行命名实体识别后，若存在命名实体，则从问答数据库中找到对应的命名实体的问题作为候选问题，

根据用户输入问题的词向量和其候选问题的词向量，计算相似度sim1_(x,y)；对候选问题的相似度值进行排序，选择相似度分数最高的候选问题对应的答案作为用户输入问题的返回答案；

若不存在命名实体，则从问答数据库中找到对应的非命名实体的问题作为候选答案，根据用户输入问题的词向量和其候选问题的词向量，计算相似度sim2_(x,y)；

对候选问题的相似度值进行排序，选择相似度分数最高的候选问题对应的答案作为用户输入问题的返回答案。

2.根据权利要求1所述的一种基于命名实体识别的问答系统构建方法，其特征在于，步骤1问答类平台选择如下平台中的一种或多种：百度贴吧、百度知道、搜搜问问、360问答、搜狐问答和知乎。

3.根据权利要求1所述的一种基于命名实体识别的问答系统构建方法，其特征在于，步骤1中每条答案记录的有效分数记S为：

其中d＝该答案记录距最新答案的天数+1，n₁表示点赞数，n₂表示评论数。