[发明专利]一种基于深度学习的自动化问答方法

说明书

本发明公开了一种基于深度学习的自动化问答方法，该方法包括：步骤1，构建问答源数据库，步骤2，利用所有问答数据对构建社会治理领域语料库，采用深度神经网络LSTM训练出语言模型LSTMlm，步骤3，利用步骤2的同义词库自动增加问答对，扩张源数据库，步骤4，源数据库扩张后，进一步进行标注训练，包括问题纠错、关键词提取、答案纠错、法律依据补充、分类标签，步骤5，设计问答系统，接受用户的输入问题，对用户的问题进行理解，步骤6，在步骤5得到的分类下匹配最相似问题，返回对应的答案展示给用户。通过构建社会治理领域同义词库，扩张源数据库，来提高匹配准确率，通过利用BERT分类模型将问题自动分类，实现对问题的精准理解，进而实现完全自动化问答。

技术领域

本发明涉及大数据和自动问答研究领域，具体涉及一种基于深度学习的自动化问答方法。

背景技术

问答系统目前被大量使用在电商、金融、银行、旅游等行业中。但现阶段智能问答系统功能都是有局限性的，其问答社区模块中主要存在回答信息有误，回答信息冗余和回答信息不精确等问题。由于这些问题的困扰，导致了用户体验感变差，问答系统也满足不了日益增长的用户问答需求。

发明内容

为了克服现有技术的不足，本发明提供了一种基于深度学习的自动化问答方法，本方法解决了一般问答社区信息冗余问题和提高问答效率，能从语义，语境和语言结构方面更加智能化的语句识别。技术方案如下：

本发明提供了一种基于深度学习的自动化问答方法，其特征在于，该方法主要包括如下步骤：

步骤1，构建问答源数据库，从省、市、区级便民问答社区官网爬取社会治理相关的问答数据对，利用多线程分布式爬取后，做文本预处理并将其存入源数据库，构造问题训练集。

步骤2，利用所有问答数据对构建社会治理领域语料库，基于社会治理领域语料库，采用深度神经网络LSTM训练出语言模型LSTMlm。

基于社会治理领域语料库，构建社会治理领域同义词库：利用百度LAC分词算法将步骤1采集到的问答数据对自动分词，加入领域词库形成社会治理领域词汇，再对所有单词创建同义词集合，并用层次图表示各个单词的关系，定义单词之间的联系。

步骤3，利用步骤2的同义词库自动增加问答对，扩张源数据库；

利用百度LAC分词算法将问题问句自动分词，并用词性标注工具进行词性自动标注，然后通过同义词库将问句进行扩展，构造该问题的相似问句并存入源数据库中。

步骤4，源数据库扩张后，进一步进行标注训练，包括问题纠错、关键词提取、答案纠错、法律依据补充、分类标签。

对问答系统需要支撑的业务数据进行分析并设计文本标注系统，首先将问题训练集根据实际业务场景需求进行分类，利用BERT分类模型首先将问题自动分类，标注人员进入标注系统可以按分类来进行标注，问答系统中的纠错模型自动提示错误点，标注人员审核修改并确认，对于不合理的问题和答案，标注人员修改或补充，同时相似度模型自动匹配法律依据，标注人员可审核或修改；标注系统自动将标注后的数据存入标签数据库。

步骤5，设计问答系统，接受用户的输入问题，对用户的问题进行理解，对用户的问题先进行分类：对用户输入的问题先用百度LAC分词进行分词，并利用关键词抽取模型抽取关键词，利用BERT分类模型定位到对应的分类，具体为：