[发明专利]一种基于词向量和循环神经网络的机器人聊天方法

说明书

本发明提供了一种基于词向量和循环神经网络的机器人聊天方法，本发明采用连续词袋模型CBOW训练自主词向量文件，根据词向量计算出句子相似度，并检索出与测试问句相似度最高的问句，并与预设的句子相似度阈值进行比较，低于阈值就利用多层双向网络模型LSTM以及注意力机制attention迭代训练的模型进行生成式回复，高于阈值，就输出最大相似度问句对应的答句进行回复。本发明解决了传统的生成式聊天机器人回复准确度不高的问题。本发明可以显著提高聊天机器人回复的准确性，降低生成式聊天机器人回复的语法语义错误率，相比于单一的生成式聊天机器人具有更高的可解释性，对闲聊领域问答系统的研究具有重要的意义。

技术领域

本发明属于机器人聊天技术领域，尤其一种基于词向量和循环神经网络的机器人聊天方法。

背景技术

随着人工智能技术的迅猛发展，智能聊天机器人技术的研究引起了广泛关注。目前主要应用的技术分为检索式和生成式两种，检索式聊天机器人是通过句子的语法语义进行分析，去数据库里查询最合适输出的答句，因此检索式更适合运用于一些服务行业(如：医学、工业、银行)，显然，检索式的重点放在了语料库的质量上，而语料库的质量也成了限制它性能的一大因素；生成式聊天机器人是利用深度学习技术对语料库进行训练，目前最火的模型是seq2seq模型，只要语料库涉及的知识领域够广，理论上可以回答任何领域的问题，因此生成式更适合应用于闲聊领域，只要输入一个问句，模型都会输出概率最大的一句答句，这里的答句是一个个词语组成的，所以生成式聊天机器人很可能出现语义错误问题。

现代社会快速发展的同时，人们面对的压力也日益提升，在闲暇之时有一个聊天机器人解闷成了人们向往的事情，不但可以缓解压力，还可以预防心里疾病，因此生成式聊天机器人的研究成了近年来的重点研究方向。一个完美的聊天机器人不但可以做到有问必答，还应该回答准确，但是利用单一的seq2seq模型训练的机器人往往会产生错误回复，当然在NLP领域，深度学习技术还不够成熟，有一定的错误率是完全可以接受的，但对于一些日常聊天用语，如果回复有语法错误的话，会使该聊天机器人的性能大打折扣，因此如何避免这样的错误，提高机器人的回复准确性和可靠性显得尤为重要

近年来，在NLP领域，对词的表示方法有了新的发展，传统的one-hot方法太过单一，容易产生维度爆炸，且词与词之间没有任何关联性，因此产生了一种词向量的表示方法。Word2vec是一种既能表示词本身又可以考虑语义距离的词向量表示方法，通过训练将每个词映射成K维实数向量，通过词之间的距离来判断它们之间的语义相似度，然后通过词向量可以计算两个句子的相似度，利用句子相似度可以对一些日常用语进行精确的答句输出，将基于词向量句子相似度技术和基于seq2seq模型的深度学习技术相结合，可以显著提高传统的生成式聊天机器人的回复准确度。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于词向量和循环神经网络的机器人聊天方法解决了传统的生成式聊天机器人回复准确度不高的问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于词向量和循环神经网络的机器人聊天方法，包括如下步骤：

S1、将原始语料库中问句Q以及答句A文件进行分离处理，得到问答句QA、问句Q以及答句A文件；

S2、加载所述问答句QA文件，利用连续词袋模型CBOW对所述问答句QA文件进行词向量训练，得到词向量文件QA.conv；

S3、加载所述词向量文件QA.conv，利用句子相似度算法计算测试问句与问句Q文件中所有问句之间的相似度，得到句子的最大相似度值most_value；

S4、将所述问句Q以及答句A文件分别进行分词、编码以及句子填补处理，并根据处理结果加载所述词向量文件QA.conv，将问句Q以及答句A文件转换成词向量矩阵embedding；