[发明专利]一种基于个性化开放领域的对话生成方法

说明书

本发明属于自然语言处理技术领域，具体涉及一种基于个性化开放领域的对话生成方法。用户输入问句；在检索库中检索，采用结合词嵌入技术衡量句子形式上的相似度以及句子在语义上的相似度，若输入的句子与检索库中的问题的相似度达到了某一阈值，则将该句子输入到个性化模型中进行处理，不然，则将其输入到通用模型中。本发明在基于深度学习技术使用大规模语料数据训练得到开放领域生成式对话模型的同时，可以实现让模型保持个性从而对特定问题拥有一致性回答。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于个性化开放领域的对话生成方法。

背景技术

对话系统一直是自然语言处理领域的一大研究热点。传统的基于检索式的对话系统存在 泛化能力较差、不具备人们期待的情感等诸多问题。近年来随着深度学习相关理论与技术的 发展，对话系统的实现开始从基于检索式的逐渐向基于生成式的过度。

基于深度学习技术实现的对话生成算法通常需要借助大规模的语料数据，Serban等人提 出了基于RNN的方法让模型从数据中自动学习特征的表示，节省特征提取工作的人力成本， 取得了优于特征工程方法的结果。Seq2Seq模型是机器翻译领域一种端到端的编码器—解码 器(Encoder-Decoder)模型较好地解决了深度神经网络只能刻画等长映射的问题。鉴于人机 对话与机器翻译实际上是很相似的任务，2015年谷歌团队的Vinyals首次提出将Seq2Seq模 型应用在对话生成任务上，取得了很好的效果。基于深度学习的对话生成技术目前仍然存在 很多问题，如难以进行多轮对话、生成的回复前后不一致等，但相比于各种检索式实现方案， 它的最大优点在于，对于任何问题它都能给出一个适当的回复，综合来看，这是目前实现开 放领域对话生成任务的首选方案。

针对一致性问题，Iulian V.Serban团队在2015年提出了一种利用三轮对话提高对话一致 性的模型，不过作者也表示其模型对预训练的语料库有很高要求。2016年，Li等人在Seq2Seq 模型中引入了SPEAKER MODEL以及SPEAKER-ADDRESSEE MODEL，新模型着重刻画了 人物的一些角色信息(persona)等，并没有涉及情绪与情感等方面的内容，在一致性问题上 的表现效果较基础模型有所提升但并不惊人。2017年，Sutskever提出一种涉及人物情感的模 型，通过对解码器输入部分进行一些改造，使模型生成的对话具有一定的情绪，取得了不错 的效果，后续有研究者从这个角度尝试处理一致性问题。2018年，Facebook团队的Zhang等 人通过特制的数据集以及向模型中嵌入有利信息等方法为模型赋予了可配置但持久的角色， 在个性化的对话生成方向上取得很大进展。总的来讲，生成式的对话系统由于技术限制等原 因一直以来受到的关注度并不高，所以对于这个领域的子课题——对话生成一致性的问题， 目前的相关研究还比较有限。

发明内容

本发明的目的在于提供一种基于个性化开放领域的对话生成方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：用户输入问句；

步骤2：在检索库中检索，获取用户输入的问句的向量表示，并计算用户输入的问句与 检索库中问题的向量相似度；所述的获取用户输入的问句的向量表示的方法具体为：

步骤2.1：基于词嵌入和Skip-gram模型的词向量计算；

将用户输入的问句输入到Skip-gram模型中，模型会通过查词向量表映射的方式确定对 应的词向量，中心词的词向量确定之后，通过隐藏层进一步映射出中心词上下文的词向量表 示，之后对整体输出进行一步Softmax处理，从而获得输出的上下文中对应单词的概率，根 据此处得到的概率与实际的词做交叉熵计算从而得到目标损失，最后再利用反向传播算法获 取参数梯度并进行参数的更新；

步骤2.2：通过词嵌入技术获得当前语料库下的词向量，再对句子中所有词的词向量求平 均，即可获得一个句子的向量表示；