[发明专利]基于神经网络的对话语义意图预测方法及学习训练方法

说明书

本发明公开了一种基于神经网络的聊天机器人对话语义意图预测方法以及学习训练方法，用于聊天机器人根据人类对话者的一个序列(已说过的)语句特征向量，预测出对话者可能延续的对话意图或兴趣点(多个之一)，并通过启发性选择聊天机器人的输出对话以及将对话者的回话作为对之前意图预测结果的验证反馈，实现算法的在线强化学习和自我更新，利于不断提高对话意图预测的正确率，可延长聊天的轮数和增强对话者的兴趣。

技术领域

本公开涉及语义分析技术领域，具体涉及一种基于神经网络的对话语义意图预测方法及学习训练方法。

背景技术

通过聊天机器人，人们实现了用自然语言与计算机交流。在和机器人聊天的过程中，产生了大量包含丰富用户信息的数据，这些数据蕴含了用户的潜在需求和意图。意图识别旨在判断一个用户发布的文本或表现的行为是否具有某种指向性意图(如消费、休闲、求知等)，准确识别出用户意图可以使得聊天机器人变得更加智能，增强用户体验；同时，也可有针对性地进行消费产品的推荐,更好地服务于用户。

常规意图识别采用基于模板匹配的方法和基于有指导的分类方法。前者主要通过挖掘句子中是否出现意图模板来确定句子最终是否具有消费意图，后者则将模板等作为特征训练分类器来完成句子的消费意图识别。然而,无论是基于模板匹配还是有指导的方法,在应用中都有一定的局限性。基于模板的方法覆盖率不高,效果不理想；通过构建特征的方式不能很好地学习到文本的深层语义信息,这些都导致了不能准确地理解用户的消费意图。

目前，一种基于LSTM神经网络的用户意图识别方法，较好地解决了“聊天机器人的用户对话文本表达较短,且词语的先后语序关系对文本的实际含义影响较大”的问题。

现有的基于LSTM神经网络的用户意图识别方法，用于三个领域的出行消费意图识别任务(订机票意图、订火车票意图和订酒店意图),其基本目标是根据用户在聊天中表达的语义信息来确定用户聊天文本的出行消费意愿。 LSTM神经网络模型不仅对文本的时序关系具有良好的建模能力,而且当用户输入的文本较长时,可以有效处理文本的长期依赖问题。

现有技术中基于LSTM神经网络的出行消费意图识别方法，其结构如附图1所示。该模型由输入层、长短期记忆(LSTM)层和Softmax分类层组成，其中LSTM层由一系列重复的Cell单元组成，得到最后一个Cell的输出送入Softmax层。

输入层将一个句子的n个(时间序列)词向量的作为输入，按照顺序依次送入到LSTM神经网络模型对应的n个Cell中,以保证聊天文本的时序性。

长短期记忆层由一系列重复的Cell单元组成,每个Cell单元接收上一时刻隐层的输出以及当前时刻的输入.每一个Cell单元由输入门i_t、遗忘门f_t和输出门o_t组成。

Softmax层输出维度为4，代表用户文本是否具有订机票、火车票、酒店意图或者是无意图。Softmax之所以适用于本问题场景,在于它的输出可以解释成条件概率,根据条件概率的值来识别聊天文本到底属于哪一类出行意图。

现有技术中基于LSTM神经网络的用户意图识别方法，存在的主要缺陷如下：

LSTM神经网络模型需要依赖原始的词向量输入，对于聊天机器人中的语义意图识别任务，训练词向量的大规模语料(尤其是人-机对话)较难获取，因而，无法得到十分适合本任务的初始化向量表示。

LSTM神经网络模型仅以一个句子的每个词向量(而不是连续几句对话中的每句文本)作为输入，按时间序列分别输入到对应Cell单元中，缺乏任务相关的深层次语义信息，因此，该模型对聊天文本的刻画不充分。

LSTM神经网络模型采用监督学习训练算法实现网络权值的优化调整，因此，需要人工对大量的数据样本进行识别和标签，将带来巨大的时间和人力成本开销。