[发明专利]一种用于强化回复个性化表达的开放域对话方法

说明书

本发明涉及一种用于强化回复个性化表达的开放域对话模方法，本属于开放域对话生成技术领域。包括一对拥有相同编码器‑解码器骨干的子网络，由CDNet和PDNet两个子网络构成，两个子网络通过多任务学习的方式交替训练，在交替训练的过程中更新编码器‑解码器骨干的参数，从而让整个模型获得两个子网络在训练过程中学习到的个性化选择与个性化嵌入的能力，模型通过多任务训练的方式交替训练CDNet和PDNet，从而学习到这两个子网络的能力，生成个性化信息更加充分的回复。有益效果在于，基于个性的双网络对话模型，用于在各种对话场景中生成更加个性化的回复；增强对话过程中个性化信息的主导作用，增强了机器人的个性化表达能力。

技术领域

本发明涉及一种用于强化回复个性化表达的开放域对话方法，本属于开放域对话生成技术领域。

背景技术

目前，对话系统可根据其具体应用大致分为面向任务型与非面向任务型两种模型。面向任务的对话系统旨在帮助用户完成某些任务，例如查找产品，预订住宿和餐馆。非面向任务的对话系统也被称为开放域对话系统或者闲聊机器人，致力于在开放域与人交谈，并在与人类交互过程中有意义且相关的回复，主要起到拉近用户距离，建立信任关系，情感陪伴，顺滑对话过程(例如在任务型对话无法满足用户需求时)和提高用户粘性的作用，因此开放域对话系统具有广泛的应用价值。开放域对话系统可根据构建方法分为检索模型和生成模型。检索模型首先构建一个丰富的对话语料库，对于每一条输入语句，检索模型会从候选语句中挑选语义匹配度最大的语句作为其回复。检索模型的核心是其所使用的语义匹配算法，其重点在于让匹配模型克服查询和回复之间的语义差异，使回复更具有流畅性和语法性。由于检索模型依赖于检索对话语料库，因此无法回答语料库中不存在的问题，无法创建新的回复。生成模型受到神经机器翻译的启发，基于序列到序列模型(Seq2Seq)，学习输入与回复之间的对应模式。在预测阶段，系统根据对话模型计算输入语义向量，再逐个生成词语组成回复话语。生成模型能够产生更加适当的，在语料库中从未出现过的回复，因此成为近年来最主要的研究热点。

由于对话生成模型基于Seq2Seq框架，因此倾向于选择具有最大可能性的回复，这通常会导致两个问题，一方面，这使得对话系统产生意义不大的或不重要的、普适的回答，例如对话数据集中“我不知道”或者“我很好”这样的高频率短语，而相反，有更多信息的更有意义的回答相对稀疏，这降低了生成回复的多样性。另一方面，由于训练数据来自很多不同身份的说话者，对话系统对泛型回答的倾向性会影响对话系统的一致性。针对上述面临的挑战，一些研究通过给机器人赋予个性化信息让机器人生成多样且与自身个性一致对话。首先提出了一种基于角色的对话生成模型，该模型将每个用户投影到一个向量中，并在每个解码步骤将其馈送到解码器。采用两个阶段的方法，即现在大规模语料库上回复生成进行建模然后再通过个性化信息对模型微调。现有技术探索了一种基于说话人和对话历史的回复生成模型。但是，这些模型无法捕获和解释个性，因为有关用户的所有个性化信息都被编码为密集向量。为了保持连贯的人格，现有技术提供设计了模型，该模型根据预先设定的个人档案明确在回应中表达的个性。现有技术通过创建了一个Persona-chat数据集，并且提出了两个生成模将个性化信息整合到回复中。使用了一种复制机制，该机制允许解码器利用层级注意力机制从对话上下文和个性化信息中选择相关单词复制在回复中；现有技术提出了一种个性选择机制，该机制使用个性信息的先验分布和后验分布来促进个性选择；现有技术提出了一种内存增强的架构，以利用上下文中的个性化信息并将条件变分自编码器模型整合在一起以生成各种回复。上述研究证明了引入个性化相关信息能够让机器人生成更加多样且一致的回复。

现有技术只注重如何选择个性化信息来生成对话，而个性化信息的选择非常依赖于对话输入中表现出来的个性化相关的主题，这使得在很多缺乏个性化信息对话场景中，机器人并不能主动和充分利用个性化信息生成个性化的回复。本发明在以上技术的基础上，加强机器在不同对话场景中的个性化信息嵌入的能力。提出一种能够增强回复个性化表达的开放域对话模型。

发明内容