[发明专利]一种基于多语言建模的低资源对话生成方法及系统

说明书

本申请提供一种基于多语言建模的低资源对话生成方法及系统，涉及自然语言处理技术领域，对于不同语言的对话问询进行编码，通过降噪自编码器与反向翻译模块将不同语言的嵌入表示约束在同一空间，并利用单一语言对话映射与跨语言对话映射方法来学习并共享不同语言对话的共性特征；训练算法包括一个基于多目标优化算法的多任务学习框架及其相应的梯度更新方式：通过对偶问题平衡多语言表示对齐任务与多语言对话映射任务，获得两个任务目标的权重系数，并对于回传的梯度进行加权，使得模型能够收敛到更好的结果；输入包括不同语言的对话问询；输出包括对话系统生成的各个问询所对应的回复。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于多语言建模的低资源对话生成方 法及系统。

背景技术

人机对话系统一直以来是人工智能与自然语言处理领域的长期目标。从最早的图灵测试， 到如今业界例如Apple Siri,Microsoft XiaoIce和Alime助手等对话产品的应用，对话系统在 学术界和工业界有着非常广泛的研究与应用价值。从方法上来说，对话系统可分为两大类： 生成式对话模型，即系统根据用户输入的对话问询，通过条件语言模型生成对应的回复；检 索式对话模型，即系统通过匹配当前对话上下文与预先构建好的回复集合，从中检索出最合 适的语句作为当前的回复。

现有的生成式对话系统，大多是基于序列到序列的文本生成技术，首先通过文本编码器 理解用户输入的对话问询，并由此通过解码器生成对应的回复。不过，目前的人机对话系统 方法，往往仅局限于单一语言，即模型的训练语料与测试场景，均由同一种语言的对话问询 与回复对组成。因为深度模型的训练往往需要大规模的训练语料，这种单一语言数据的限制， 往往使得这类方法在缺乏对话语料的低资源语言场景下(例如小语种、低频对话场景等)，难 以取得预期的效果。

因此，突破现有的基于单一语言的对话生成方法，对于低资源语言场景下对话系统的构 建与应用具有重要意义，而对于该问题的研究，在前人的工作鲜被涉及。所以一种有效的低 资源对话生成方法与系统，是目前亟待解决的一个需求。

发明内容

本发明的目的是提供一种基于多语言建模的低资源对话生成方法及系统，通过建模不同 语言之间的关联，实现利用高资源语言的对话语料来辅助构建低资源语言的对话系统，并提 升最终对话回复模型的效果。

为实现上述目的，本发明采用以下技术方案：

一种基于多语言建模的低资源对话生成方法，包括以下步骤：

构建编码器和解码器，该解码器包括表示对齐解码器和对话映射解码器，二者共享所述 编码器，表示对齐解码器包括降噪自编码器和反向翻译模块，对话映射解码器包括单语言对 话映射模块和跨语言对话映射模块；

构建多语言的对话样本训练数据，该对话样本包括自然语言的对话问询-回复语句，输入 到编码器，编码器通过词向量嵌入将输入的对话样本编码为对应的词向量，然后利用自注意 力机制构建词与词之间的语义关联，得到对话样本的向量表示，输入到表示对齐解码器和对 话映射解码器；

表示对齐解码器利用降噪自编码器对输入的单一语言的对话样本的向量表示加入噪声进 行扰动，再重构对话样本，根据输入的对话样本和重建的对话样本计算重构损失；利用反向 翻译软件将输入的一源语言的对话样本的向量表示翻译为目标语言，再由目标语言翻译回源 语言的对话样本，根据输入的源语言和翻译的源语言的对话样本计算翻译损失；

对话映射解码器利用单语言对话映射模块对输入的对话样本的对话问询语句进行处理， 生成相同语言的对话回复语句，根据原对话回复语句和生成的对话回复语句计算单语言映射 损失；对于多种语言的对话样本，通过多任务学习方法进行交替学习训练，共享同一套编解 码参数；将一种语言对话问询语句经对齐解码器翻译成其他语言的对话问询语句，利用跨语 言对话映射模对翻译的对话问询语句进行处理生成跨语言对话回复语句，根据原对话回复语 句和生成的跨语言对话回复语句计算跨语言映射损失；