[发明专利]一种基于多语言建模的低资源对话生成方法及系统

权利要求书

1.一种基于多语言建模的低资源对话生成方法，其特征在于，包括以下步骤：

构建编码器和解码器，该解码器包括表示对齐解码器和对话映射解码器，二者共享所述编码器，表示对齐解码器包括降噪自编码器和反向翻译模块，对话映射解码器包括单语言对话映射模块和跨语言对话映射模块；

构建多语言的对话样本训练数据，该对话样本包括自然语言的对话问询-回复语句，输入到编码器，编码器通过词向量嵌入将输入的对话样本编码为对应的词向量，然后利用自注意力机制构建词与词之间的语义关联，得到对话样本的向量表示，输入到表示对齐解码器和对话映射解码器；

表示对齐解码器利用降噪自编码器对输入的单一语言的对话样本的向量表示加入噪声进行扰动，再重构对话样本，根据输入的对话样本和重建的对话样本计算重构损失；利用反向翻译软件将输入的一源语言的对话样本的向量表示翻译为目标语言，再由目标语言翻译回源语言的对话样本，根据输入的源语言和翻译的源语言的对话样本计算翻译损失；

对话映射解码器利用单语言对话映射模块对输入的对话样本的对话问询语句进行处理，生成相同语言的对话回复语句，根据原对话回复语句和生成的对话回复语句计算单语言映射损失；对于多种语言的对话样本，通过多任务学习方法进行交替学习训练，共享同一套编解码参数；将一种语言对话问询语句经对齐解码器翻译成其他语言的对话问询语句，利用跨语言对话映射模对翻译的对话问询语句进行处理生成跨语言对话回复语句，根据原对话回复语句和生成的跨语言对话回复语句计算跨语言映射损失；

将重构损失与翻译损失相加得到表示对齐损失，通过单语言映射损失与跨语言映射损失相加得到对话映射损失；对解码器进行训练，通过优化表示对齐解码器和对话映射解码器的参数，使得表示对齐损失与对话映射损失的整体损失最小，得到训练好的解码器；

将待处理的多语言的对话问询语句输入到编码器，生成对话问询语句的向量表示并输入到训练好的解码器中进行处理，生成指定语言的对话回复语句。

2.如权利要求1所述的方法，其特征在于，编码器为基于自注意力机制的Transformer模型。

3.如权利要求1所述的方法，其特征在于，在对解码器进行训练时，通过计算词粒度的交叉熵损失函数进行梯度更新。

4.如权利要求1所述的方法，其特征在于，跨语言对话映射模块通过输入回复的开始符来指定生成的目标语言。

5.如权利要求1所述的方法，其特征在于，降噪自编码器通过噪声函数进行扰动，噪声函数通过随机交换相邻词或者随机掩码的方法来实现。

6.如权利要求1所述的方法，其特征在于，通过梯度反向传播更新表示对齐解码器，将不同语言的对话样本向量表示对齐到同一向量空间。

7.如权利要求1所述的方法，其特征在于，对解码器进行训练时，通过求解原多目标问题KKT条件的对偶问题，得到对齐表示损失函数和对话映射损失函数的权重系数，用来对回传梯度进行加权，更新解码器参数，实现训练。

8.如权利要求1所述的方法，其特征在于，对解码器进行训练时，采用基于对话样本数目的多项式分布批采样方法，通过超参数来增加低资源语言数据的采样权重，并降低高资源语言数据的采样权重，实现不同种语言数据的平衡。

9.一种基于多语言建模的低资源对话生成系统，其特征在于，包括编码器和解码器，其中解码器包括表示对齐解码器和对话映射解码器，表示对齐解码器与对话映射解码器共享所述编码器；

编码器用于通过词向量嵌入方法将输入的自然语言的对话文本编码为对应的词向量，然后利用自注意力机制构建词与词之间的语义关联，得到对话文本的向量表示；

表示对齐解码器用于处理所述对话文本的向量表示，将向量表示对齐到同一向量空间；该表示对齐解码器包括降噪自编码器和反向翻译模块，其中降噪自编码器用于将输入的单一语言的对话文本的向量表示加入噪声进行扰动，再重构对话样本，通过降低重构损失学习编解码；反向翻译模块用于将输入的一源语言的对话文本的向量表示翻译为目标语言，再由目标语言翻译回源语言的对话样本，根据输入的源语言和翻译的源语言的对话样本计算翻译损失；

对话映射解码器，包括单语言对话映射模块和跨语言对话映射模块，其中单语言对话映射模块用于对输入的对话样本的对话问询语句进行处理，生成相同语言的对话回复语句，根据原对话回复语句和生成的对话回复语句计算单语言映射损失；对于多种语言的对话样本，通过多任务学习方法进行交替学习训练，共享同一套编解码参数；将一种语言对话问询语句经对齐解码器翻译成其他语言的对话问询语句，利用跨语言对话映射模对翻译的对话问询语句进行处理生成跨语言对话回复语句，根据原对话回复语句和生成的跨语言对话回复语句计算跨语言映射损失；

其中，将重构损失与翻译损失相加得到表示对齐损失，通过单语言映射损失与跨语言映射损失相加得到对话映射损失；对解码器进行训练，通过优化表示对齐解码器和对话映射解码器的参数，使得表示对齐损失与对话映射损失的整体损失最小，得到训练好的解码器；将待处理的多语言的对话问询语句输入到编码器，生成对话问询语句的向量表示并输入到训练好的解码器中进行处理，生成指定语言的对话回复语句。