[发明专利]一种基于对抗神经网络的蒙汉机器翻译方法

说明书

一种基于对抗神经网络的蒙汉翻译方法，在原机器翻译的生成网络G的基础上，引入一个与生成网络G对抗的判别网络D；所述判别网络D主要对生成网络G的输出实现二值分类，判断目标语言的译文，如果是来源于训练的平行语料库，则返回值为1，若来源于生成网络G机器翻译的结果，则返回值为0。当真实数据的概率分布不可(难以)计算的时候(比如源语言平行语料数据较少)，通过生成器和判别器对抗的训练机制，能够使生成器去逼近难以计算的概率分布。

技术领域

本发明属于计算机技术领域，特别涉及一种基于对抗神经网络的蒙汉机器翻译方法。

背景技术

机器翻译(Machine Translation，简称MT)，是自然语言处理领域中的一个最早的研究分支，它是利用计算机(机器)把一种自然语言转变成具有完全相同含义的另一种自然语言的过程。机器翻译是人工智能的一个研究方向，具有十分重要的科研价值和实用价值。伴随着全球化进程的不断深化和互联网的迅速发展，机器翻译技术在国内外政治、经济、社会、文化交流等方面发挥着越来越重要的作用。

目前，基于神经网络的机器翻译方法是机器翻译领域得到译文效果最佳的方法。它主要采用“编码-解码”结构，由编码器和解码器两个部分组成，二者均采用循环神经网络(Recurrent Neural Network,RNN)和长短时记忆(Long Short-Term Memory,LSTM)网络结构。翻译的流程包括：首先，编码器将输入的源语言句子转换成为一个词向量序列作为循环神经网络的输入，编码器会输出一个固定长度的密集向量，称为上下文向量。然后，解码器以上下文向量作为输入，利用另外一个循环神经网络结合一个Softmax分类器，输出目标语言的词向量序列。最后，利用词典把词向量逐个映射成为目标语言词，完成整个翻译过程。

然而，采用现有的RNN与LSTM神经网络模型需要大量的人工标注的双语平行语料库。但是存在的现实问题是，人工标注平行语料的工作量大、成本高，并且缺乏高质量的人工标注平行语料库。而这些不足将会在很大程度上影响最后的译文质量。这是现有神经网络机器翻译模型面临的瓶颈问题。而特别对于一些小语种(如蒙古语)来说，这些问题更加突出，可用于训练神经网络模型的平行语料库数据更少，这样就难以训练和构建出高质量、高性能的机器翻译系统。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于对抗神经网络的蒙汉机器翻译方法。

为了实现上述目的，本发明采用的技术方案是：

一种基于对抗神经网络的蒙汉翻译方法，在原机器翻译的生成网络G的基础上，引入一个与生成网络G对抗的判别网络D；所述判别网络D主要对生成网络G的输出实现二值分类，判断目标语言的译文，如果是来源于训练的平行语料库，则返回值为1，若来源于生成网络G机器翻译的结果，则返回值为0。

所述判别网络D采用多层感知器前馈神经网络模型，所述二值分类的方法为：

采用修正线性单元(RELU)的形式：

其中，x为生成网络G向判别网络D的输入信号；α为可调常数，且α应很小，如可以设为α＝0.001；

多层感知器前馈神经网络通过以下公式进行信息传播：

a^(l)＝f_l(W^(l)·a^(l-1)+b^(l))

其中，a^(l)表示l层神经元的输出，f_l表示l层神经元的激活函数，W^(l)表示l-1层到l层的权重矩阵，b^(l)表示l-1层到l层的偏置，其中激活函数采用sigmoid激活函数：