[发明专利]一种数据增强方法、系统、装置及计算机可读存储介质

说明书

本申请公开了一种数据增强方法，应用于神经机器翻译，包括：对双语训练语料进行词对齐处理，得到词对齐信息；根据词对齐信息确定双语训练语料中包含的最小翻译单元；按预设的向量表征计算规则对所有最小翻译单元进行计算，得到对应的向量值；利用余弦公式计算各最小翻译单元间的相似度值；判断相似度值是否超过阈值，若是，则交换超过阈值的相似度值对应的最小翻译单元在双语训练语料中的位置，得到新双语训练语料。通过此种方式可以形成新的双语语料，有效增加训练语料，且使原语料的结构信息得到丰富，实现提升神经机器翻译对低资源语种翻译质量的提高。本申请还同时公开了一种数据增强系统、装置及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及神经机器翻译技术领域，特别涉及一种数据增强方法、系统、装置及计算机可读存储介质。

背景技术

神经机器翻译是Sutskever等人在2014年提出的一种基于编码器-解码器模型的机器翻译方法。和传统基于短语的统计机器翻译不同，神经机器翻译没有特征工程、隐藏结构设计等方面的困扰，而是简单地通过训练一个单一、大型的神经网络对输入句子产生合适的翻译。该方法刚被提出来的时候，效果还不如更加传统的统计机器翻译。2015年，Bahdanau等人在此工作的基础上通过引入注意力机制使得神经机器翻译在多种语言对上的评测结果超过统计机器翻译，神经机器翻译因此得到了广泛地关注。

神经机器翻译本质上是训练一个大型的神经网络，该网络由上万个神经元构成。为了能够充分地学习到网络的权重值，神经机器翻译需要大量的平行句对作为训练数据，往往平行句对越多，训练效果越好。然而，对于低资源语种来说，获得充足的训练语料是十分困难的。现有的技术很少能够有效地解决这个难题，从而在低资源语言的翻译上面，翻译的质量很难有所提升。

所以，如何能够有效的提升低资源语种语料的神经机器翻译质量，是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据增强方法，应用于神经机器翻译，通过计算双语语料中各最小翻译单元或各组成单词之间是否可以在不影响语义的前提下调换部分句块，以此来形成新的双语语料，最少可以使训练语料增加一倍，且使得原双语语料的句子结构信息得到丰富，实现提升神经机器翻译对低资源语种翻译质量的提高。

本申请的另一目的为提供一种数据增强系统、装置及计算机可读存储介质，应用于神经机器翻译。

为实现上述目的，本申请提供一种数据增强方法，应用于神经机器翻译，该方法包括：

对双语训练语料进行词对齐处理，得到词对齐信息；

根据所述词对齐信息确定所述双语训练语料中包含的所有最小翻译单元；

按预设的向量表征计算规则对所有所述最小翻译单元进行计算，得到各所述最小翻译单元对应的向量值；

利用余弦公式计算各所述最小翻译单元间的相似度值；

判断所述相似度值是否超过阈值，若是，则交换超过所述阈值的相似度值对应的最小翻译单元在所述双语训练语料中的位置，得到新双语训练语料。

可选的，对双语训练语料进行词对齐处理，得到词对齐信息，包括：

利用GIZA++工具提供的词对齐规则对所述双语训练语料进行处理，得到所述词对齐信息。

可选的，根据所述词对齐信息确定所述双语训练语料中包含的所有最小翻译单元，包括：

将所述双语训练语料中的源语言描述语句和目的语言描述语句以单词为单位拆分，得到源语言描述单词集合和目的语言描述单元集合；

根据所述词对齐信息确定与源语言描述单词对应的目的语言描述单元；

将源语言描述单元与对应的目的语言描述单元确定为最小翻译单元。