[发明专利]一种神经机器翻译鲁棒性增强方法、设备及存储介质

说明书

本发明公开了一种神经机器翻译鲁棒性增强方法，构建基于子词的神经机器翻译模型，在神经机器翻译模型中设有用于检测噪声子词位置的错误位置探测模块；在对神经机器翻译模型训练时，由干净的批训练样本生成带噪声的批训练样本；将干净的批训练样本与带噪声的批训练样本交互对神经机器翻译模型进行训练，并计算损失函数；损失函数包括两部分，一部分是错误位置检测损失函数，一部分是机器翻译损失函数；采用启发式的算法，将带噪声的词修复成干净的词。本发明将干净的批训练样本与带噪声的批训练样本交互对神经网络机器翻译模型进行训练，在计算损失的时候，进行了交互，有助于提升模型的泛化能力。

技术领域

本发明涉及神经机器翻译领域，特别涉及一种神经机器翻译鲁棒性增强方法。

背景技术

目前，近年来，神经机器翻译(Neural Machine Translation，缩写NMT)取得了巨大成功，并被广泛应用于人们的日常生活当中。例如出国旅游、拍照翻译、语音翻译、同声传译等。

虽然神经机器翻译的翻译质量有了巨大提升，但是它也存在着很严重的问题。其中之一，就是鲁棒性问题。具体表现是，对于输入的微小变化，神经网络模型的输出会发生巨大的变化。这对于用户体验非常糟糕。因为理论上来说，输入的微小变化，基本上没有改变文本原来的意思，所以翻译结果应该是几乎不变的。

当前神经机器翻译鲁棒性问题，没有彻底的解决方案，只能缓解。通常用的方法有：

(1)对抗训练(Adversarial Training)：决定神经网络模型鲁棒性的因素主要有模型结构、训练数据、正则化方法等。因为在训练神经网络机器翻译的时候，一般输入的是“干净”数据，即无扰动数据，那么模型学习到的知识也是“干净”的，它只能应对正确的输入，并得到正确的翻译。无论模型的能力是强还是弱，当输入是不“干净”数据，即带有扰动的数据时，模型很可能会得到错误的结果，与正确输入句子的翻译结果相比，翻译效果下降，同时翻译结果变动比较大。所以从模型的角度来改善模型的鲁棒性是很困难的。从训练样本的角度出发，在训练的过程中，就加入扰动样本，让模型能够适应这种扰动，从而在遇到被干扰过的输入时，能够得到正确的翻译结果。这个方法就是对抗训练。在对抗训练中，如何产生扰动样本是一个比较难的任务。扰动样本也称对抗样本(AdversarialExamples)，它的定义是，对输入句子进行扰动，但是要维持与原句的语义一致，同时要使得翻译结果出现重大变化或者错误的样本。

(2)生成对抗网络(Generative Adversarial Networks,缩写GANs)，基于GANs，将原始的样本输入映射到一个潜在分布空间中，并在其中搜索出服从相同分布的文本嵌入表示，该表示在语义上，与原先的样本非常接近，从而生成对抗样本，进行对抗训练。这种方法引入的模型参数比较多。

(3)NMT+GEC联合训练。GEC(Grammatical Error Correction)是语法纠错的统称。该方法，在训练过程中，对训练样本增加随机扰动(不一定是对抗样本)，在解码器端，增加一个解码网络，用于产生被扰动位置的正确词。训练过程中，同时训练了NMT，也训练了GEC，其中GEC的目的是，将被扰动样本的表示，能够尽可能的接近原始干净样本的表示。虽然该方法取得了一定的效果，但也存在如下问题：第一，目前的GEC模型，最佳效果也就80％左右，而且一般是基于预训练模型BERT及其变种。而在NMT+GEC训练中，训练没有基于预训练模型，所以它的纠错效果，很难保证取得好的效果，进而影响鲁棒性的效果。第二，在NMT+GEC联合训练框架中，需要新增加一个解码网络，增加了大量模型参数。模型规模进一步增大。第三，噪声数据和干净数据，在训练过程中同等对待，彼此之间没有交互。

发明内容

本发明为解决公知技术中存在的技术问题而提供一种神经机器翻译鲁棒性增强方法。