[发明专利]一种神经机器翻译鲁棒性增强方法、设备及存储介质

权利要求书

1.一种神经机器翻译鲁棒性增强方法，其特征在于，构建基于子词的神经机器翻译模型，在神经机器翻译模型中设有用于检测噪声子词位置的错误位置探测模块；在对神经机器翻译模型训练时，由干净的批训练样本生成带噪声的批训练样本；将干净的批训练样本与带噪声的批训练样本交互对神经机器翻译模型进行训练，并计算损失函数；损失函数包括两部分，一部分是错误位置检测损失函数，一部分是机器翻译损失函数；采用启发式的算法，将带噪声的词修复成干净的词；子词实现方式采用的是sentencepiece算法；错误位置探测模块基于二分类神经网络模型构建；

错误位置检测损失函数为：

式中：

y_i表示样本i的标签，正确位置为0，错误位置为1；

p_i表示样本i预测为错误位置的概率；

L_{error-position-detect}表示错误位置检测损失；

N表示样本数量；

将干净的批训练样本与带噪声的批训练样本交互对神经网络机器翻译模型进行训练，机器翻译损失函数为：

L_nmt＝L_clean-batch+λ*L_noisy-batch；

式中：

L_nmt表示机器翻译损失；

L_clean-batch表示干净的批训练样本的机器翻译损失；

L_noisy-batch表示带噪声的批训练样本的机器翻译损失；

λ表示L_noisy-batch在整体损失中的权重占比；取值范围为0～1之间；

神经机器翻译模型的损失函数为：

L_DetTransNet＝L_{error-position-detect}+L_nmt；

式中：

L_DetTransNet表示神经机器翻译模型的损失；

对于带噪声的批训练样本，训练时设置如下约束：

约束一：当P(y|x_clean；θ_mt)P(y|x_noisy；θ_mt)时，需要继续优化，让噪声向着干净数据的概率靠近；

约束二:当P(y|x_clean；θ_mt)P(y|x_noisy；θ_mt)时，不需要继续优化；

则带噪声的批训练样本的机器翻译损失函数为：

D_gap＝logP(y|x_clean；θ_mt)-logP(y|x_noisy；θ_mt)；

式中：

D_gap表示当前干净样本和噪声样本在当前模型参数θ_mt的损失差值；

x_clean表示干净样本；

x_noisy表示噪声样本；

y表示标准参考译文；

θ_mt表示机器翻译模型参数；

N表示样本数量；

P(y|x_clean；θ_mt)表示干净样本翻译成标准参考译文的概率；

P(y|x_noisy；θ_mt)表示噪声样本翻译成标准参考译文的概率。

2.根据权利要求1所述的神经机器翻译鲁棒性增强方法，其特征在于，由干净的批训练样本生成带噪声的批训练样本的方法包括将干净的批训练样本中的词进行如下一种或几种方法的处理：随机插入一个字符到词中；随机删除词中的一个字符；随机替换词中的一个字符；随机交换词中的相邻或者不相邻的字符。

3.根据权利要求2所述的神经机器翻译鲁棒性增强方法，其特征在于，随机替换词中的一个字符的方法为：根据键盘的字母位置，将某个字符替换成键盘上附近的字符。