[发明专利]一种翻译方法及装置、翻译模型的训练方法及装置

说明书

本申请提供一种翻译方法及装置、翻译模型的训练方法及装置，其中，所述翻译方法包括：获取待翻译语句；将所述待翻译语句输入翻译模型，得到所述待翻译语句对应的翻译语句；其中，所述翻译模型通过以下方式训练得到：将目标语料中的第一语句和翻译后的第二语句分别作为训练样本和训练特征；将所述训练样本输入至所述翻译模型的编码层，得到至少一个编码向量；将至少一个编码向量输入至所述翻译模型的权重层，得到权重向量；将所述训练特征以及所述权重向量输入至所述翻译模型的解码层，得到解码向量，并根据解码向量得到解码向量的误差；根据所述解码向量的误差调整所述权重层，继续训练所述翻译模型，直至达到训练停止条件。

技术领域

本申请涉及计算机技术领域，特别涉及一种翻译方法及装置、翻译模型的训练方法及装置、计算设备和计算机可读存储介质。

背景技术

随着计算机运算能力的提升，神经网络的应用越来越广泛，例如构建翻译模型，以实现源语言到目标语言的转换。一般地，翻译模型的架构包括：编码层(encoder)—解码层(decoder)。编码层实现对待翻译的源语句进行编码生成向量，解码层实现对源语句的向量进行解码生成对应的目标语句。

传统的翻译模型大多会使用卷积神经网络(Convolutional Neural Networks，CNN)模型或循环神经网络(Recurrent Neural Networks，RNN)模型来作为作为编码层—解码层的模型基础。谷歌的基于注意力机制的翻译模型并没有用任何CNN或者RNN的结构，该模型可以高度并行地工作，所以在提升翻译性能的同时训练速度也特别快。

图1示出了现有的一种谷歌翻译模型的架构。模型分为编码层和解码层两部分。编码层由6个相同的编码堆栈层叠加于一起，每层堆栈层包括两个子层：多头注意力机制子层和前馈网络层。

解码层由6个相同的解码堆栈层叠加于一起，每层堆栈层包括三个子层：隐式多头注意力机制子层、多头注意力机制子层和前馈网络层。

在使用过程中，在编码层侧，源语句对应的原始向量作为第一个编码堆栈层的输入向量，每个编码堆栈层的输出向量作为下一个编码堆栈层的输入向量。最后一个编码堆栈层的输出向量作为解码堆栈层的输入向量，输入至解码层的每个解码堆栈层。

在解码层侧，上一次解码的输出向量作为本次解码的输入向量，输入至第一个解码堆栈层，每个编码堆栈层的输出向量以及最后一个编码堆栈层的输出向量，作为下一个编码堆栈层的输入向量。最后一个解码堆栈层的输出向量经由线性层和分类函数层(softmax)进行转换，得到最终的目标语句。

在谷歌翻译模型中，最后一个编码堆栈层的输出向量作为编码层的最终输出向量，其中，每个编码堆栈层的输出向量都会对最终输出向量产生影响，但每个编码堆栈层的影响权重都是固定的，这会对最终的翻译效果造成不利的影响。

发明内容

有鉴于此，本申请实施例提供了一种翻译方法及装置、翻译模型的训练方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种翻译方法，所述方法包括：

获取待翻译语句；

将所述待翻译语句输入翻译模型，得到所述待翻译语句对应的翻译语句；

其中，所述翻译模型通过以下方式训练得到：

将目标语料中的第一语句和翻译后的第二语句分别作为训练样本和训练特征；

将所述训练样本输入至所述翻译模型的编码层，得到至少一个编码向量；

将至少一个编码向量输入至所述翻译模型的权重层，得到权重向量；

将所述训练特征以及所述权重向量输入至所述翻译模型的解码层，得到解码向量，并根据解码向量得到解码向量的误差；