[发明专利]一种半监督式通用神经机器翻译模型的构建方法

说明书

本发明提供了一种半监督式通用神经机器翻译模型的构建方法，该半监督式通用神经机器翻译模型的构建方法包括如下步骤：步骤(1)，确定若干单语源语料、若干单语目标语料和若干平行双语语料作为训练数据；步骤(2)，构建关于encoder模块与分类器模块的第一网络结构，同时采用该若干单语源语料训练该第一网络结构；步骤(3)，构建关于decoder模块与分类器模块的第二网络结构，同时采用该若干单语目标语料训练该第二网络结构；步骤(4)，根据经过训练的该第一网络结构和该第二网络结构，重新构建新encoder‑decoder框架，同时采用该若干平行双语语料训练该新encoder‑decoder框架，以此构建得到通用神经机器翻译模型。

技术领域

本发明涉及神经网络的技术领域，特别涉及一种半监督式通用神经机器翻译模型的构建方法。

背景技术

目前，神经网络广泛应用于机器翻译领域，而现有的通用神经机器翻译系统都是从端到段的encoder-decoder框架结构，在一般情况下基于监督方式来利用大量平行双语语料进行机器翻译模型的训练，而对于单语语料而言，则是通过数据增强的方式先伪造形成平行双语语料，再将其加入到训练数据中进行训练。在实际操作过程中，通用神经机器翻译系统需要大量平行双语语料进行训练，而平行双语语料则需要涉及大量的人工标注处理，该通用神经机器翻译系统在训练过程中并没有有效利用单语语料，并且单语语料在不需要人工标注处理的情况下就可容易获得，还有，通过数据增强的方式伪造得到的平行双语语料通常存在噪声，其会影响机器翻译的效果。可见，现有技术急需一种能够充分利用单语语料对神经机器翻译模型进行训练的模型构建方法。

发明内容

针对现有技术存在的缺陷，本发明提供一种半监督式通用神经机器翻译模型的构建方法，该半监督式通用神经机器翻译模型的构建方法包括如下步骤：步骤(1)，确定若干单语源语料、若干单语目标语料和若干平行双语语料作为训练数据；步骤(2)，构建关于encoder模块与分类器模块的第一网络结构，同时采用该若干单语源语料训练该第一网络结构；步骤(3)，构建关于decoder模块与分类器模块的第二网络结构，同时采用该若干单语目标语料训练该第二网络结构；步骤(4)，根据经过训练的所述第一网络结构和该第二网络结构，重新构建新encoder-decoder框架，同时采用该若干平行双语语料训练所述新encoder-decoder框架，以此构建得到通用神经机器翻译模型。可见，该半监督式通用神经机器翻译模型的构建方法有别于现有技术的只采用平行双语语料或者伪造的平行双语语料对神经机器翻译模型进行训练，其能够直接采用大量单语语料对神经机器翻译模型进行训练以及采用少量平行双语语料对神经机器翻译模型进行精调，这样能够在避免使用大量平行双语语料作为训练数据时涉及大量繁复的人工标注处理，以及在采用少量平行双语语料的情况下也能够达到与使用大量平行双语语料进行训练相当的水平，从而有效地降低神经机器翻译模型训练的前期工作量和提高神经机器翻译模型的翻译准确性；此外，由于小语种很难获得平行双语语料、反而较为容易地收集到单语语料，因此该构建方法还特别适用于小语种翻译。

本发明提供一种半监督式通用神经机器翻译模型的构建方法，其特征在于，所述半监督式通用神经机器翻译模型的构建方法包括如下步骤：

步骤(1)，确定若干单语源语料、若干单语目标语料和若干平行双语语料作为训练数据；

步骤(2)，构建关于encoder模块与分类器模块的第一网络结构，同时采用所述若干单语源语料训练所述第一网络结构；

步骤(3)，构建关于decoder模块与分类器模块的第二网络结构，同时采用所述若干单语目标语料训练所述第二网络结构；

步骤(4)，根据经过训练的所述第一网络结构和所述第二网络结构，重新构建新encoder-decoder框架，同时采用所述若干平行双语语料训练所述新encoder-decoder框架，以此构建得到通用神经机器翻译模型；