[发明专利]面向小型CPU设备的神经机器翻译系统解码加速方法

说明书

本发明公开一种面向小型CPU设备的神经机器翻译系统解码加速方法，步骤为：构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的基线模型，用于和改进后模型进行对比；将注意力神经机器翻译模型中多头注意力模块中多头变为单头，进一步训练得到训练收敛后的模型作为对比的单头模型；将注意力神经机器翻译模型中多头注意力模块中多头变为单头后，其余部分的头由此单头和一个轻量级线性变换计算获得，减少注意力模块中的计算量，达到解码加速的目的。本发明能够在多个机器翻译任务数据集上显著加速模型CPU解码速度，并保证模型的性能没有明显下降。

技术领域

本发明涉及一种神经机器翻译模型解码加速技术，具体为面向小型CPU设备的神经机器翻译系统解码加速方法。

背景技术

小型智能移动设备成为人们不可缺少的知识获取来源，CPU为小型智能移动设备中主要用来计算的元件。由于人们对各种类型应用的需求，各类APP软件频繁被小型智能移动设备用户下载并存储，导致小型智能移动设备出现卡顿的问题。单纯增大小型智能移动设备容量会导致硬件成本过高，增加用户经济负担，因此如何加速面向CPU设备的神经机器翻译解码过程是一个非常重要的问题。

机器翻译在现阶段有着广泛的应用需求，智能翻译软件也被广泛应用于移动设备中。端到端的神经机器翻译通过神经网络模型直接实现从源语言到目标语言的翻译，所采用的主要框架是编码器-解码器(Encoder-Decoder)框架。编码器-解码器框架将翻译任务看作序列到序列的转换，即将翻译过程看作从源语言序列转换成目标语言序列的过程。该过程主要包括两个步骤：(1)源语言端，编码器将源语言序列编码成源语言上下文向量；(2)目标语言端，解码器根据编码器提供的源语言上下文向量生成目标语言序列。

谷歌在2017年提出了完全基于注意力机制的模型结构，这种网络结构完全由注意力机制组成，更准确地讲，它仅由注意力机制和前馈神经网络组成。基于注意力机制的模型仍是基于编码器-解码器框架，通过堆叠多个相同的栈，分别组成了编码器和解码器，编码器和解码器的子层结构略有不同，在机器翻译任务的多个数据集上翻译性能得到显著提高，并达到了当时的最好性能，而且具备更快的训练速度。在生成一个目标语单词时，基于注意力机制的神经网络会基于得到的不同的注意力对不同源语位置向量进行加权求和，得到不同的上下文向量。注意力机制的引入使得不同源语言位置对目标语单词生成的贡献度不同，神经网络中信息流的传递变得更为高效，有助于神经网络模型的学习。

虽然当前这种模型已经取得了不错的性能，但仍存在着一个问题：当前的神经网络模型规模过于庞大，虽然模型性能不断增强，但在存储和计算资源受限的小型智能移动设备(如：手机、平板电脑等移动设备)部署此类模型却面临着巨大的挑战。由于此类设备的资源受限又要求实时的响应速度，因此需要提升翻译模型在小设备上的解码速度，满足用户的翻译需求。

发明内容

针对现有技术中机器翻译的计算过于复杂而不能部署在存储资源和计算资源受限的小设备上的问题，本发明要解决的技术问题是提供一种面向小型CPU设备的神经机器翻译系统解码加速方法，将机器翻译模型中注意力模块中多头机制进行化简，使其由单头结构以及轻量级线性变换组成，减少注意力模块中的计算量，到达解码加速的目的。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种面向小型CPU设备的神经机器翻译系统解码加速方法，包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的基线模型，用于和改进后模型进行对比；

2)将注意力神经机器翻译模型中多头注意力模块中多头变为单头，进一步训练得到训练收敛后的模型作为对比的单头模型；