[发明专利]面向小型CPU设备的神经机器翻译系统解码加速方法

权利要求书

1.一种面向小型CPU设备的神经机器翻译系统解码加速方法，其特征在于包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的基线模型，用于和改进后模型进行对比；

2)将注意力神经机器翻译模型中多头注意力模块中多头变为单头，进一步训练得到训练收敛后的模型作为对比的单头模型；

3)将注意力神经机器翻译模型中多头注意力模块中多头变为单头后，其余部分的头由此单头和一个轻量级线性变换计算获得，减少注意力模块中的计算量，达到解码加速的目的。

2.按权利要求1所述的面向小型CPU设备的神经机器翻译系统解码加速方法，其特征在于：步骤1)中，训练基于注意力机制的神经机器翻译模型，得到符合要求的基线模型；基于注意力机制的神经机器翻译模型包括编码端和解码端，由前馈神经网络模块和注意力模块组成；

前馈神经网络模块计算公式为：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中，FFN(x)为前馈神经网络模块，x为输入，max为取最大函数，W₁和W₂为两个线性变换矩阵，b₁和b₂为两个线性变换的偏置矩阵；

使用注意力机制的计算方式为：

MultiHead(Q，K，V)＝concat(head₁，head₂，...，head_h)W°

其中concat为级联操作，MultiHead(Q，K，V)为多头注意力机制，head₁，head₂，...，head_n代表模型中的h个头，其中每个头的注意力机制计算公式为：

其中SoftMax(·)为归一化函数，Q、K和V分别为参与计算的不同的线性变换矩阵，d_k为K矩阵每个头的维度大小。

3.按权利要求1所述的面向小型CPU设备的神经机器翻译系统解码加速方法，其特征在于：步骤2)中，将注意力神经机器翻译模型中多头注意力模块中多头变为单头，进一步训练得到训练收敛后的模型作为对比的单头模型，具体为：

使用多头注意力机制的计算方式为：

MultiHead(Q，K，V)＝concat(head₁，head₂，...，head_h)W°

变为单头后的注意力机制的计算方式为：

SingleHead(Q，K，V)＝head₁W°′

注意，W°为多头注意力模块中线性变换矩阵，W°′为变为单头后的注意力模块的线性变换矩阵，这里的W°′相关维度需要在W°基础上整除h，h为多头注意力模块中头的数量。

4.按权利要求1所述的面向小型CPU设备的神经机器翻译系统解码加速方法，其特征在于：步骤3)中，将注意力神经机器翻译模型中多头注意力模块中多头变为单头后，其余部分的头由此单头和一个轻量级线性变换计算获得，具体为：

使用多头注意力机制的计算方式为：

MultiHead(Q，K，V)＝concat(head₁，head₂，...，head_h)W°

变为单头加线性变换后的注意力机制的计算方式为：

ConvertHead(Q，K，V)＝concat(head₁，W₁head₁，...，W_h-1head₁)W°

其中concat为级联操作，head₁为注意力模块中的第一个头，W₁...W_h-1为变换注意力模块中的h-1个线性变换矩阵。