[发明专利]一种面向小型CPU设备的小模型训练方法

权利要求书

1.一种面向小型CPU设备的小模型训练方法，其特征在于包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译的标准基线模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；

2)训练适用于小型CPU设备的小模型作为对比的小模型基线；

3)通过知识精炼方法利用标准基线模型构造双语伪数据；

4)读取小模型基线参数作为改进训练方法后模型的初始化参数，同时使用标准基线模型构造的双语伪数据将标准基线模型中知识迁移到小模型中。

2.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤1)中，构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；基于注意力机制的神经机器翻译模型包括编码端和解码端，由前馈神经网络模块和注意力模块组成；

前馈神经网络模块计算公式为：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中，FFN(x)为前馈神经网络模块，x为输入，max为取最大函数，W₁和W₂为两个线性变换矩阵，b₁和b₂为两个线性变换的偏置矩阵；

使用注意力机制的计算方式为：

MultiHead(Q,K,V)＝concat(head₁,head₂,...,head_h)W°

其中concat为级联操作，MultiHead(Q，K，V)为多头注意力机制，head₁，head₂，...，head_h代表模型中的h个头，其中每个头的注意力计算公式为：

其中SoftMax(·)为归一化函数，Q、K和V分别为参与计算的不同的线性变换矩阵，d_k为K矩阵每个头的维度大小。

3.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤2)中，训练适用于小型CPU设备的小模型作为对比的小模型基线，具体为：

和标准基线模型相比，小模型结构不变，将解码器6层堆叠变为1层。

4.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤3)中，通过知识精炼方法利用标准基线模型构造双语伪数据，具体为：

用标准基线模型翻译训练数据集得到其所构造的双语伪数据，此双语伪数据中包含标准基线模型知识，作为知识精炼的一种手段。

5.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤4)中，读取小模型基线参数作为改进训练方法后模型的初始化参数，具体为：

取出小模型基线参数，并将其作为改进训练方法后模型的初始化参数，此参数包含模型知识，作为一种良好的模型初始化状态以及双语伪数据的一种补充手段。