[发明专利]一种基于张量分解技术的神经语言模型的压缩方法

权利要求书

1.一种基于张量分解技术的神经语言模型的压缩方法，其特征在于：它包括如下步骤：

通过线性表示出原始注意力函数进行张量模型构建；

利用张量模型中Tucker构造单块注意力函数；

利用张量模型中Block-Term和共享因子矩阵构造Multi-linear注意力函数，实现Transformer神经网络模型的参数压缩；

将Multi-linear注意力函数嵌入到Transformer神经网络模型结构中获得压缩后的张量Transformer模型；

将压缩后的张量Transformer模型应用在语言建模任务与机器翻译任务中；

在训练集上训练张量Transformer模型，同时每间隔一定批次在验证集上进行验证张量Transformer模型，记录保存在验证集上效果达到最优时的模型参数；

用上一步中保存的最优的模型去测试测试集上的样本，最终得到每个测试样本的预测结果或翻译模型，对比测试标签，计算出预测和翻译的准确率；其中：

在语言建模任务中，将语言建模数据集中的测试集输入到训练好张量Transformer模型中进行测试，计算每个句子出现的概率；

在翻译任务中，将德英翻译数据集中的测试集输入到训练好的张量Transformer模型中进行测试，计算每个译句与原句的BLEU值；

记录张量Transformer模型在语言建模任务以及德英翻译任务上的实验结果。

2.根据权利要求1所述的一种基于张量分解技术的神经语言模型的压缩方法，其特征在于：所述张量Transformer模型应用在语言建模任务与机器翻译任务中的具体步骤如下：

获取语言模型数据集和德英翻译数据集。

处理数据集并进行数据清洗，对以文本数据，一个句子中每个词的位置是有关系，结合句子中词的位置信息构建文本的词向量的表示模型；

将词向量的表示模型输入到张量Transformer模型中进行模型训练获得神经网络模型的训练损失函数为：

其中y_i代表真是类别标签，代表预测结果，n代表句子的长度。通过反向传播算法、批量随机梯度下降法训练模型。