[发明专利]一种基于张量分解技术的神经语言模型的压缩方法

说明书

本发明公开了一种基于张量分解技术的神经语言模型的压缩方法，该方法从原始注意力函数的线性表示开始，然后证明了注意力函数可以由一组标准正交基向量线性表示，然后在构建多头机制的情况下，通过共享这组基向量从而对参数进行了压缩；同时，本发明通过张量切片的方式建模可以使得神经网络模型有更强的判别能力；本发明为发展低参数，高准确率的神经网络模型提供了新的思路。

技术领域

本发明涉及神经语言模型压缩领域，具体讲，涉及针对Transformer神经网络模型的原始 注意力函数进行压缩。

背景技术

随着人工智能的发展，如今在自然语言处理领域中，神经语言预-训练(Pre-training)模型 已经展示了其有效性对于大多数的任务中。Transformer模型是基于注意力机制，替换了循环 神经网络和卷积神经网络。目前，这个模型已经被广泛的拓展使用，扮演了一个关键的角色 在许多其他的预-训练语言模型，例如，BERT预-训练模型。然而大量的这些预-训练模型由 于参数较多，导致模型很难部署在有限的资源上。因此预-训练语言模型的压缩是一个重要的研究问 题。

目前存在一些模型压缩的方法。在语言模型的训练的过程中，词表的大小会对模型的参 数的数量产生重要的影响，张量化的词嵌入方法可以约减嵌入层(EmbeddingLayer)的参数， 该方法采用的是张量火车(Tensor Train)的张量分解方法来压缩模型的，主要的思想是低秩 分解的思想。该方法可以被使用在任何语言模型的嵌入层。最近，在图像处理的领域，由于 输入的向量表示比较长，导致大量的线性计算的参数，研究者提出使用张量块分解的方法去 压缩循环神经网络。这些压缩方法仅仅是在模型的输入层部分的数据表示的压缩，并没有对 模型结构本身进行压缩，压缩后的模型并不能很容易嵌入到原始的模型结构中进行训练。也 有一些方法提出，可以使用一个高阶张量去代替卷积网络中的所有卷积核。

张量技术作为模型的压缩技术已经出现很多的工作，在一般情况下，他们被单独使用在 模型的输入层，全连接层，这些压缩已经在一定程度上解决了模型参数过多的情况，然而多 种张量压缩方法结合起来共同去压缩模型的内部结构的工作是缺少的。因此，我们提出同时 使用低秩分解和参数共享的思想，张量分解技术主要是结合三阶张量的Tucker分解和三阶张 量的Block-Term分解。通过两种方法的结合，模型在整体效果上约减了近一半的参数。

语言建模是一个最基本的任务，主要用来测试一个模型建模语言的能力，在文本上的语 言建模数据主要有以下三个数据集，小型的语言建模数据集PTB,中型数据集Wiki-Text 103 以及大型语料集One-Billion数据集。为了测试压缩后的语言模型在下游任务中的表现情况， 我们选择德英翻译数据集，并在该数据集上进行了实验。

发明内容

本发明所要解决的技术问题是克服现有的大型预-训练的神经语言模型拥有大量参数，无 法在有限资源上进行实验部署的方法，本方法构建了一个张量Transformer模型，分别在语言 建模和机器翻译任务中进行了实验。运用张量Transformer模型训练语言建模数据集和翻译数 据集，并利用反向传播、随机梯度下降优化方法训练网络模型得到最优模型在测试集上预测 结果，最终得到更加准确的预测和翻译结果。

一种基于张量分解技术的神经语言模型的压缩方法，包括如下步骤：

通过线性表示出原始注意力函数进行张量模型构建；

利用张量模型中Tucker构造单块注意力函数；

利用张量模型中Block-Term和共享因子矩阵构造Multi-linear注意力函数，实现Transformer神经网络模型的参数压缩；

将Multi-linear注意力函数嵌入到Transformer神经网络模型结构中获得压缩后的张量 Transformer模型；