[发明专利]一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法

说明书

本发明公开了一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，包括如下步骤：S1、在生成快照前对原神经网络输入矩阵进行奇异值分解；S2、根据奇异值分布选择截断维数q，截断奇异值与奇异向量矩阵TSVD；S3、利用截断的矩阵构建新输入权重矩阵并重建用于采样的神经网络；S4、用于采样的神经网络前向传播并进行状态采样生成鲁棒快照；S5、对鲁棒快照进行POD得到鲁棒的压缩投影算子。相比于直接从原网络生成采样的方法，在采样过程中在原网络的输入矩阵上采用TSVD构建新神经网络并生成替代的采样，可加速快照的生成速度，减少由于长序列输入带来的输入到隐藏层信息的冗余，生成鲁棒的快照。

技术领域

本发明属于神经网络压缩技术领域，具体涉及一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法。

背景技术

前向传播速度和权重参数数量对于循环神经网络在资源有限设备(如边缘设备和嵌入式设备)上的部署至关重要，因此模型压缩一直是一个重要课题，而基于POD的低秩投影方法是解决该问题的一种常用方法。

POD是一种在希尔伯特子空间中构造低维近似的方法，且已被证明与在有限维空间上进行SVD在本质上是相同的，在POD方法中为了获得低维近似投影算子，需要提供由输入驱动的隐藏状态采样集，即快照，基于快照进行TSVD所得到的低维近似投影算子的泛化能力与所提供的快照关系密切。而在长序列输入问题中，模型的中间状态更加复杂，输入到隐藏层矩阵更加臃肿，存在大量冗余，往往需要更大量的采样来获得更准确的结果，但大型的快照矩阵在进行SVD时的开销过大，且生成的低维近似投影算子往往不够准确，泛化能力较弱。

发明内容

本发明的目的在于提供一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，以解决上述背景技术中提出现有技术中的问题，以便增加快照矩阵的可泛化性。

为实现上述目的，本发明采用了如下技术方案：

一种针对长序列问题在循环神经网络压缩中获得鲁棒快照的方法，包括如下步骤：

S1、在生成快照前对原神经网络输入矩阵进行奇异值分解；

S2、根据奇异值分布选择截断维数q，截断奇异值与奇异向量矩阵TSVD；

S3、利用截断的矩阵构建新输入权重矩阵并重建用于采样的神经网络；

S4、用于采样的神经网络前向传播并进行状态采样生成鲁棒快照；

S5、对鲁棒快照进行POD得到鲁棒的压缩投影算子。

进一步的，步骤S1中原神经网络结构为h_t＝f(Uh_t-1+Wx_t)，其中h_t与h_t-1为当前时刻得到的状态与上一时刻的状态，x_t为当前时刻的输入向量，其长度为n_in，U为状态到隐藏层矩阵，W为输入到隐藏层矩阵，f()为该网络采用的非线性激活函数，常用的有tanh与sigmoid函数，通过将输入到隐藏层矩阵W以所述替换后，得到用于采样的神经网络

进一步的，步骤S4中对鲁棒快照进行TSVD从而获得压缩投影算子进行神经网络压缩时，应用于原神经网络而不是用于采样的神经网络。

进一步的，所述TSVD流程在采样得到快照前应用在待采样神经网络的输入到隐藏层矩阵上，其中n为原神经网络的隐藏层维度，n_in为输入序列长度。

进一步的，经过TSVD后分解并截断为两个秩为q的低秩矩阵，并合并回被视为已经去除输入层冗余的用于生成快照的输入到隐藏层矩阵

进一步的，本发明方法构建的用于采样的神经网络仅用于状态采样并生成鲁棒快照的流程。

与现有技术相比，本发明具有以下优点：