[发明专利]基于块张量分解的循环神经网络稀疏连接方法

说明书

本发明公开一种基于块张量分解的循环神经网络稀疏连接方法，应用于深度学习神经网络结构优化领域，解决现有的方法未能同时基于输入数据的高维事实和全连接本身的冗余特性进行分析和优化，从而不能同时达到加快训练速度和维持或提高模型精度的问题；本发明的方法考虑到深度网络中全连接层的稀疏性，引入了张量分解思想，提升了网络参数共享程度，并利用BPTT进行模型训练，适应于目前深度网络绝大部分的应用场景；相比于已有的全连接方式，本发明方法在训练速度，收敛精度上有较大的提升。

技术领域

本发明属于深度学习神经网络结构优化领域，特别涉及一种基于块张量分解的循环神经网络稀疏连接方法的设计技术。

背景技术

循环神经网络(RNN)已被广泛应用于时间序列信息处理领域，具体应用如语音识别，文本翻译，视频分类等。在传统的神经网络模型中，数据是从输入层到隐含层再到输出层流动，层与层之间全连接，每层之间的节点无连接。但是这种神经网络无法捕捉时间序列信息。在RNN网络中，会对时间序列中的前序信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

然而现实世界中输入数据通常是高维数据，如视频分类中每一个输入数据是一帧3维的彩色图片。传统的RNN将输入数据展开为一个向量，彻底丢弃了数据本身可能蕴藏的高维信息。此外，基于向量输入RNN网络假设了输入向量中每个元素是线性独立的，因此需要一个全连接层用于将输入向量映射到隐层向量空间，极大增加了网络训练的难度。在某些网络结构中，该全连接层的参数量可能占据了整体参数量的90％以上。

目前已有一些方法对该全连接层进行裁剪和优化。一类方法是通过数值分析的方式，如聚类分析，从已训练的参数本身入手，对参数进行分析，裁剪相似的参数。但是该方法由于未改变全连接权重矩阵的维度，因此未能减少训练和预测的时间和难度。一类方法通过分析BPTT(循环神经网络(RNN)反向传播算法)算法的训练过程对网络结构进行裁剪，如GRU(Gated Recurrent Unit，是RNN的一个变种，译为：门控循环单元)基于误差反向传播时仅改变误差项的权重，将广泛使用的LSTM(Long Short-Term Memory，是RNN的一个变种，译为：长短期记忆网络)网络结构从4个控制门降低到3个。另一类方法是基于低秩性质的观察，如用奇异值分解(SVD)对全连接权重矩阵进行低秩分解。然而基于矩阵的低秩方法未能从输入数据中提取足够空间信息，因为往往带来较严重的精度损失。

总体而言，现有的方法都未能同时基于输入数据的高维事实和全连接本身的冗余特性进行分析和优化，因此未能同时达到加快训练速度和维持或提高模型精度的目的。

发明内容

为解决现有的循环神经网络结构忽略了输入数据的高维事实和全连接的冗余特性的问题，本发明提出了一种基于块张量分解的循环神经网络稀疏连接方法，同时基于输入数据的高维事实和全连接本身的冗余特性进行分析和优化，相比现有技术本发明收敛精度上有较大的提升。

本发明采用的技术方案为：基于块张量分解的循环神经网络稀疏连接方法，包括：

S1、对网络的输入向量x张量化，得到第一张量对记忆向量h张量化，得到第二张量对全连接权重矩阵W张量化，得到第三张量

S2、对第三张量进行张量分解，得到张量分解后的第三张量

S3、用表示新的稀疏连接方式，替换原矩阵乘法W·x为新的张量乘法

S4、采用BPTT算法对循环神经网络进行训练。

进一步地，步骤S3所述用表示新的稀疏连接方式后新的稀疏连接边数为：