[发明专利]一种基于低秩重构的神经网络训练方法

说明书

本发明公开了一种基于低秩重构的神经网络训练方法，其特征在于，包括以下步骤：S1、用随机梯度下降法或其变形对神经网络进行训练；S2、对训练后的神经网络每一层的权重矩阵进行低秩分解，将每一层分解的两个小矩阵转化为级联的两层结构，得到新的神经网络结构；S3、对新的神经网络结构进行训练；S4、根据新结构训练后的权重矩阵重构原神经网络结构的权重矩阵作为初始化，对原神经网络结构进行重训练。本发明利用低秩矩阵分解在原解空间的低维流形上进行搜索，再重构进行重训练，可以减少陷入原解空间局部最优的可能，提升神经网络训练后的性能。

技术领域

本发明属于人工智能领域，涉及机器学习和深度学习，旨在对神经网络进行训练，提升网络性能，具体涉及一种基于低秩重构的神经网络训练方法。

背景技术

近年来，神经网络快速发展，在图像识别、语音识别、自然语言处理等诸多应用中求得突破性的进展。神经网络的强大表达能力和深度分层结构带来过拟合、鞍点扩散等问题，导致训练困难。权重衰减、dropout、参数初始化、批标准化等许多训练技巧被提出，在一定程度上缓解了这些问题，但过拟合、鞍点扩散等问题仍然存在。

由于神经网络往往存在过参数化、网络神经元的功能具有较大重复性的问题，冗余的参数带来不必要的计算和空间浪费。神经网络的压缩也成为一个重要的研究方向。剪枝和低秩分解是两类代表性的神经网络压缩方法。基于剪枝的神经网络压缩本质上是将网络中的冗余参数移除，从而减少网络的参数量和不必要的计算，使得网络的神经元变得稀疏。低秩分解的思想是用一个秩比较低的矩阵去近似原来的矩阵，从而可以将矩阵分解成多个形式更简单、尺寸更小的矩阵，减少存储空间和运算量。

密集-稀疏-密集(Han S,Pool J,Narang S,et al.DSD:Dense-Sparse-DenseTraining for Deep Neural Networks[A].In:Proc.Int.Conf.Learn.Represent.,Toulon,France[C],2017.1-13.)是近来提出的一种将剪枝的思想用于神经网络训练的方法，在利用剪枝进行模型压缩后又放松稀疏的约束对网络进行重训，提升网络训练后的性能。密集-稀疏-密集通过添加约束和放松约束的求解方式，提供了一种逃离鞍点的训练方法。但是，稀疏约束描述的是权重矩阵的局部信息，欠缺考虑全局整体情况。考虑到低秩是描述矩阵全局信息的一种重要性质，本发明提出利用低秩分解和重构的网络训练方法，从融入低维流形约束的角度学习网络权重的整体结构信息，逃离鞍点，提升网络的性能。

发明内容

本发明提出一种基于低秩重构的神经网络训练方法。该方法能在低维流形附近搜索神经网络的解，提升神经网络训练后的性能。

本发明至少通过如下技术方案之一实现。

一种基于低秩重构的神经网络训练方法，包括以下步骤：

S1、用随机梯度下降法或其变形对神经网络进行训练；

S2、对训练后的神经网络每一层的权重矩阵进行低秩分解，将每一层分解的两个小矩阵转化为级联的两层结构，得到新的神经网络结构；

S3、对新的神经网络结构进行训练；

S4、根据新结构训练后的权重矩阵重构原神经网络结构的权重矩阵作为初始化，对原神经网络结构进行重训练。

进一步地，步骤S2的分解包括奇异值分解，具体包括以下步骤：

(1)设权重矩阵W的行数为m，列数为n，计算权重矩阵W的奇异值分解，得到W＝U∑V^T，其中U是m×m阶酉矩阵，∑是m×n阶非负实数对角矩阵，其对角元素为W的奇异值，V是n×n阶酉矩阵，V^T表示V的转置；

(2)对奇异值进行截断；