[发明专利]一种基于低秩重构的神经网络训练方法

权利要求书

1.一种基于低秩重构的神经网络训练方法，其特征在于，包括以下步骤：

S1、用随机梯度下降法或其变形对神经网络进行训练；

S2、对训练后的神经网络每一层的权重矩阵进行低秩分解，将每一层分解的两个小矩阵转化为级联的两层结构，得到新的神经网络结构；

S3、对新的神经网络结构进行训练；

S4、根据新结构训练后的权重矩阵重构原神经网络结构的权重矩阵作为初始化，对原神经网络结构进行重训练。

2.根据权利要求1所述的神经网络训练方法，其特征在于，步骤S2的分解包括奇异值分解，具体包括以下步骤：

(1)设权重矩阵W的行数为m,列数为n，计算权重矩阵W的奇异值分解，得到W＝U∑V^T，其中U是m×m阶酉矩阵，∑是m×n阶非负实数对角矩阵，其对角元素为W的奇异值，V是n×n阶酉矩阵，V^T表示V的转置；

(2)对奇异值进行截断；

(3)分解后的两个矩阵分别为其中U_1:r和V_1:r分别表示矩阵U和矩阵V的前r列，∑_1:r表示奇异值矩阵∑的前r个对角元素所构成的方阵。

3.根据权利要求2所述的神经网络训练方法，其特征在于，对奇异值进行截断，有以下两种方式：

方式一、按能量比例进行截断；假设σ_i为∑的第i个对角元素，∑的所有对角元素之和为s，∑的前r个对角元素之和为s_r，能量的比例值为α，则选取第一个满足的r作为低秩矩阵的秩，即保留前r个奇异值，剩下的奇异值置0；

方式一、按权重矩阵大小比例进行截断；设权重矩阵W的行数为m,列数为n，截断的比例为β，则保留前r＝round(βmin(m,n))个奇异值，剩下的奇异值置0，其中，min()表示取两个数的最小值，round()表示四舍五入取整。

4.根据权利要求1所述的神经网络训练方法，其特征在于，步骤S2，是根据分解后的结果构造新的神经网络结构，原来的全连接层变为两层较小的全连接层的级联，原来的卷积层变为卷积核大小相同、卷积核数目变小的卷积层和1×1卷积的级联。

5.根据权利要求1所述的神经网络训练方法，其特征在于，步骤S3是以分解后的矩阵作为新神经网络结构的初始化，用随机梯度下降法或其变形进行训练。

6.根据权利要求1所述的神经网络训练方法，其特征在于，步骤S4是利用新神经网络结构训练得到的权重矩阵去重构对应的原神经网络结构中的权重矩阵，作为原神经网络结构的初始化，再次用随机梯度下降法或其变形进行训练。