[发明专利]一种宽度学习系统网络模型压缩方法

权利要求书

1.一种宽度学习系统网络模型压缩方法，其特征在于，包括以下步骤：

步骤1：将从开源数据集中获得的数据按照设定的比例分为训练集和测试集，训练集输入数据为X＝[X₁,X₂...X_S]^T∈R^s×f，训练集输出数据为Y＝[Y₁,Y₂...Y_S]^T∈R^s×c，测试集输入数据为X_t＝[X₁,X₂...X_q]^T∈R^q×f，测试集输出数据为Y_t＝[Y₁,Y₂...Y_q]^T∈R^q×c；

其中，s表示训练集数据样本的个数，q表示测试集数据样本的数目，f表示输入数据的维度，c表示输出矢量对应的维度，T表示矩阵的转置，R表示实数域；

步骤2：训练开始，首先求解增广输入矩阵，具体步骤如下：

步骤2.1：利用公式(1)来构造特征节点矩阵Zⁿ＝[Z₁,Z₂...Z_n]

其中，W_ei和β_ei是随机产生的权值和偏置，表示做非线性映射，将结果映射到高维特征空间，n为特征节点的组数，X为步骤1中获得的训练集的输入数据；

步骤2.2：利用公式(2)来构造增强节点矩阵H^m＝[H₁,H₂...H_m]

H_i＝ξ(ZⁿW_hj+β_hj),j＝1,...,m (2)

其中，W_hi和β_hi是随机产生的权值和偏置，ξ(*)是增强节点的激活函数，采用sigmod函数来表示，x＝ZⁿW_hj+β_hj，m为增强节点的组数；

步骤2.3：将特征节点矩阵和增强节点矩阵合并成一个整体，得到增广输入矩阵A＝[Zⁿ|H^m]；

步骤3：构建目标函数，求解输出权值，至此训练过程结束，得到精简的宽度学习系统网络模型，具体步骤如下：

步骤3.1：构建目标函数：

其中，||Y-AW||₁为最小绝对值误差的损失函数项，λ₁||W||₁为L1正则化项，λ₁为L1正则化项惩罚参数，Y为步骤1中获得的训练集的输出数据，A为步骤2中得到的增广输入矩阵，W为要求解的输出权值，为L1-fusion项，λ₂为L1-fusion项参数，P是输出权值的维度，i＝2,3…P。

步骤3.2：在训练过程中，根据公式(3)中L1正则化项和L1-fusion项的约束，使得宽度网络自动选择出在建立模型的过程中所需的节点，并求解经过约束的输出权值W，具体方法如下：

步骤3.2.1：将公式(3)用公式(4)表示：

其中，为n+m维矩阵；

步骤3.2.2：利用增广拉格朗日乘子法将公式(4)转换成公式(5)：

其中，E₁,E₂,E₃是拉格朗日乘子，表示正标量；

通过以下方式求解公式(5)，获得输出权值W：

其中，K为公式迭代的次数；

W_k+1由公式(7)得到：

其中，得到

W_K+1＝(A^TA+D^TD+I)^-1(A^TF+G-D^TP) (8)

B_k+1由公式(9)得到：

其中，得到

C_k+1由公式(11)得到：

其中，得到

Q_kt1由公式(13)得到：

其中，得到

由公式(15)迭代计算得到：

当公式(6)的迭代次数达到所给出最大迭代次数时，迭代过程结束同时使得W＝W_k+1得到最终的输出权值，同时得到了精简的宽度学习系统网络模型，否则重复公式(6)的迭代计算；

步骤4：根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择出最优的精简的宽度学习系统网络模型，作为压缩后的宽度学习系统网络模型。

2.根据权利要求1所述的一种宽度学习系统网络模型压缩方法，其特征在于，步骤4中的测试集均方根误差和网络结构压压缩率由以下公式得出：

测试集均方根误差

其中,Y_t为实际获得的测试集的输出数据，X_t为实际获得的测试集的输入数据，W是训练时求解的输出权值，X_tW为网络模型的预测值，n是样本个数；节点数量_BLS为标准BLS经过搜索得到的最佳节点数量，节点数量_CBLS为压缩过后的节点数量。