[发明专利]一种宽度学习系统网络模型压缩方法

说明书

本发明公开一种宽度学习系统网络模型压缩方法，包括以下步骤：获得输入数据和输出数据；生成增广输入矩阵；构建出含有L1正则化项和L1‑fusion项的目标函数。利用L1正则化项的约束实现输出权值稀疏，使得贡献度小的节点对应的输出权值为零，选择出贡献度大的节点；利用L1‑fusion项约束相邻输出权值之间的差异，使得具有相关性的节点对应的输出权值变化平滑，从而被一起选择；求出经上述约束的输出权值，得到一个CBLS网络模型；根据测试集均方根误差的大小和网络结构压缩率来评估模型的预测精度和压缩效果，选择最优的网络模型，作为压缩后的网络模型。本发明能够在保持精度损失不大的同时，呈现出非常好的压缩效果。

技术领域

本发明涉及一种神经网络压缩方法，尤其涉及一种宽度学习系统网络模型压缩方法，属于网络模型压缩技术领域。

背景技术

宽度学习系统是一种不需要深度结构的高效增量学习系统，在人脸识别，时序预测和工业过程建模等实际应用中都有不错的成绩。作为一种学习深层结构的替代方法，宽度神经网络结构没有层与层之间的耦合关系，而是通过原始输入在“特征节点”中转换为随机特征，并且在“增强节点”中广义地扩展结构来拓宽网络。宽度学习系统可描述为：输入数据首先通过一些特征映射转化为随机特征，形成“特征节点”，之后这些“特征节点”通过非线性激活函数进一步连接，形成“增强节点”。然后，将“特征节点”和“增强节点”的输出连接到输出层，在输出层中，通过系统方程的快速伪逆来确定输出层的权重。相对深度神经网络，给我们的计算带来了极大的方便。

标准宽度学习系统(broad learning system,BLS)的高效性和泛化性使得其在许多识别和回归问题上取得了不错的成绩，但是仍然存在一些问题限制了它的进一步发展。比如，标准的宽度学习系统网络模型所需要的节点数量是通过多次实验才确定的，这个过程不仅需要消耗很长的时间，而且并非所有节点对整体的网络结构都有着不可或缺的作用，对我们有用的一部分节点对网络预测输出的贡献度很大，而另外一部分节点几乎没有什么贡献，甚至对网络的预测起着负面的影响，这些节点的存在使得标准的宽度网络模型有着严重的冗余，不仅导致建立的模型过于复杂而且可能因为过拟合而降低模型的泛化性。

发明内容

针对上述现有技术存在的问题，本发明提供了一种宽度学习系统网络模型压缩方法，能够精简网络，避免网络的节点冗余问题，且在压缩网络模型的同时，减少精度损失。

为达到上述目的，本发明提出一种宽度学习系统网络模型压缩方法，包括以下步骤：

步骤1：将从开源数X＝[X₁,X₂...X_S]^T∈R^s×f据集中获得的数据按照设定的比例分为训练集和测试集，训练集输入数据为，训练集输出数据为Y＝[Y₁,Y₂...Y_S]^T∈R^s×c，测试集输入数据为Xt＝[X1,X2...Xq]^T∈R^q×f，测试集输出数据为Y_t＝[Y₁,Y₂...Y_q]^T∈R^q×c；

其中s表示训练集数据样本的个数，q表示测试集数据样本的数目，f表示输入数据的维度，c表示输出矢量对应的维度，T表示矩阵的转置，R表示实数域；

步骤2：训练开始，首先求解增广输入矩阵，具体步骤如下：

步骤2.1：利用公式(1)来构造特征节点矩阵Zⁿ＝[Z₁,Z₂...Z_n]