[发明专利]基于改进粒子群算法优化设计DBN网络结构

说明书

本发明公开了基于改进粒子群算法优化设计DBN网络结构，它涉及人工智能的深度学习算法领域。由3个RBM堆叠以及输出层组成，由于采用逐层预训练和对比散度算法可以快速完成连接权值的学习。基于改进粒子群算法优化设计DBN网络结构方法，采用非线性权重递减策略提高PSO算法的收敛速度，通过连续性变量设计构造个体进行迭代训练，做到输入层特征和隐藏层神经元数目的优化选择。本发明改进粒子群算法优化后的DBN网络结构在错误率和训练时间上与传统的DBN网络结构相比较，该方法在综合性能上有一定的提升，实现了改进粒子群算法优化设计DBN网络结构的目的。

技术领域

本发明涉及的是人工智能的深度学习算法领域，具体涉及一种基于改进粒子群算法优化设计DBN网络结构。

背景技术

深度置信网络(DBN)是一种概率生成模型，网络结构由多个受限玻尔兹曼机(Restricted Boltzmann Machines，RBM)堆叠而成，目前DBN广泛应用于语音识别、图像处理以及推荐系统等领域。深度置信网络在使用过程中不可避免遇到设置网络结构的问题，然而目前较少关于DBN网络结构设计的研究，也没有完善的规则去制定其结构。

粒子群算法(PSO)是一种基于群体的智能优化算法,该算法具有群体智能、内在并行性、结构简单、收敛快速等优点。然而基本粒子群算法在迭代寻优时，经常会出现较早收敛现象，容易陷入局部最优值，因而需要改进粒子群算法。

在制定DBN网络结构时，当数据集确定之后，输入层特征维数和输出层节点数随之确定下来。然而DBN网络的复杂度主要取决于输入层特征维数、隐藏层神经元数目以及隐藏层层数。如果输入层特征太多造成特征冗余的局面，便会大大增加模型复杂度，倘若过分减少特征又而会导致输入数据包含信息过少，也不利于模型对于数据的学习。隐藏层的作用是对输入层特征信息的学习，隐藏层神经元数目设置过多，计算过于复杂，太小又无法学习到输入层不同数据之间的差异，导致最后预测效果很差。因此，提出基于改进粒子群算法优化设计DBN网络结构方法(Non-Linear Particle Swarm Optimization-Deep BeliefNetwork,NLinPSO-DBN)。该方法采用非线性权重递减策略提高了PSO算法的收敛速度，通过连续性变量设计构造个体进行迭代训练，做到输入层特征和隐藏层神经元数目的优化选择。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种基于改进粒子群算法优化设计DBN网络结构，改进粒子群算法给DBN输入层筛选数据特征，改进粒子群算法对各隐藏层神经元数目进行优化设置。

为了实现上述目的，本发明是通过如下的技术方案来实现：基于改进粒子群算法优化设计DBN网络结构，由3个RBM堆叠以及输出层组成，由于采用逐层预训练和对比散度算法可以快速完成连接权值的学习。

基于改进粒子群算法优化设计DBN网络结构方法，采用非线性权重递减策略提高PSO算法的收敛速度，通过连续性变量设计构造个体进行迭代训练，做到输入层特征和隐藏层神经元数目的优化选择，具体包括以下步骤：

1、准备用于DBN网络训练的数据集，对数据集进行预处理，减少图片中噪声；

2、根据图片维度以及最终分类输出，确定DBN网络的初始结构，确定输入层特征维数和输出层节点数；

3、改进粒子群算法NlinPSO群体中个体变量设计，个体变量维数设计分为两部分：一部分采用连续性编码设计，维度等于DBN网络结构的输入层特征维数，另一部分用于DBN网络结构各隐藏层神经元数目的设置，该部分维数为隐藏层的层数；

4、粒子群算法在迭代过程中区别与传统线性惯性权重因子，采用了非线性惯性权重因子算法设计，改善POS算法的收敛和寻优；

5、使用DBN模型中重构误差的方法，即输入数据与重构输入数据之间的差值，采用二阶范数，作为PSO算法的适应度函数计算，逐步训练迭代，确定最优的DBN网络结构。