[发明专利]基于改进粒子群算法优化设计DBN网络结构

权利要求书

1.基于改进粒子群算法优化设计DBN网络结构，其特征在于，由3个RBM堆叠以及输出层组成，由于采用逐层预训练和对比散度算法可以快速完成连接权值的学习。

2.基于改进粒子群算法优化设计DBN网络结构方法，其特征在于，采用非线性权重递减策略提高PSO算法的收敛速度，通过连续性变量设计构造个体进行迭代训练，做到输入层特征和隐藏层神经元数目的优化选择，具体包括以下步骤：

(1)、准备用于DBN网络训练的数据集，对数据集进行预处理，减少图片中噪声；

(2)、根据图片维度以及最终分类输出，确定DBN网络的初始结构，确定输入层特征维数和输出层节点数；

(3)、改进粒子群算法NlinPSO群体中个体变量设计，个体变量维数设计分为两部分：一部分采用连续性编码设计，维度等于DBN网络结构的输入层特征维数，另一部分用于DBN网络结构各隐藏层神经元数目的设置，该部分维数为隐藏层的层数；

(4)、粒子群算法在迭代过程中区别与传统线性惯性权重因子，采用了非线性惯性权重因子算法设计，改善POS算法的收敛和寻优；

(5)、使用DBN模型中重构误差的方法，即输入数据与重构输入数据之间的差值，采用二阶范数，作为PSO算法的适应度函数计算，逐步训练迭代，确定最优的DBN网络结构。

3.根据权利要求1所述的基于改进粒子群算法优化设计DBN网络结构，其特征在于，所述的步骤(4)中的非线性惯性权重因子算法设计，公式如下：

式(1)中ω_max和ω_min分别表示惯性权重因子的最大值和最小值，可人为设置；i表示第i次迭代，Maxgen表示最大迭代次数。

4.根据权利要求2所述的基于改进粒子群算法优化设计DBN网络结构方法，其特征在于，所述的步骤(3)中的个体变量设计的个体组成分别为输入层特征维数和各隐藏层神经元数目；个体变量设计方法如下：假设可见层特征维数为N，生成N维的随机向量X_i＝[x_i1,x_i2,…,x_ik,…,x_iN](kN)，其中x_ik服从[-1,1]的均匀分布，然后在DBN模型中求解适应度值时按照式(2)的规则选取特征，规则如下：

式(2)中y_ik的取值1、0分别表示对第k维特征的选用和舍弃，对于隐藏层层数以及数目设计，由于隐藏层层数选择确定层数设计且为3层，于是各隐藏层神经元数目只需要随机生成一个实数迭代训练即可；

综上，一个个体可以表示为pop(i)＝[x_i1,x_i2,…,x_ik,…,x_iN,b_i1,b_i2,b_i3]，其中pop(i)代表第i个个体，b_i1，b_i2，b_i3分别表示为每一层隐藏层神经元数目。

5.根据权利要求2所述的基于改进粒子群算法优化设计DBN网络结构方法，其特征在于，所述的步骤(5)中的适应度函数设计采用DBN模型中重构误差的方法，即输入数据与重构输入数据之间的差值，采用二阶范数，公式如下：

式(3)中S和N分别代表训练样本个数和可见层特征维数，M表示DBN中隐藏层的层数，代表在N维特征维数的原始数据中被选中的第j维的向量；代表被选中的第j维特征数据向量经过输入重构后的向量；很显然当适应度值E(k)越小时，则该个体转变后的模型参数在DBN模型使用中效果越好。