[发明专利]一种基于人工蜂群的深度置信网络参数寻优方法及系统

权利要求书

1.一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：包括以下步骤：

根据给定的训练样本和隐藏层节点数构建深度置信网络模型；

以深度置信网络模型的学习率作为问题参数，以深度置信网络模型的能量函数作为目标函数，采用人工蜂群算法对深度置信网络模型的学习率进行迭代寻优，找出深度置信网络模型的最佳学习率和能量值最小情况下的网络参数，并以深度置信网络模型的最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数。

2.根据权利要求1所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：所述以深度置信网络模型的学习率作为问题参数，以深度置信网络模型的能量函数作为目标函数，采用人工蜂群算法对深度置信网络模型的学习率进行迭代寻优，找出深度置信网络模型的最佳学习率和能量值最小情况下的网络参数，并以深度置信网络模型的最佳学习率和能量值最小情况下的网络参数作为深度置信网络的初始化参数这一步骤，具体包括：

初始化深度置信网络模型的首层受限玻尔兹曼机，得到受限玻尔兹曼机模型的初始化参数W＝0,b＝0,c＝0，其中，W为可视层和隐藏层之间的权重矩阵，b为可视层偏置向量，c为隐藏层偏置向量；

采用对比散度算法对首层受限玻尔兹曼机进行学习；

对受限玻尔兹曼机模型的网络参数θ＝{W,b,c}进行更新,最终得到网络参数W,b,c；

根据网络参数W,b,c计算受限玻尔兹曼机模型目标函数的值和适应度值；

采用人工蜂群算法进行迭代优化操作，最终得到最佳学习率和能量值最小情况下的网络参数。

3.根据权利要求2所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：所述受限玻尔兹曼机模型的网络参数θ＝{W,b,c}的更新公式为：θ_n＝θ_n-1+η(<.>⁽⁰⁾-<.>^(k))，其中，θ_n和θ_n-1分别为第n次和第n-1次迭代时的网络参数，η为受限玻尔兹曼机模型的学习率，<.>⁽⁰⁾为受限玻尔兹曼机模型的初始化参数，<.>^(k)为受限玻尔兹曼机模型经过k步吉布斯采样后的结果。

4.根据权利要求2所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：根据网络参数W,b,c计算受限玻尔兹曼机模型目标函数的值和适应度值这一步骤，具体包括：

根据网络参数W,b,c计算受限玻尔兹曼机模型目标函数的值E(v,h,θ)，所述受限玻尔兹曼机模型目标函数的值E(v,h,θ)计算公式为：E(v,h,θ)＝-c^Th-b^Tv-v^TWh，其中，v为受限玻尔兹曼机模型可视层的状态向量，h为受限玻尔兹曼机模型隐藏层的状态向量，T为转置；

根据目标函数的值E(v,h,θ)计算受限玻尔兹曼机模型的适应度值，所述受限玻尔兹曼机模型的适应度值fit计算公式为：fit＝1+abs(E(v,h,θ))，其中，abs()为绝对值函数。

5.根据权利要求4所述的一种基于人工蜂群的深度置信网络参数寻优方法，其特征在于：所述采用人工蜂群算法进行迭代优化操作，最终得到最佳学习率和能量值最小情况下的网络参数这一步骤，具体包括：

初始化人工蜂群算法中蜂群数量SN，蜜源数量NP和最大迭代次数e；

根据受限玻尔兹曼机模型的适应度值，采用人工蜂群算法通过寻找新蜜源，选择更新蜜源和观察蜂跟随来迭代求解学习率的最优解，其中，第i次迭代求解后得到的学习率的最优解中观察蜂的跟随概率p_i的计算公式为：fit_i为第i次迭代求解后受限玻尔兹曼机模型的适应度值；

判断迭代次数是否已达到最大迭代次数e，若是，则输出最优学习率η_ABC和能量值最小情况下的网络参数θ_ABC＝{w,b,c}作为深度置信网络模型的初始化参数，反之，则返回上一步骤。