[发明专利]一种基于拟牛顿方法的受限玻尔兹曼机迭代映射训练方法

摘要

本发明公开了一种基于拟牛顿方法的受限玻尔兹曼机迭代映射训练方法，包括初始化受限玻尔兹曼机参数；在给定样本的情形下，利用当前受限玻尔兹曼机的条件分布生成隐含节点的样本，将给定样本和隐含节点的样本连接生成子训练样本，通过子训练过程更新受限玻尔兹曼机直到收敛。本发明利用基于曲率信息的二阶优化算法可以提高训练算法对于病态问题的鲁棒性，并且加速迭代映射方法，解决了传统受限玻尔兹曼机训练过程中的下水平集病态问题。

主权项

一种基于拟牛顿方法的受限玻尔兹曼机迭代映射训练方法，包括：初始化受限玻尔兹曼机参数，生成子训练样本，通过子训练过程更新受限玻尔兹曼机直到收敛；其特征在于：具体步骤如下：步骤一、初始化受限玻尔兹曼机参数ξ0；步骤二、在给定样本x的情形下，利用当前受限玻尔兹曼机的条件分布pi(h|x；ξi)生成隐含节点的样本h(i)，将样本x和h(i)连接生成样本(x,h(i))，其中，i＝0,1,2,…；步骤三、利用样本(x,h(i))通过下述的子训练阶段得到子训练中的受限玻尔兹曼机的参数α*；其中，子训练阶段内容如下：3‑1)初始化子训练阶段受限玻尔兹曼机的参数α0；3‑2)利用样本(x,h(i))进行吉布斯采样，求得3‑3)利用Newton方法在当前参数αj的邻域内将目标方程按二阶泰勒公式展开：D(αj+t)≈qαj+1(t)≡D(αj+1)+▿D(αj+1)Tt+12tTHt---(1)]]>式(1)中，αj+1＝αj+t，D(·)为目标函数，即为KL散度；为目标函数的梯度，H为Hessian矩阵；t是迭代变化量；对式(1)两边求导后，得到式(2)：Ht=▿D(αj+1)-▿D(αj)---(2)]]>采用有限差方法，利用式(3)，求得矩阵向量积Ht：Ht=limηt→0▿D(αj+ηt)-▿D(αj)η---(3)]]>式(3)中，η为学习率；根据上述得到的近似梯度和矩阵向量积Ht，采用迭代共轭梯度法来求解式(2)，迭代求出t*，即最优的迭代变化量，在此过程中产生一个迭代序列：{tk}，k＝1,2…；3‑4)判断残差是否达到指定精度，若达到，则进行3‑5)，否则，返回步骤3‑3)；3‑5)利用步骤3‑3)求得的t*更新子训练阶段受限玻尔兹曼机的参数：αj+1＝αj+t*；3‑6)重复执行步骤3‑2)至3‑5)直到达到式(4)所示的收敛条件，子训练结束，得到的受限玻尔兹曼机的参数为α*；▿D(αj+1)<ρ---(4)]]>式(4)中，ρ为次优性阈值；步骤四、将参数α*替换整体训练中的参数ξi+1，即ξi+1＝α*；判断是否满足式(5)所示的收敛条件，若满足，整体训练结束，若未满足，令i＝i+1，重复执行步骤二和步骤三；||ξi+1‑ξi||<∈  (5)式(5)中，∈为设置的精度阈值；至此得到反映给定样本数据x内部特征的受限玻尔兹曼机。