[发明专利]一种基于随机反馈的限制玻尔兹曼机学习方法与装置

权利要求书

1.一种基于随机反馈的限制玻尔兹曼机学习方法，其特征在于，包括：

获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

2.根据权利要求1所述的方法，其特征在于，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

3.根据权利要求2所述的方法，其特征在于，所述选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本包括：

选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

计算更新样本与训练样本的误差2-范数，并累加采样计数器；

将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

4.根据权利要求3所述的方法，其特征在于，所述将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

5.根据权利要求2所述的方法，其特征在于，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。

6.一种基于随机反馈的限制玻尔兹曼机学习装置，其特征在于，包括：

启动模块，用于获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

采样模块，用于选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

修正模块，用于根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

循环模块，连接至采样模块与修正模块，用于对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

7.根据权利要求6所述的装置，其特征在于，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

8.根据权利要求7所述的装置，其特征在于，所述采样模块包括：

启动单元，用于选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

采样单元，用于使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

更新单元，用于计算更新样本与训练样本的误差2-范数，并累加采样计数器；

迭代单元，用于将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

9.根据权利要求8所述的装置，其特征在于，所述迭代单元将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

10.根据权利要求7所述的装置，其特征在于，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。