[发明专利]学习神经网络及其方法

权利要求书

1.一种尽可能减少神经网络中权重调整的计算复杂性的方法，其特征在于包含以下步骤：

从初始状态以增量变化为单位随机改变权重；

如果改变所述权重后网络误差降低，则迭代所述增量变化直到所述网络误差增加；以及

如果改变所述权重后所述网络误差增加，则再次随机改变所述权重。

2.如权利要求1所述的方法，其特征在于进一步包含借助网络控制设备的步骤。

3.一种尽可能减少神经网络中权重调整的计算复杂性的方法，其特征在于包含以下步骤：

(a)任意选取网络中各个第一次权重的增量变化的第一方向；

(b)利用所述各增量变化增加所述第一次权重以形成第二次权重；

(c)从网络的输入与所述第二次权重中产生网络输出；

(d)通过将所述网络输出与对应所述网络输入的所希输出以数学方式结合，产生涉及所述网络输出的误差；

(e)当所述误差的数值减少时，

(i)利用所述各增量变化沿所述第一方向再次增加所述第二次权重以形成第三次权重；以及

(ii)从网络的输入与所述第三次权重中产生网络输出；以及

(f)当所述误差的数值增加时，

(i)对于所述各增量变化，任意选取第二方向；

(ii)利用所述各增量变化沿所述第二方向再次增加所述第二次权重以形成第四次权重；以及

(iii)从网络的输入与所述第四次权重中产生网络输出。

4.如权利要求3所述的方法，其特征在于通过累计所述所希输出与所述网络输出之差的平方和产生所述误差。

5.如权利要求3所述的方法，其特征在于通过计算所述所希输出与所述网络输出之差的绝对值产生所述误差。

6.如权利要求3所述的方法，其特征在于通过计算由所述所希输出与所述网络输出的数学组合计算得到的正数产生所述误差。

7.如权利要求3所述的方法，其特征在于进一步包含利用随机发生器选取所述第一和第二方向的步骤。

8.一种完成如权利要求1—7所述方法的神经网络。

9.一种用于学习在网络中的网络输入上施加权重以获得网络输出的系统，其特征在于包含：

任意选取一组网络中各个权重的增量变化的第一方向的装置；

利用所述各增量变化增加所述权重的装置；

从网络的输入与所述权重中产生网络输出的装置；

通过将所述网络输出与对应所述网络输入的所希输出以数学方式结合而产生涉及所述网络输出误差的装置；

确定所述误差减少或增加的学习装置；

当所述误差的数值减少时，所述学习装置利用所述各增量变化沿所述第一组方向再次增加所述权重以形成新的权重并从网络输入与所述新的权重中产生网络输出；以及

当所述误差的数值增加时，所述学习装置对于所述各增量变化，任意选取第二组方向，利用所述各增量变化沿所述第二组方向增加所述权重以形成所述新的权重，并从网络输入与所述新的权重中产生网络输出。

10.一种集成电路，其特征在于包含如权利要求9所述的系统。

11.一种用于包含了若干将权重与网络值结合起来的权重装置的神经网络的方法，该方法在产生权重的同时尽可能地降低了计算复杂性并改善了速度，其特征在于包含以下步骤：

产生一个随机数；

依次向每个权重装置提供随机数；

根据随机数产生每个权重装置上权重的极性；以及

通过将所述极性与各权重的大小结合起来产生每个权重装置上权重。

12.如权利要求11所述的方法，其特征在于，所述网络包含若干神经元层，并且进一步包含沿着基本上与数据流通过网络方向相反的方向经神经元层传送随机数的步骤。

13.如权利要求11所述的方法，其特征在于进一步包含沿着朝向网络输入层的方向从网络的输出层移动随机数的步骤。