[发明专利]往复地缩放神经元的连接权重和输入值来挫败硬件限制

摘要

根据训练算法训练神经网络，该训练算法可以迭代地执行以下操作。从存储器中调用缩放的连接权重值。这些值跨越硬件允许的有限范围内或与之兼容的初始范围。基于调用的值，学习有效的连接权重值。学习的值跨越不同于初始范围的有效范围。随着学习的进行，通过缩放学习的值来更新缩放的连接权重值，以便更新的值跨越有限范围内的最终范围。考虑到下一迭代步骤，训练算法指示将更新的缩放的值存储在存储器中。

主权项

1.一种训练在硬件中实现的神经网络的计算机实现的方法，所述硬件仅允许网络的人工神经元的连接权重值的有限范围，后者包括一个或多个神经元隐藏层，其中训练根据训练算法执行，以便迭代地执行步骤，步骤包括以下每个：从存储器调用缩放的连接权重值，该值跨越与所述有限范围兼容的初始范围；基于调用的缩放的连接权重值，学习新的缩放的连接权重值，由此，对于所述一个或多个隐藏层的每层以及对于所述每层的每个神经元：基于逆缩放系数1/α，对所述每个神经元的输入值进行逆缩放，所述逆缩放系数1/α是根据其对为所述每个神经元调用的连接权重值进行缩放的缩放系数α的逆，从而使得由所述每个神经元输出的值保持不受所述缩放系数α的影响，以及更新为所述每个神经元调用的缩放的连接权重值，从而使得更新的值跨越与所述有限范围兼容的最终范围，而相应的未缩放的值跨越不同于所述最终范围的有效范围；和指示在存储器上存储更新的缩放的连接权重值。