[发明专利]神经网络的训练方法和通过该训练方法获得的神经网络

权利要求书

1.一种神经网络的训练方法，其特征在于，所述训练方法包括：

将一组训练样本输入到所述神经网络中，并且对输入的所述训练样本重复进行多次运算处理，每次运算处理包含以下步骤：

对于所述神经网络中的每个激活节点，根据所述每个激活节点的选择概率值，随机地从线性运算和非线性运算之中选择出所述每个激活节点的第一选择结果，并且根据所述每个激活节点的所述第一选择结果，来对所述训练样本进行第一次网络训练，以获得第一训练损失值，其中所述每个激活节点的所述选择概率值包括选择所述线性运算的概率值和选择所述非线性运算的概率值，并且选择所述线性运算的概率值和选择所述非线性运算的概率值之和等于1；

对于所述每个激活节点，根据所述每个激活节点的所述选择概率值，随机地从所述线性运算和所述非线性运算之中选择出所述每个激活节点的第二选择结果，并且根据所述每个激活节点的所述第二选择结果，来对所述训练样本进行第二次网络训练，以获得第二训练损失值；

将所述第一训练损失值与所述第二训练损失值进行比较；

当所述第一训练损失值小于所述第二训练损失值时，将所述第一选择结果与所述第二选择结果不同的激活节点确定为感兴趣节点，并且以相等的增加值，增加每个所述感兴趣节点的所述第一选择结果的概率值，以更新所述每个激活节点的所述选择概率值；以及

当所述第二训练损失值小于等于所述第一训练损失值时，将所述第一选择结果与所述第二选择结果不同的所述激活节点确定为所述感兴趣节点，并且以相等的所述增加值，增加每个所述感兴趣节点的所述第二选择结果的概率值，以更新所述每个激活节点的所述选择概率值；

其中，所述每个激活节点的所述选择概率值的初始值被设定成选择所述线性运算的概率值等于选择所述非线性运算的概率值，并且更新后的所述每个激活节点的所述选择概率值将被用于下一次运算处理。

2.如权利要求1所述的训练方法，其特征在于，所述增加值在0.01～0.0001的范围内。

3.如权利要求1或2所述的训练方法，其特征在于，所述非线性运算采用Sigmoid函数。

4.如权利要求1或2所述的训练方法，其特征在于，所述非线性运算采用tanh函数。

5.一种神经网络，其特征在于，所述神经网络通过采用如权利要求1-4中任一项所述的训练方法来获得，并且在使用所述神经网络时，对于所述神经网络中的所述每个激活节点，采用所述线性运算和所述非线性运算之中概率值高的运算。