[发明专利]一种基于反函数的神经网络优化方法、系统及电子设备

说明书

技术领域

本发明涉及深度学习技术领域，特别涉及一种基于反函数的神经网络优化方法、系统及电子设备。

背景技术

2017年，中国人工智能迎来了快速发展的新纪元。其中深度学习应用范围最广，并且在图像识别、围棋等方面取得了令人瞩目的成就。随着移动终端设备对人们生活产生的巨大影响，人工智能也进入了移动终端的应用。但是移动终端的计算能力差，不适合复杂的、收敛速度慢的神经网络学习。因此，加快神经网络学习的收敛速度不仅对具有大数据处理能力的服务器有重要的作用，而且也对使神经网络可以在计算能力低的移动终端训练学习也有重要意义。

在神经网络优化方面，现在的优化算法都是基于梯度下降法，通过修改梯度下降的方向和梯度下降的步长进行的。包括基于动量变化的梯度下降法，使得梯度下降的方向与前一个时刻梯度的方向有关，这样就可以避免搜索路径震荡问题。但是梯度下降中，每一层神经网络都需要计算梯度，这是非常消耗计算资源的，同时也带来时间的消耗，使得训练速度变慢。自适应子梯度下降调整法是根据各个参数的变化频率分别调整梯度下降步长，这会时刻检测所有参数的变化，并且还要记录各个历史数据，这不仅消耗内存，而且也带来计算复杂度的增加。自适应动能评估模型也是以动量变化为基础的，其根据历史的梯度变化自动调整动量的变化，这也会带来存储和计算复杂度的增加。

在神经元中，比较常用的非线性激活函数是S型生长曲线，即S(x)＝1/(1+e^-x)，取值区间为(0,1)，因此损失函数L＝0.5(y-S(x))²的取值范围也是(0,1)，其中y为实际数值，取值为{0，1}。该函数的导数是S′(x)＝S(x)(1-S(x))，其最大值为0.25。损失函数对输出层的输入数值的调整为Δx＝-(S(x)-y)(1-S(x))S(x)，该调整的最大值为0.148。因此在梯度下降法中，每次回传调整的参数变化最大为0.148*学习步长，每次训练只能得到一个非常小的调整，所以在神经网络训练中，需要进行非常多次的迭代才能找到一个相对较好的局部最优解，这也是非常消耗计算资源和时间的。神经网络的学习实质也是一种空间的变换，由于在多层高维空间变换中，存在非常多的非常多的解，但是如何找到一个全局的最优解是非常困难的，通过梯度下降一般只能找到一个局部的最优解，而且这个方法很容易陷入局部最优而跳不出来。另外，梯度下降法对初始值的选取非常敏感，不同的初始值代表不同的空间坐标。利用梯度下降法，在不同的空间方位下寻找到的局部最优解也不相同。同时不同的初始值计算出来的梯度也不一样，其收敛速度也会有影响。

综上所述，现有的神经网络优化方法都是以增加算法的复杂度为代价，换取梯度下降方法的性能，以寻找到比较好的解集空间，这些方法不仅带来了额外的计算消耗，而且也带来了内存的消耗，使神经网络的学习过程在时间复杂度上不断增加。

发明内容

本发明提供了一种基于反函数的神经网络优化方法，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本发明提供了如下技术方案：

一种基于反函数的神经网络优化方法，包括：

步骤a：通过前向传输计算神经网络隐含层和输出层的数值；

步骤b：根据实际输出值，通过反函数计算输出层需要的输入值；

步骤c：计算所述反函数计算得到的输入值与所述前向传输计算得到的输出层的数值之间的差异值，根据所述差异值，利用负反馈调节方法调节输出层的参数值，并利用梯度下降法调节隐含层的参数值。

本发明实施例采取的技术方案还包括：在所述步骤a中，所述通过前向传输计算神经网络隐含层和输出层的数值具体为：

隐含层输入U⁽²⁾：

U⁽²⁾＝W⁽²⁾X

上述公式中，W⁽²⁾是隐含层的权重参数，上标(2)表示层数的标号值，X＝{x₁,x₂,…,x_N}是一个N维向量；

隐含层输出A⁽²⁾：

A⁽²⁾＝f(U⁽²⁾)

上述公式中，f是激活函数，若f为S型函数，则f(x)＝1/(1+e^-x)；

输出层输入U⁽³⁾：

U⁽³⁾＝W⁽³⁾A⁽²⁾