[发明专利]神经网络激活函数的通用拟合方法及装置

权利要求书

1.一种神经网络激活函数的通用拟合方法，其特征在于，包括：

加载一个神经网络中的激活层；所述激活层为预设激活函数；

根据所述预设激活函数，生成第一分段参数、第二分段参数、第三分段参数和第四分段参数；

当输入数据小于等于所述第一分段参数，输出第一段拟合函数；

当输入数据大于所述第一分段参数并且小于等于所述第二分段参数时，输出第二段拟合函数，

当输入数据大于所述第二分段参数并且小于等于所述第三分段参数时，输出第三段拟合函数；

当输入数据大于所述第三分段参数并且小于等于所述第四分段参数时，输出第四段拟合函数；

当输入数据大于所述第四分段参数时，输出第五段拟合函数；

根据所述第一段拟合函数、所述第二段拟合函数、所述第三段拟合函数、所述第四段拟合函数和所述第五段拟合函数生成目标拟合函数；

根据所述目标拟合函数，重新设置所述激活层。

2.根据权利要求1所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述第一分段参数根据所述预设激活函数的逼近零点对应的输入值确定；

所述第二分段参数根据所述预设激活函数的输出值最小时对应的输入值确定；

所述第三分段参数为零；

所述第四分段参数根据所述预设激活函数的输出值最大时对应的输入值确定。

3.根据权利要求1所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述第一段拟合函数的输出为零；

所述第二段拟合函数为一元一次函数；

所述第三段拟合函数为正比例函数；

所述第四段拟合函数的输出值为输入值；

所述第五段拟合函数的输出为所述第四分段参数。

4.根据权利要求1-3任一所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述目标拟合函数满足如下关系：

，

其中，x₁为所述第一分段参数、x₂为所述第二分段参数、x₃为所述第四分段参数；

其中，n、K、b分别为第一拟合参数、第二拟合参数和第三拟合参数；其中，所述第一拟合参数、所述第二拟合参数和所述第三拟合参数根据所述目标拟合函数的函数表达式和所述预设激活函数的函数表达式之间的平方差最小时对应的所述目标拟合函数的函数表达式确定。

5.根据权利要求2所述的一种神经网络激活函数的通用拟合方法，其特征在于，所述第四分段参数为神经网络中单个数据能表示的最大值。

6.一种神经网络激活函数的通用拟合装置，其特征在于，所述装置应用于权利要求1-5任一项所述的神经网络激活函数的通用拟合方法，所述通用拟合装置包括：

多个拟合单元；其中所述多个拟合单元按照流水线方式工作；

其中任一所述拟合单元都包括一个激活函数单元和一个控制单元；其中，

所述控制单元用于根据预设激活函数配置对应的所述激活函数单元中的拟合参数，并且暂时存储上一个所述拟合单元输出的分段拟合结果；其中，所述拟合参数包括比较对象、系数、移位数和偏置项；

所述激活函数单元用于对接收到的数据进行激活函数的分段拟合运算，生成分段拟合结果输出至下一个所述拟合单元。

7.根据权利要求6所述的一种神经网络激活函数的通用拟合装置，其特征在于，任一所述激活函数单元都包括一个选择器、一个处理单元、一个判断单元和一个数据直通路径；其中

所述处理单元用于对输入数据进行拟合处理，输出拟合结果；

所述判断单元用于存储与所述处理单元对应的分段判断条件；

所述数据直通路径用于直接将输入数据传输至所述选择器；

所述选择器用于根据所述分段判断条件从所述拟合结果和所述输入数据中进行选择，生成所述分段拟合结果，并将所述分段拟合结果传输至下一个所述拟合单元中。