[发明专利]一种适用于神经网络激活函数的计算装置及方法

权利要求书

1.一种适用于神经网络激活函数的计算装置，包括

查找单元，用于根据所述激活函数以及激活函数变量输入值确定对应的线性函数参数；以及

计算单元，用于利用所述输入值和所述对应的线性函数参数进行计算；

其中，所述线性函数参数根据激活函数的凹凸性进行了优化。

2.根据权利要求1所述的计算装置，其特征在于，所述查找单元包括

匹配单元，用于将激活函数的输入值匹配至对应的函数区间；

查找表单元，用于根据所述函数区间确定对应的线性函数参数。

3.根据权利要求2所述的计算装置，其特征在于，所述匹配单元还用于存储所述函数区间；所述查找表单元还用于存储所述函数区间对应的线性函数参数。

4.根据权利要求2所述的计算装置，其特征在于，所述线性函数参数包括斜率和截距，所述斜率是利用所述函数区间的端点值计算获得的；所述截距是利用所述函数区间的端点值计算获得的初始截距经最大误差优化后获得的；其中，所述最大误差是指所述激活函数在所述函数区间内的函数值与所述函数区间内的初始线性函数值的最大差值。

5.根据权利要求4所述的计算装置，其特征在于，若所述激活函数在所述函数区间是凹函数，则所述截距等于所述初始截距减去最大误差的二分之一。

6.根据权利要求4所述的计算装置，其特征在于，若所述激活函数在所述函数区间是凸函数，则所述截距等于所述初始截距加上最大误差的二分之一。

7.根据权利要求1所述的计算装置，其特征在于，所述查找表单元包括数值取反单元。

8.根据权利要求7所述的计算装置，其特征在于，在所述激活函数关于原点中心对称时，所述匹配单元将绝对值相等的所述激活函数的输入值匹配至相同的函数区间。

9.根据权利要求1至8任一项所述的计算装置，其特征在于，所述计算单元包括乘法单元和加法单元。

10.一种适用于神经网络激活函数的计算方法，包括以下步骤：

将所述激活函数划分为若干函数区间；

利用所述函数区间的端点计算所述函数区间对应的线性函数参数，即斜率和截距；

根据所述函数区间的凹凸性优化所述截距，将斜率和优化后的截距保存在查找表中；

利用所述查找表查找与所述激活函数的输入值对应的函数区间的线性函数参数；

利用所述激活函数的输入值以及对应的所述线性函数参数进行计算。