[发明专利]一种适用于神经网络激活函数的计算装置及方法

说明书

技术领域

本发明涉及计算领域，特别涉及一种适用于神经网络激活函数的计算装置及方法。

背景技术

随着科技的发展，神经网络作为一种模拟人脑的机器学习技术一直都是人工智能研究领域的热点，并且在众多领域得到了广泛的应用，例如图像识别等。使用神经网络解决实际问题的重点之一在于利用激活函数为神经网络提供非线性建模能力，通常情况下，激活函数会出现在神经网络的每一层，尤其是在某些算法中出现的频率较高，例如sigmoid函数。因此，在对激活函数执行运算时，其运算速度和运算能耗直接制约着整个神经网络的计算效率。

传统的神经网络计算装置，一般指的是通用型的算术逻辑单元，在对激活函数执行计算时，资源利用率较低，且执行速度较慢。特别是随着各类便携电子设备的发展，上述装置的电路硬件开销过大，已无法满足体积小、功耗低的应用场景的需求。

因此，需要一种能够速度快能耗低的适用于神经网络的计算装置及方法。

发明内容

本发明提供一种适用于神经网络激活函数的计算装置及方法，包括查找单元，用于根据所述激活函数以及激活函数变量输入值确定对应的线性函数参数；以及计算单元，用于利用所述输入值和所述对应的线性函数参数进行计算；其中，所述线性函数参数根据激活函数的凹凸性进行了优化。

优选的，所述查找单元包括匹配单元，用于将激活函数的输入值匹配至对应的函数区间；查找表单元，用于根据所述函数区间确定对应的线性函数参数。

优选的，所述匹配单元还用于存储所述函数区间；所述查找表单元还用于存储所述函数区间对应的线性函数参数。

优选的，所述线性函数参数包括斜率和截距，所述斜率是利用所述函数区间的端点值计算获得的；所述截距是利用所述函数区间的端点值计算获得的初始截距经最大误差优化后获得的；其中，所述最大误差是指所述激活函数在所述函数区间内的函数值与所述函数区间内的初始线性函数值的最大差值。

优选的，若所述激活函数在所述函数区间是凹函数，则所述截距等于所述初始截距减去最大误差的二分之一。

优选的，若所述激活函数在所述函数区间是凸函数，则所述截距等于所述初始截距加上最大误差的二分之一。

优选的，所述查找表单元包括数值取反单元。

优选的，在所述激活函数关于原点中心对称时，所述匹配单元将绝对值相等的所述激活函数的输入值匹配至相同的函数区间。

优选的，所述计算单元包括乘法单元和加法单元。

根据本发明的另一个方面，还提供一种适用于神经网络激活函数的计算方法，包括以下步骤：

将所述激活函数划分为若干函数区间；

利用所述函数区间的端点计算所述函数区间对应的线性函数参数，即斜率和截距；

根据所述函数区间的凹凸性优化所述截距，将斜率和优化后的截距保存在查找表中；

利用所述查找表查找与所述激活函数的输入值对应的函数区间的线性函数参数；

利用所述激活函数的输入值以及对应的所述线性函数参数进行计算。

相对于现有技术，本发明取得了如下有益技术效果：本发明提供的应用于神经网络激活函数的计算装置及方法，采用了分段近似的计算方法，将激活函数的计算范围分为若干区间，在区间内将激活函数近似为线性函数进行计算函数值，其中，通过利用激活函数的凹凸性对线性函数参数进行优化，提升了近似程度，在提高神经网络的计算速度的同时，保证了计算准确性。

附图说明

图1是本发明较佳实施例的激活函数的计算装置结构示意图。

图2是本发明较佳实施例的计算单元的结构示意图。

图3是利用图1所示的计算装置进行激活函数计算的方法流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图，对根据本发明的实施例中提供的适用于神经网络激活函数的计算装置及方法进一步详细说明。

在神经网络中使用激活函数，是为了加入非线性因素。通常来说，仅依赖线性模型无法准确地表达实际问题。例如利用神经网络进行图像处理时，可采用卷积网络对每个像素点进行赋值，虽然这个操作是线性的，但是实际样本不一定是线性可分的，因此需要引入非线性因素来解决线性模型无法解决的问题。