[发明专利]神经网络激活函数的通用拟合方法及装置

说明书

本申请公开了神经网络激活函数的通用拟合方法及装置；所述方法包括加载一个神经网络中的激活层；根据所述激活层中的预设激活函数，生成四个分段参数；根据所述的四个分段参数得到五段分段拟合函数，生成目标拟合函数；根据所述目标拟合函数，重新设置所述激活层。上述方法可以将复杂的激活函数拟合成简单的分段的线性函数，能在较低的硬件复杂度下保证卷积神经网络算法的精度，解决了激活复杂函数的硬件实现问题，提高NPU的处理性能。

技术领域

本申请涉及卷积神经网络领域，尤其涉及神经网络激活函数的通用拟合方法及装置。

背景技术

神经网络中的激活函数，例如SiReLu、Mish、Hard-Swish等，通过自身的非线性特点可以提升神经网路的精度，强化神经网络的学习能力。但是，因为激活函数的计算公式复杂，传统的NPU（Neural-network Processing Unit，神经网络处理器）不能直接支持激活函数的硬件实现。

目前，当NPU在处理神经网络的过程中一般会把遇到的激活函数重新加载到CPU（central processing unit，中央处理器）或者GPU（graphics processing unit，图形处理器）当中，采用软件的方式来实现遇到的激活函数。

但采用上述软件方式会带来明显的数据传输负担，并且软件处理的速度较慢，这都增加了NPU的等待时间，降低NPU的实际处理性能。

发明内容

为了解决采用软件方式处理卷积神经网络中的激活函数会增加NPU的等待时间，降低NPU的实际处理性能的问题，本申请通过以下方面公开了一种神经网络激活函数的通用拟合方法及装置。

本申请第一方面公开了一种神经网络激活函数的通用拟合方法，包括

加载一个神经网络中的激活层；激活层为预设激活函数；

根据预设激活函数，生成第一分段参数、第二分段参数、第三分段参数和第四分段参数；

当输入数据小于等于第一分段参数，输出第一段拟合函数；

当输入数据大于第一分段参数并且小于等于第二分段参数时，输出第二段拟合函数，

当输入数据大于第二分段参数并且小于等于第三分段参数时，输出第三段拟合函数；

当输入数据大于第三分段参数并且小于等于第四分段参数时，输出第四段拟合函数；

当输入数据大于第四分段参数时，输出第五段拟合函数；

根据第一段拟合函数、第二段拟合函数、第三段拟合函数、第四段拟合函数和第五段拟合函数生成目标拟合函数；

根据目标拟合函数，重新设置激活层。

可选的，第一分段参数根据预设激活函数的逼近零点对应的输入值确定；

第二分段参数根据预设激活函数的输出值最小时对应的输入值确定；

第三分段参数为零；

第四分段参数根据预设激活函数的输出值最大时对应的输入值确定。

可选的，第一段拟合函数的输出为零；第二段拟合函数为一元一次函数；第三段拟合函数为正比例函数；第四段拟合函数的输出值为输入值；第五段拟合函数的输出为所述第四分段参数。

可选的，目标拟合函数满足如下关系：

，

其中，x₁为第一分段参数、x₂为第二分段参数、x₃为第四分段参数；

其中，n、K、b分别为第一拟合参数、第二拟合参数和第三拟合参数；其中，第一拟合参数、第二拟合参数和第三拟合参数根据目标拟合函数的函数表达式和预设激活函数的函数表达式之间的平方差最小时对应的目标拟合函数的函数表达式确定。

可选的，第四分段参数为神经网络中单个数据能表示的最大值。