[发明专利]一种基于激活函数SGRLU的深度神经网络计算系统

说明书

本发明提出一种深度神经网络计算系统，包括至少一个处理器、至少一个非暂时性计算机可读介质，所述非暂时性计算机可读介质存储描述神经网络的数据，所述神经网络包括实现激活函数SGRLU的至少一个激活单元；所述激活函数SGRLU由高斯函数和恒等函数复合而成，SGRLU函数在正区间与ReLU函数具有相同特性，梯度恒等于1，在负区间受可训练参数影响，呈单调性或非单调性；在负区间呈单调性时，与PReLU函数具有相同特性，在负区间呈非单调性时，与Swish函数具有类似特性。本发明以SGRLU作为神经网络的激活函数，具有较好的训练速度，并且对于深度神经网络具有较好的训练效果，并且在精确度和一致性上也表现较好。

技术领域

本发明涉及深度学习技术领域，尤其是一种基于激活函数SGRLU的深度神经网络计算系统。

背景技术

现如今，大数据技术的快速发展极大地推动了深度学习技术的发展进程。深度学习技术以神经网络为出发点，为了让神经网络能够模拟出神经元对通过信号的选择性，人们提出了激活函数，它能够让前层网络传递来的特征信息经过非线性的变换再传递给后层网络。

激活函数的数学定义是映射h:R→R，且几乎处处可导。从定义上来看，几乎所有的连续可导函数都可以作为激活函数，但目前常见的是分段线性函数和具有指数形状的非线性函数。随着研究的不断深入，现有激活函数存在的问题不断暴露，例如神经元死亡、锯齿现象、对噪声不具有鲁棒性、深度加深精度下降、不同网络稳定性不一致等。下面对目前较为常见的几种激活函数进行介绍。

Sigmoid函数如图1所示，其输出值恒大于0，权重更新时会出现锯齿现象，收敛速度较慢。Tanh函数如图2所示，其输出以 0为中心，相比于Sigmoid函数，能够获得较快的收敛速度。Sigmoid函数和Tanh 函数两端都存在软饱和区，输入绝对值比较大时，会落入软饱和区，出现梯度弥散现象，也称饱和效应，导致网络不再学习，无法训练深层网络。

整流线性单元ReLU函数f(x)＝max(0,x)是最早提出的非饱和激活函数，如图3所示，其收敛速度比饱和激活函数快8倍，因其计算简单有效，一直应用于深度神经网络。当x≥0时，梯度恒等于1，具有梯度保持特性，能够有效地避免梯度消失和梯度爆炸的问题；然而，当x＜0时，函数具有硬饱和特性，当输入落入硬饱和区，激活函数响应为0，导致梯度恒等于0，可能导致神经元不再被任何数据激活，造成大量神经元死亡的现象。PReLU为ReLU函数的衍生版，称之为带参数整流线性单元，如图4所示，该激活函数可自适应地学习整流器的参数，也可忽略额外计算成本以提高精度。

Swish函数f(x)＝x·Sigmoid(β·x)是结合基本的一元函数和二元函数，建立一个简单的约束搜索空间，使用自动搜索方法实现的激活函数，如图5所示，Swish 函数具有非单调、平滑、无上界有下界的特性，并保留少量的负权重。在-5≤x≤0 时，函数有凸形区域，β参数可调节凸形形状；在x＞0时，函数为介于线性函数与ReLU函数之间的平滑函数，没有引用ReLU梯度保持特性。Mish函数 f(x)＝x·tanh(softplus(x))＝x·tanh(ln(1+e^x))，与Swish函数的性质相近，函数取值范围在[≈-0.31，∞]，下有界产生了较强的正则化效应，如图6所示。Mish函数和 Swish函数在正区间均为平滑曲线形式，一阶导数相比于ReLU函数计算耗时大。在设计时使用MNIST数据集线性增加神经网络层数对精度的影响实验中，针对1 5层的神经网络，Swish函数和ReLU函数的精度都急剧下降，Mish函数可保持较高精度。

SELU函数和SERLU激活函数，函数形式分别如下：