[发明专利]一种面向深度神经网络的自适应激活函数参数调节方法

权利要求书

1.一种面向深度神经网络的自适应激活函数参数调节方法，其特征在于，所述方法包括以下步骤：

步骤1，首先对自适应激活函数参数调节方法进行数学定义，过程如下：

设自适应激活函数的可调参数个数为N，那么自适应激活函数被定义为：

f_(x)＝f(a*x+c)

其中a和c都是用来控制激活函数形状的可学习参数，所谓的神经网络看作是许多单个神经元的组合，定义神经网络的输出为一个集权重、偏差和可学习神经元参数的复合函数，函数如下：

h_(w,b,a,c)＝h(f(a*x+c))

其中h代表神经网络的输出，w和b代表网络的权重和偏差；与此同时，该函数还被看成在神经网络中所有神经元使用同一组可学习参数，一个更为广泛的定义即：神经网络中每个神经元都使用不同的可调节参数，如下所示：

其中fn代表网络中一层的每个神经元，每一层神经元使用相同的可调节参数被定义如下：

使用反向转播算法来训练神经网络中的自适应激活函数，其中可学习参数伴随着权重和偏执随着网络训练的进行一起得到优化，参数{a₁,…,a_n,b₁,…,b_n}根据链式求导法则得到更新，更新如下所示：

其中a_i∈{a₁,…,a_n,b₁,…,b_n}，L表示代价函数，这一项可从后一层通过反向传播得到，加权项可被用在特征图或神经网络层的所有位置上，对于一层中共享的变量，梯度a_i可用如下公式求得，用来对所有通道或一层中的神经元求和，公式如下：

步骤2，基于MNIST数据集进行自适应激活函数及其他激活函数进行实验结果对比与分析，过程如下：

使用的网络为有三个隐藏层，每个隐藏层有50个神经元，使用随时梯度下降算法迭代了100周期，学习率设为0.01，最小批次数量为100；

步骤3，在步骤2得到最优激活函数版本之后，应用于具体膀胱癌细胞的检测，过程如下：

3.1、对膀胱癌进行数据集的制作；

3.2、选择算法和模型进行参数的初始化；

3.3、将最优激活函数和传统激活函数进行实验结果的对比与分析。

2.如权利要求1所述的一种面向深度神经网络的自适应激活函数参数调节方法，其特征在于，所述步骤2中，使用的对比激活函数有传统Sigmoid函数、传统ReLU激活函数、自适应激活函数的统一版本、自适应激活函数的各自版本及自适应激活函数的分层版本。

3.如权利要求1或2所述的一种面向深度神经网络的自适应激活函数参数调节方法，其特征在于，所述3.1中，将膀胱癌细胞数据集做成pascal_voc2007格式，主要是利用生成的xml文件保存细胞的标签信息。

4.如权利要求1或2所述的一种面向深度神经网络的自适应激活函数参数调节方法，其特征在于，所述3.2中，选择Faster R-CNN算法，利用vgg16模型进行网络参数的初始化，利用vgg16预训练模型进行网络参数初始化。

5.如权利要求4所述的一种面向深度神经网络的自适应激活函数参数调节方法，其特征在于，所述3.3中，利用步骤3.2中生成的最优激活函数版本替换Faster R-CNN算法中的传统激活函数，最后进行实验结果的分析与对比。