[发明专利]一种面向深度神经网络的自适应激活函数参数调节方法

摘要

一种面向深度神经网络的自适应激活函数参数调节方法，所述方法包括以下步骤：步骤1，首先对自适应激活函数参数调节方法进行数学定义；步骤2，基于MNIST数据集进行自适应激活函数及其他经典激活函数进行实验结果对比与分析，使用的网络为有三个隐藏层，每个隐藏层有50个神经元，使用随时梯度下降算法迭代了100周期，学习率设为0.01，最小批次数量为100；步骤3，在步骤2得到最优激活函数版本之后，应用于具体膀胱癌细胞的检测。本发明在网络不断训练的过程中，通过不断的调整自身形状来寻找适合该网络的最优激活函数，提高网络的性能，降低网络中自适应激活函数可学习参数的总体数量，加快网络学习速率，改善网络的泛化。

主权项

1.一种面向深度神经网络的自适应激活函数参数调节方法，其特征在于，所述方法包括以下步骤：步骤1，首先对自适应激活函数参数调节方法进行数学定义，过程如下：设自适应激活函数的可调参数个数为N，那么自适应激活函数被定义为：f(x)＝f(a*x+c)其中a和c都是用来控制激活函数形状的可学习参数，所谓的神经网络看作是许多单个神经元的组合，定义神经网络的输出为一个集权重、偏差和可学习神经元参数的复合函数，函数如下：h(w,b,a,c)＝h(f(a*x+c))其中h代表神经网络的输出，w和b代表网络的权重和偏差；与此同时，该函数还被看成在神经网络中所有神经元使用同一组可学习参数，一个更为广泛的定义即：神经网络中每个神经元都使用不同的可调节参数，如下所示：其中fn代表网络中一层的每个神经元，每一层神经元使用相同的可调节参数被定义如下：使用反向转播算法来训练神经网络中的自适应激活函数，其中可学习参数伴随着权重和偏执随着网络训练的进行一起得到优化，参数{a1,…,n,b1,…,n}根据链式求导法则得到更新，更新如下所示：其中ai∈{a1,…,n,b1,…,n}，L表示代价函数，这一项可从后一层通过反向传播得到，加权项∑Xi可被用在特征图或神经网络层的所有位置上，对于一层中共享的变量，梯度ai可用如下公式求得，∑i用来对所有通道或一层中的神经元求和，公式如下：步骤2，基于MNIST数据集进行自适应激活函数及其他经典激活函数进行实验结果对比与分析，过程如下：使用的网络为有三个隐藏层，每个隐藏层有50个神经元，使用随时梯度下降算法迭代了100周期，学习率设为0.01，最小批次数量为100。步骤3，在步骤2得到最优激活函数版本之后，应用于具体膀胱癌细胞的检测，过程如下：3.1、对膀胱癌进行数据集的制作；3.2、选择算法和模型进行参数的初始化；3.3、将最优激活函数和传统激活函数进行实验结果的对比与分析。