[发明专利]一种面向深度神经网络的自适应激活函数参数调节方法

说明书

一种面向深度神经网络的自适应激活函数参数调节方法，所述方法包括以下步骤：步骤1，首先对自适应激活函数参数调节方法进行数学定义；步骤2，基于MNIST数据集进行自适应激活函数及其他经典激活函数进行实验结果对比与分析，使用的网络为有三个隐藏层，每个隐藏层有50个神经元，使用随时梯度下降算法迭代了100周期，学习率设为0.01，最小批次数量为100；步骤3，在步骤2得到最优激活函数版本之后，应用于具体膀胱癌细胞的检测。本发明在网络不断训练的过程中，通过不断的调整自身形状来寻找适合该网络的最优激活函数，提高网络的性能，降低网络中自适应激活函数可学习参数的总体数量，加快网络学习速率，改善网络的泛化。

技术领域

本发明属于自适应激活函数领域，设计了一种面向深度神经网络的自适应激活函数参数调节方法。具体是自适应激活函数通过添加可学习参数控制自身的形状，同时这些学习参数可通过反向传播算法，随着网络训练的进行得到更新，降低自适应激活函数在网络中整体的可学习参数数量。

背景技术

如今机器学习被广泛应用于社会生活，而传统的机器学习多采用浅层结构，如高斯混合模型(GMM)、条件随机域(CRF)、支持向量机(SVM)等，这些浅层结构对复杂函数的表示能力有限，对原始输入信号特征的提取相对初级，针对复杂分类问题其泛化能力受到一定的制约，比较难解决一些比较复杂的自然信号处理问题，例如人类语音和自然图像识别等。于是深度学习通过模拟大脑进行学习来极大的促进机器学习的发展，深度学习最大的特点是把原始数据通过一些简单的但非线性的模型转变成更高层次，更加抽象的特征表达，学习一种深层非线性网络结构，实现复杂函数的逼近，以及从少数样本集中学习数据集本质特征的能力。通过实践证明，深度学习擅长发现高维数据中的复杂结构，广泛应用于计算机视觉、语音识别、自然语言处理等研究领域。

随着深度学习在各大领域的应用，越来越多研究集中在对深度学习算法的创新和优化。其中包括分类器和损失函数的优化、基于反向传播的梯度下降优化、网络权重参数初始化的优化及人工神经网络的优化等，其中对人工神经网络的优化是深度学习算法创新的重要组成部分。人工神经网络会根据任务的不同，拥有不同的网络结构和神经元数量，在这些网络中人们通常使用相同的激活函数，例如Sigmoid、Tanh、Relu。近年来提出的自适应激活函数，使网络神经元呈现出不同的形状，但随着网络规模的扩大及神经元的增加，用于调节这些神经元形状的可学习参数呈现出线性增长，网络的学习效率被大幅度拉低。由此可见人工神经网络基本结构可看作是由一些神经元互相连接形成，激活函数则在其中扮演着举足轻重的角色。

人工神经网络中激活函数的主要作用是提供网络的非线性表达能力。如果一个神经网络中神经元仅仅是线性运算，那么该网络仅能够表达简单的线性映射，即便增加网络的深度和宽度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入非线性激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。本发明主要针对激活函数进行改进，优化网络中神经元之间的联系，借此进一步提高网络的性能。

发明内容

为了降低网络中自适应激活函数可学习参数的总体数量，加快网络学习速率，改善网络的泛化能力，本发明提出了一种面向深度神经网络的自适应激活函数参数调节方法，在网络不断训练的过程中，通过不断的调整自身形状来寻找适合该网络的最优激活函数，提高网络的性能。

本发明解决其技术问题所采用的技术方案是：

一种面向深度神经网络的自适应激活函数参数调节方法，所述方法包括以下步骤：

步骤1，首先对自适应激活函数参数调节方法进行数学定义，过程如下：

设自适应激活函数的可调参数个数为N，那么自适应激活函数被定义为：

f_(x)＝f(a*x+c)

其中a和c都是用来控制激活函数形状的可学习参数，所谓的神经网络看作是许多单个神经元的组合，定义神经网络的输出为一个集权重、偏差和可学习神经元参数的复合函数，函数如下：