[发明专利]一种神经元激活函数参数调节方法及其装置

权利要求书

1.一种Noisy Softplus神经元激活函数参数调节方法，其特征在于，包括：

将Noisy Softplus神经元激活函数内的待设置参数设置为相应的初始值，将参数设置完成后的所述Noisy Softplus神经元激活函数用于人工神经网络的训练，得到所述人工神经网络的最高模式识别精度rA；

在预设的LIF神经元内，从预设噪声列表内选取一个噪声值σ₀作为噪声强弱参数，分别输入不同大小的、带有σ₀的恒定电流，并记录输入不同恒定电流时，所述LIF神经元的脉冲发放率，得到两者的对应关系；

采用最小二乘法将所述对应关系与所述Noisy Softplus神经元激活函数进行拟合，拟合过程中通过调整各项所述待设置参数，将拟合效果最好时各项所述待设置参数的值作为确定的参数数值；

依据上述确定的值更新各项所述待设置参数的初始值，并将上述确定的值带入所述Noisy Softplus神经元激活函数，得到调整完成后的Noisy Softplus神经元激活函数；

将所述调整完成后的Noisy Softplus神经元激活函数用于所述人工神经网络的训练，将所述脉冲神经网络的权重设置为所述人工神经网络所训练得到的权重，并将测试数据转换为脉冲序列输入到所述脉冲神经网络，测试得到所述脉冲神经网络的最高模式识别精度rB；所述人工神经网络和所述脉冲神经网络层次、结构相同；

计算rA-rB的值，若差值小于设定值，则认为参数调整完成，否则，重新从所述预设噪声列表中选取另一噪声值，并依据更新后的初始值重复上述步骤。

2.根据权利要求1所述的方法，其特征在于，输入所述LIF神经元内的恒定电流的大小按照预设间隔在预设电流范围逐渐增加。

3.根据权利要求1所述的方法，其特征在于，所述Noisy Softplus神经元激活函数为：

其中，σ为噪声强弱参数；所述待设置参数包括矫正参数k、尺度因子S和突触时间常数τ_syn，w为权重，x为输入。

4.根据权利要求3所述的方法，其特征在于，所述采用最小二乘法将所述对应关系与所述Noisy Softplus神经元激活函数进行拟合，拟合过程中通过调整各项所述待设置参数，将拟合效果最好时各项所述待设置参数的值作为确定的参数数值的过程具体为：

忽略所述Noisy Softplus神经元激活函数中的突触时间常数，并令矫正参数取初始值，采用最小二乘法将所述对应关系与所述Noisy Softplus神经元激活函数进行拟合；

拟合过程中对尺度因子进行调整，使所述Noisy Softplus神经元激活函数的因变量与所述对应关系中对应脉冲发放率的之间的平方和为最小，确定此时的尺度因子的取值；

确定尺度因子后，对矫正参数进行调整，使所述Noisy Softplus神经元激活函数的因变量与所述对应关系中对应脉冲发放率的之间的平方和为最小，确定此时的矫正参数的取值；

将已确定的尺度因子的倒数，作为突触时间常数的取值。

5.根据权利要求1所述的方法，其特征在于，所述将所述调整完成后的Noisy Softplus神经元激活函数用于所述人工神经网络的训练之前还包括：

设置所述人工神经网络采用基于梯度下降的学习算法，所述人工神经网络输出的权重按照高斯分布进行初始化，所述人工神经网络的偏置值bias设置为零，对用于所述人工神经网络训练的数据库数据进行归一化的预处理操作。

6.根据权利要求1所述的方法，其特征在于，所述将测试数据转换为脉冲序列输入到所述脉冲神经网络的过程具体包括：

从预设泊松编码时间长度列表中选取不同长度的脉冲编码时间；

依据选取的脉冲编码时间对所述权重数据进行泊松编码后输入到所述脉冲神经网络。