[发明专利]一种神经元激活函数参数调节方法及其装置

摘要

本发明公开了一种Noisy Softplus神经元激活函数参数调节方法及其装置，包括将待设置参数均设置为初始值，将参数设置完成的激活函数用于人工神经网络，得到人工神经网络的最高模式识别精度rA；在预设LIF神经元内，选取噪声值σ0，采用最小二乘法将不同大小的、带有σ0的恒定电流及脉冲发放率的对应关系与激活函数拟合，确定各个待设置参数的值；依据上述确定的值更新初始值及调整激活函数；依据调整后的激活函数训练人工神经网络，将训练得到权重应用到脉冲神经网络，得到脉冲神经网络的最高模式识别精度rB；若rA‑rB小于设定值，则参数调整完成，否则，重新选取σ0。本发明能够确保人工神经网络训练得到权重适用于脉冲神经网，进而提高脉冲神经网络的模式识别精度。

主权项

1.一种Noisy Softplus神经元激活函数参数调节方法，其特征在于，包括：将Noisy Softplus神经元激活函数内的待设置参数设置为相应的初始值，将参数设置完成后的所述Noisy Softplus神经元激活函数用于人工神经网络的训练，得到所述人工神经网络的最高模式识别精度rA；在预设的LIF神经元内，从预设噪声列表内选取一个噪声值σ0作为噪声强弱参数，分别输入不同大小的、带有σ0的恒定电流，并记录输入不同恒定电流时，所述LIF神经元的脉冲发放率，得到两者的对应关系；采用最小二乘法将所述对应关系与所述Noisy Softplus神经元激活函数进行拟合，拟合过程中通过调整各项所述待设置参数，将拟合效果最好时各项所述待设置参数的值作为确定的参数数值；依据上述确定的值更新各项所述待设置参数的初始值，并将上述确定的值带入所述Noisy Softplus神经元激活函数，得到调整完成后的Noisy Softplus神经元激活函数；将所述调整完成后的Noisy Softplus神经元激活函数用于所述人工神经网络的训练，将所述脉冲神经网络的权重设置为所述人工神经网络所训练得到的权重，并将测试数据转换为脉冲序列输入到所述脉冲神经网络，测试得到所述脉冲神经网络的最高模式识别精度rB；所述人工神经网络和所述脉冲神经网络层次、结构相同；计算rA‑rB的值，若差值小于设定值，则认为参数调整完成，否则，重新从所述预设噪声列表中选取另一噪声值，并依据更新后的初始值重复上述步骤。