[发明专利]一种神经元激活函数参数调节方法及其装置

说明书

本发明公开了一种Noisy Softplus神经元激活函数参数调节方法及其装置，包括将待设置参数均设置为初始值，将参数设置完成的激活函数用于人工神经网络，得到人工神经网络的最高模式识别精度rA；在预设LIF神经元内，选取噪声值σ₀，采用最小二乘法将不同大小的、带有σ₀的恒定电流及脉冲发放率的对应关系与激活函数拟合，确定各个待设置参数的值；依据上述确定的值更新初始值及调整激活函数；依据调整后的激活函数训练人工神经网络，将训练得到权重应用到脉冲神经网络，得到脉冲神经网络的最高模式识别精度rB；若rA‑rB小于设定值，则参数调整完成，否则，重新选取σ₀。本发明能够确保人工神经网络训练得到权重适用于脉冲神经网，进而提高脉冲神经网络的模式识别精度。

技术领域

本发明涉及领域，特别是涉及一种Noisy Softplus神经元激活函数参数调节方法及其装置。

背景技术

随着神经网络的发展，深度神经网络在计算机视觉，自然语言处理等领域已取得广泛的成功。当前广泛使用的ANNs为第二代神经网络，其具有能耗高，实时性低的问题，而新一代的SNNs很好解决了上述的两个问题。然而由于深度SNNs的学习算法研究还处于初级阶段，并且SNNs中网络信息传递是基于脉冲，深度ANNs的主流学习算法并不适用，所以深度SNNs存在训练困难的问题。

因此后续提出了一种基于脉冲频率编码的训练方法，利用ANNs中数值代表SNNs的脉冲频率，通过上述频率编码，深度SNNs的训练可以转化到深度ANNs中进行，深度ANNs训练得到的权重可以直接应用于深度SNNs中。从而解决深度SNNs难以训练的难题。

为了实现上述目的，必须保证用于训练深度ANNs的激活函数Noisy Softplus与深度SNNs中的生物神经元的响应相匹配，这需要根据SNNs的LIF神经元模型对激活函数NoisySoftplus的参数进行精确的设置，但当前针对Noisy Softplus神经元激活函数NoisySoftplus的参数调节仍缺乏一个具体的方法。

因此，如何提供一种能够解决上述问题的Noisy Softplus神经元激活函数参数调节方法及其装置是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种Noisy Softplus神经元激活函数参数调节方法及其装置，能够保证Noisy Softplus神经元激活函数的待设置参数与脉冲神经网络的神经元的响应相匹配，并使得脉冲神经网络与人工神经网络的识别精度尽可能接近，从而提高脉冲神经网络的准确性。

为解决上述技术问题，本发明提供了一种Noisy Softplus神经元激活函数参数调节方法，包括：

将Noisy Softplus神经元激活函数内的待设置参数设置为相应的初始值，将参数设置完成后的所述Noisy Softplus神经元激活函数用于人工神经网络的训练，得到所述人工神经网络的最高模式识别精度rA；

在预设的LIF神经元内，从预设噪声列表内选取一个噪声值σ₀作为噪声强弱参数，分别输入不同大小的、带有σ₀的恒定电流，并记录输入不同恒定电流时，所述LIF神经元的脉冲发放率，得到两者的对应关系；

采用最小二乘法将所述对应关系与所述Noisy Softplus神经元激活函数进行拟合，拟合过程中通过调整各项所述待设置参数，将拟合效果最好时各项所述待设置参数的值作为确定的参数数值；

依据上述确定的值更新各项所述待设置参数的初始值，并将上述确定的值带入所述Noisy Softplus神经元激活函数，得到调整完成后的Noisy Softplus神经元激活函数；