[发明专利]轴突输入扩展方法、装置、设备和存储介质

说明书

本申请提供的一种轴突输入扩展方法、装置、设备和存储介质，当需要参与运算的轴突输入数K大于可支持的最大轴突数输入N时，将K个轴突输入分组并分别连接到多个神经元核的轴突输入；各神经元核对各个单比特轴突输入进行加权相加得到以M比特位宽的加权和，删除X个低位以转换为S比特位宽的加权和；分别连接到一汇总神经元核的不同轴突输入，并将所有S比特位宽的加权和相加得到加权总和；加权总和加上上一次膜电压值并与阈值比较；若大于等于阈值，则汇总神经元核输出1比特脉冲数据。本申请不需要乘法电路，也不需要支持ANN模式，没有引入额外的运算单元，成本较低；和现有方法相比算法精度更高；使用的神经元核数目比清华的轴突扩展方法数目少。

技术领域

本发明涉及的轴突输入扩展技术领域，特别是涉及一种轴突输入扩展方法、装置、设备和存储介质。

背景技术

深度神经网络(DNN)研究近年来取得了飞速发展并得到初步应用。然而实现这样的算法，通常需要消耗大量的算力。如经典的深度卷积网络(CNN)模型AlexNet，需要进行至少7.2亿次的乘法运算。大的运算量产生大的功耗，一般功耗在10瓦到100瓦左右。

另一方面，脉冲神经网络(SNN)近年来以其低功耗和更接近人脑的特点吸引了学术界和产业界的关注。基于神经生物学的研究成果，发现人脑的神经元脉冲激活频率在10Hz左右，两次脉冲之间间隔在数毫秒。因此实现中每个神经元每1毫秒左右处理一次输入脉冲。另外加减法运算需要的时间在纳秒级。我们可以使用时分复用的方法，多个神经元复用同一个运算单元对不同轴突进行处理。目前的SNN芯片单个神经元核中的每个神经元支持的轴突输入数是固定的。例如IBM的TrueNorth，清华的天机芯单个神经元核中的每个神经元支持256个轴突输入；Intel的Loihi单个神经元核中的每个神经元支持1024个轴突输入。

大脑研究发现一个神经元与1000个以上的轴突连接。另外，深度神经网络中每个神经元的输入数不确定：假定其中一层的输入通道数为1024，卷积核为3x3，当这一深度神经网络映射到SNN硬件的时候，这一层每个神经元的输入轴突数就是1024*3*3＝9216。可以看出，实际的轴突输入数大于硬件中单个神经元核支持的最大轴突输入数。

为解决这一问题，可以映射到多个神经元核，将多个神经元核的神经元脉冲输出进行相加。但是这种方法精度很低。清华大学天机芯团队使用芯片中的ANN电路可以解决精度降低的问题，但是ANN模式的引入额外增加了成本。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种轴突输入扩展方法、装置、设备和存储介质，以解决现有技术中的问题。

为实现上述目的及其他相关目的，本申请提供一种轴突输入扩展方法，用于脉冲神经网络，所述方法包括：当需要参与运算的轴突输入数K大于单个神经元核中每个神经元可支持的最大轴突数输入N时，将K个轴突输入分组并分别连接到多个神经元核的轴突输入；各神经元核对各个单比特轴突输入进行加权相加得到以M比特位宽表示的加权和，将M比特位宽删除X个低位以转换为S比特位宽的加权和；将各神经元核的S比特位宽的加权和分别连接到一汇总神经元核的不同轴突输入，并将所有S比特位宽的加权和相加得到加权总和；所述加权总和加上上一次膜电压值并与阈值比较；若大于等于阈值，则汇总神经元核输出1比特脉冲数据；若小于阈值，则汇总神经元核不输出脉冲数据。

于本申请的一实施例中，所述将K个轴突输入分组并分别连接到多个神经元核的轴突输入，包括：将第0～第N-1个轴突输入连接到神经元核0的轴突输入，第N～第2N-1个轴突输入连接到神经元核1的轴突输入，以此类推直到K个轴突输入映射完毕；其中，各神经元中未被映射使用的轴突输入被置0或将其相应权重置0。

于本申请的一实施例中，所述X大于等于0，小于M。