[发明专利]交叉阵列神经形态硬件中状态量化网络实现方法

说明书

本发明属于神经网络技术领域，涉及一种交叉阵列神经形态硬件中状态量化网络实现方法。本发明的方法为，对人工神经网络各项参数(权值、阈值、泄漏常数、置位电压值、不应期时长、突触延迟时长等参数)进行量化后，将量化后的各项参数映射到交叉阵列神经形态硬件中，随后将经过预处理后输入数据送入到交叉阵列神经形态硬件中即可实现状态量化网络。通过状态量化，有效降低了交叉阵列神经形态硬件对存储单元的规模、存储级数、可靠性等的要求。

技术领域

本发明属于神经网络技术领域，涉及一种交叉阵列神经形态硬件中状态量化网络实现方法。

背景技术

神经形态硬件(Neuromorphic computing)用来指代与普遍的冯·诺依曼计算机体系结构形成鲜明对比的源于大脑的计算机、器件和模型。这种仿生学方法创造了高度连接的合成神经元和突触，其可用于神经科学理论建模，解决机器学习问题。

神经形态电路是神经网络模型的物理实现之一，以硬件化的手段对生物神经系统进行高层面，高效地抽象和模拟，以期能在实现神经系统信息处理能力的基础上，达到低功耗、高适应性等特性。

交叉阵列将忆阻器用于数据存储和并行计算以及作为神经网络节点的一种重要组成架构就是采用交叉阵列(Crossbar)来组建大规模集成运算电路。通过垂直交叉阵列，可以将大量的忆阻器平行的放置在一起，形成忆阻器矩阵。在不同的电压控制下，读取和改变忆阻器的值就能获得和设置一个权值矩阵。交叉阵列广泛应用于数据存储和神经网络学习。

交叉阵列交叉处单元除忆阻器之外，也可以选择其他器件构成，如电容，晶体管，可变电阻等，也可像忆阻器一样形成阵列，用于数据存储或者用于交叉阵列神经形态硬件中。

现有技术至少存在以下问题：

目前所实现的交叉阵列神经形态硬件中，突触权值以及神经元的各种参数例如阈值，泄露常数，置位电压，不应期时长，突触延迟时长等参数需要占用许多系统存储资源，随着电路规模的急剧扩大，在如今存储资源相对比较匮乏的情况下，这必然会成为神经形态硬件的一个重大瓶颈。

发明内容

针对上述问题，本发明提出了交叉阵列神经形态硬件中状态量化网络实现方法，将交叉阵列神经形态硬件中的各种参数进行状态量化，有效降低了交叉阵列神经形态硬件对存储单元的规模、存储级数、可靠性等的要求，可有力推进交叉阵列神经形态硬件的应用。

本发明的技术方案如下：

S1：选取参数并对其进行量化，参数量化可在神经网络训练完成后进行，也可在神经网络训练时进行。

A：在神经网络训练完成后量化

将人工神经网络(包括MLP、CNN、RNN、LSTM等)在特定任务和特定条件下进行训练获得参数(包括权值、阈值、泄漏常数、置位电压值、不应期时长、突触延迟时长等)；

在脉冲神经网络中对S1中获取的人工神经网络参数进行量化，在脉冲神经网络中对至少一个上述人工神经网络训练获得的参数进行量化，即用几个量化状态来取代训练所得的参数的所有状态。对脉冲神经网络中量化的参数进行反复调整使得参数量化后的脉冲神经网络达到预定的功能与性能，则参数量化完成。

B：在神经网络训练时量化

在对人工神经网络进行训练时将要量化的参数(如权值)的取值进行量化，如将权值量化值定为-1、-0.4、0、0.4、1，之后再对人工神经网络进行训练，训练完成后将参数映射到相应的脉冲神经网络中，并对训练所得的量化参数进行调整或重新选取量化参数值进行训练，直到脉冲神经网络能达到预定功能与性能，则参数量化完成。

S2：将S1中量化后的脉冲神经网络参数映射到交叉阵列神经形态硬件中