[发明专利]一种支撑基于RRAM的神经网络训练的外围电路及系统

说明书

本发明实施例提供了一种外围电路，该外围电路包括：数据准备电路,用于根据第一控制信号选择地将输入所述数据准备电路的第一数据进行第一预处理后导入所述RRAM交叉阵列的行或列中，所述第一数据包括用于所述神经网络训练的样本数据；数据选择电路,用于根据第二控制信号选择地从所述RRAM交叉阵列的行或列中导出第二数据，且对所述第二数据进行第二预处理得到第三数据；数据读取电路,用于权值更新控制操作和对输入所述数据读取电路的第四数据进行最大池化操作得到第五数据；反向训练计算电路,用于将输入所述反向训练计算电路中的第六数据进行误差计算和求导计算。本发明技术方案能够支撑基于RRAM的神经网络训练，加速神经网络训练和提升RRAM写的可靠性。

技术领域

本发明涉及神经网络训练领域，尤其涉及用于支持基于RRAM的神经网络训练的外围电路。

背景技术

近些年，神经网络尤其是深度神经网络在计算视觉、语音识别、智能控制等领域得到了广泛应用。深度神经网络训练计算具备两个典型特点：访存密集和计算密集。对于访存密集的特性，首先，神经网络训练往往需要依赖海量的训练数据，如imagenet 2012包含1400万幅图片；其次，深度神经网络包含上亿级的神经元的连接参数，尤其在训练过程中需要频繁更新；再者，深度神经网络在运算过程中会产生大量的中间结果，如梯度信息。训练数据、连接权重、中间结果等大量数据的访存开销对于数据存储结构和计算性能优化提出迫切要求。对于计算密集的特性，深度神经网络的典型运算为多维矩阵乘法(运算复杂度为O(N³))及图优化；例如，22层的googlenet网络需要6GFLOPS的计算量，因此对计算硬件和性能优化提出了较高要求。

阻变存储器(Resistive Random Access Memory，RRAM)被认为是提升神经网络计算能效的器件之一。首先，RRAM具备非常高的集成密度；其次，RRAM是一种非易失性的存储器，可实现存储与计算的融合，从而大大减小访存开销；再者，RRAM存储单元利用阻值可变特性能够表征多值，而非传统存储单元的0和1二值。基于RRAM以上这些特性，通过RRAM组建一种交叉阵列结构，如图1所示，能够非常适应神经网络本身的矩阵向量乘运算。现有工作表明，利用RRAM存储单元搭建的交叉阵列结构对神经网络计算进行加速，同CPU或者GPU相比可提升100-1000倍的能效。

然而，现有工作还未充分地挖掘RRAM的优势，现有技术中的RRAM交叉阵列目前只能用于加速神经网络的前向计算，不能用于对计算要求更高的神经网络训练过程进行加速，神经网络训练主要包括前向计算、反向传播和权值更新三个步骤，现有技术缺少支撑相应计算的外围电路。

因此，需要一种外围电路以支撑基于RAAM的神经网络训练，提高神经网络训练的能效。

发明内容

针对现有技术中存在的问题,本申请提供了一种用于支撑基于RRAM交叉阵列的神经网络训练的外围电路，旨在通过该外围电路支撑基于RRAM交叉阵列的神经网络训练，加速神经网络计算。