[发明专利]用于存储器内计算的双极全忆阻器电路

说明书

一种用于执行能量高效且高吞吐量乘法‑累加(MAC)算术点积运算和卷积计算的电路，包括二维交叉阵列和输出忆阻器神经元电路，该二维交叉阵列包括多个行输入和具有多个列电路的至少一列，其中每个相应列电路包括：兴奋性忆阻器神经元电路，其具有耦接到相应行输入的输入；第一突触电路，其耦接到所述兴奋性忆阻器神经元电路的输出；抑制性忆阻器神经元电路，其具有耦接到相应行输入的输入；以及第二突触电路，其耦接到所述抑制性忆阻器神经元电路的输出，输出忆阻器神经元电路耦接到每个列电路的第一输出和第二输出。

相关申请的交叉引用

本申请涉及并要求2019年5月7日提交的美国临时申请No.62/844,611、2019年6月13日提交的美国临时申请No.62/860,915和202年3月3日提交的美国非临时申请No.16/808,227的优先权，这些申请以引用的方式并入本文中。本申请还涉及于2020年3月3日提交的美国非临时申请No.16/808,222和PCT申请(参考号No.632140-4)，这两项申请同时提交。

关于联邦资金的声明

本发明是根据美国政府合同FA8650-18-C-7869作出的。美国政府在本发明中具有某些权利。

技术领域

本公开涉及神经网络。

背景技术

深度卷积神经网络(CNN)是当前机器学习和视觉数据处理的主流架构。在典型的神经网络中，大量的乘法-累加(MAC)算术运算用于计算输入图像块的卷积以用于特征提取。卷积是CNN中用于视觉或音频数据处理的计算最密集的部分。在基于冯诺依曼(vonNeumann)架构的传统数字计算机中，算术逻辑单元(ALU)和数据存储器在空间上是分开的，用于移动数据的能量可以比用于计算的能量高10倍。因此，期望开发新的电路架构，以实现能量高效且高吞吐量的存储器内(in-memory)或存储器附近(near-memory)计算。

对存储器内计算有益的电路架构是神经形态尖峰神经网络(SNN)，其结合了三个主要优点。

首先，一种非易失性交叉(crossbar)存储器架构，允许在本地保存和再次使用MAC运算中的两个操作数中的一个，这大大减少了移动数据时使用的能量。第二，无源忆阻器突触的模拟(连续)切换，具有中等比特精度(每个突触的单个元素高达约7比特)，从而实现节能模拟计算。第三，尖峰域数据表示，允许能量高效的MAC操作和最小的电流消耗。

然而，现有技术神经形态SNN演示主要是用CMOS电子器件构建的。CMOS电子器件不是仿生的，因此需要大的电路开销来构建神经元和突触构建块，这抵消了SNN架构的好处。

参考文献[1]由本发明人于2019年6月13日提交(632128)(准备中的NP 632152)的美国临时申请62/860,915通过引用并入本文，其描述了用于能量高效且并行的存储器内MAC运算和卷积计算的无晶体管全忆阻器SNN电路和方法。模拟全忆阻器神经形态卷积电路(神经突触处理器)由以兴奋性有源忆阻器为基础的尖峰神经元和无源忆阻器突触组成。表示卷积权重的突触元素被组织成二维交叉阵列，其中尖峰忆阻器神经元在边缘处连接行(字线)和列(位线)。存储器内向量矩阵乘法(VMM)算术运算，可以使用欧姆定律和基尔霍夫电流定律原理并行计算，以实现高通量的多核卷积。尖峰域数据编码保证了比数字电路更好的能量效率。通过器件级SPICE模拟分析了图像分类中的卷积性能，结果表明，无晶体管卷积电路可以提供比最先进(SOA)CMOS神经形态处理器(IBM TrueNorth)高10倍或更好的能量效率(每输入比特0.3nJ相比于每输入比特6.7nJ)。

然而，使用参考文献[1]的神经元和突触进行存储器内计算的无晶体管全忆阻器神经形态电路只能与所有权重都为正的内核执行卷积。这使得该电路不适用于某些应用，例如在某些神经网络图像分类器中实现卷积层。