[发明专利]对深度学习人工神经网络中的模拟神经元存储器中的参考晶体管和存储器单元的补偿

说明书

本发明公开了用于在深度学习人工神经网络中的模拟神经存储器中的读取操作期间对参考晶体管(2282)、参考存储器单元和闪存存储器单元(2284)之间的电流‑电压特性曲线的斜率差异进行补偿的许多实施方案。这些实施方案能够补偿参考晶体管的亚阈值和线性操作两者期间的斜率差异。

优先权声明

本申请要求于2018年7月11日提交的名称为“Compensation for ReferenceTransistors and Memory Cells in Analog Neuro Memory in Deep LearningArtificial Neural Network”的美国临时专利申请第62/696718号和于2018年10月3日提交的名称为“Compensation for Reference Transistors and Memory Cells in AnalogNeuro Memory in Deep Learning Artificial Neural Network”的美国专利申请第16/150606号的优先权。

技术领域

本发明公开了用于在深度学习人工神经网络中的模拟神经存储器中的读取操作期间对参考晶体管、参考存储器单元和闪存存储器单元之间的电流-电压特性曲线的斜率差异进行补偿的许多实施方案。这些实施方案能够补偿参考晶体管的亚阈值和线性操作两者期间的斜率差异。

背景技术

人工神经网络模拟生物神经网络(例如，动物的中枢神经系统，特别是大脑)，这些人工神经网络用于估计或近似可取决于大量输入并且通常未知的功能。人工神经网络通常包括互相交换消息的互连“神经元”层。

图1示出了人工神经网络100，其中圆圈表示神经元的输入或层。连接部(称为突触)用箭头表示，并且具有可以基于经验进行调整的数值权重。这使得神经网络适应于输入并且能够学习。通常，神经网络包括多个输入的层。通常存在神经元的一个或多个中间层，以及提供神经网络的输出的神经元的输出层。处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定。

在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术。实际上，实际神经网络依赖于大量的突触，从而实现神经元之间的高连通性，即非常高的计算并行性。原则上，此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现。然而，相比于生物网络，这些方法除了高成本之外，能量效率也很普通，生物网络主要由于其执行低精度的模拟计算而消耗更少的能量。CMOS模拟电路已被用于人工神经网络，但由于给定大量的神经元和突触，大多数CMOS实现的突触都过于庞大。

申请人先前在美国专利申请15/594439号中公开了一种利用一个或多个非易失性存储器阵列作为突触的人工(模拟)神经网络，该专利申请以引用方式并入本文。非易失性存储器阵列作为模拟神经形态存储器操作。神经网络装置包括被配置为接收第一多个输入并从其生成第一多个输出的第一多个突触，以及被配置为接收第一多个输出的第一多个神经元。第一多个突触包括多个存储器单元，其中存储器单元中的每个存储器单元包括：形成于半导体衬底中的间隔开的源极区和漏极区，其中沟道区在源极区和漏极区之间延伸；设置在沟道区的第一部分上方并且与所述第一部分绝缘的浮栅；以及设置在沟道区的第二部分上方并且与所述第二部分绝缘的非浮栅。多个存储器单元中的每一个被配置为存储与浮栅上的多个电子相对应的权重值。多个存储器单元被配置为将第一多个输入乘以所存储的权重值以生成第一多个输出。

必须擦除和编程在模拟神经形态存储器系统中使用的每个非易失性存储器单元，以在浮栅中保持非常特定且精确的电荷量。例如，每个浮栅必须保持N个不同值中的一个，其中N是可由每个单元指示的不同权重的数量。N的示例包括16、32和64。

模拟神经形态存储器系统的一个独特特性是该系统必须支持两种不同类型的读取操作。在正常读取操作中，如在常规存储器系统中那样读取单独的存储器单元。然而，在神经读取操作中，一次读取整个存储器单元阵列，其中每个位线将输出电流，该电流是来自连接到该位线的存储器单元的所有电流的总和。