[发明专利]含有三维纵向存储阵列的神经网络处理器

说明书

神经网络处理器(100)含有多个储算单元(100aa‑100mn)，每个储算单元(100ij)含有至少一三维纵向存储（3D‑M_V）阵列(170)和一神经计算电路(180)。3D‑M_V阵列(170)存储突触权重，神经计算电路(180)利用突触权重进行神经计算。神经计算电路(180)位于半导体衬底(0)中，3D‑M_V阵列(170)堆叠在神经计算电路(180)之上并通过多个芯片内连接(160)电耦合。

技术领域

本发明涉及集成电路领域，更确切地说，涉及人工智能（AI）使用的神经网络处理器（neuro-processor）。

背景技术

处理器的第五种应用是神经网络。神经网络提供了一种强大的人工智能工具。图1A是一个神经网络的例子。它含有输入层32、隐层34和输出层36。输入层32含有i个神经元33，其输入数据x₁、…x_i构成输入矢量30x。输出层36含有k个神经元37，其输出数据y₁、y₂、…y_k构成输出矢量30y。隐层34介于输入层32和输出层36之间。它含有j个神经元35，每个神经元35与输入层32中的第一神经元以及输出层36中的第二神经元电耦合。神经元之间的耦合强度由突触权重w_ij和w_jk表示。

现有技术提出一种神经网络加速器芯片60（参见陈云霁等著《DaDianNao: AMachine-Learning Supercomputer》，IEEE/ACM International Symposium on Micro-architecture，5(1)，第609-622页，2014年）。神经网络加速器60含有16个内核50，它们通过一个树状连接相互耦合（图1B）。每个内核50含有一个神经计算单元（NPU） 30和四个eDRAM块40（图1C）。NPU 30进行神经计算，它含有256+32个16位乘法器和256+32个16位加法器。eDRAM 40存储突触权重，其存储容量为2MB。

神经网络加速器60仍有改进的空间。首先， eDRAM 40是一个易失存储器，运行前突触权重需要从外存加载到eDRAM 40中，这需要花费时间。其次，每个神经网络加速器芯片60中仅有32MB eDRAM可用于存储突触权重。这个容量仍远低于实际需要。再次，神经网络加速器60的设计重点向存储倾斜——在每个内核中，eDRAM 40占用了80%的面积，而NPU 30只占用了不到10%，故计算密度受到很大限制。

上述问题的根本原因是eDRAM 40和NPU 30之间的集成是二维集成，它们均形成在衬底00S中。二维集成带来一个两难问题：在芯片中可通过牺牲存储容量来提高计算能力，但这带来的、额外的外部存储访问又会抵消掉计算能力的提高。只要采用二维集成，这个两难问题都会存在。

另一方面，三维纵向存储器（three-dimensional vertical memory，简称为3D-M_V）是一种大容量的非易失性存储器。美国专利8,638,611 披露了一种3D-M_V。它是一种纵向NAND（vertical NAND）。3D-M_V阵列含有多个竖直存储串。每个存储串含有多个相互堆叠的存储元，这些存储元通过一条竖直地址线相互耦合。3D-M_V是突触权重的理想存储载体。但是，现有技术中的3D-M_V仅具有存储突触权重的功能，而不具有利用其所存突触权重在本地进行神经计算的功能。

发明内容

本发明的主要目的是促使人工智能的进步。

本发明的另一目的是提高神经网络处理器的计算能力。

本发明的另一目的是提供一种能用于移动设备的神经网络处理器。