[发明专利]面向资源受限存算一体芯片的DNN推理加速系统及方法

说明书

本发明公开了一种面向资源受限存算一体芯片的DNN推理加速系统及方法，包括：权重分配模块，用于在离线状态下获取神经网络信息和ReRAM结构信息，生成一个OU大小的权重块到物理OU的映射表；OU调度模块，用于在离线状态下将神经网络信息、ReRAM结构及映射表信息输入到OU调度器，生成调度表；权重编程模块，用于在线状态下根据生成的映射表，将OU大小的权重块写入指定的物理OU中；推理模块，用于在线状态下读取调度表，用相应的输入特征向量激活OU上的计算；权重编程和推理迭代运行，直到对所有输入数据完成DNN推理。本发明对ReRAM的编程时延进行了优化，加速了DNN在资源受限的ReRAM芯片上的推理。

技术领域

本发明涉及存算一体芯片技术领域，尤其涉及一种面向资源受限存算一体芯片的DNN推理加速系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

深度神经网络(Deep Neural Network，DNN)已被广泛应用于图像识别、自然语言处理及目标检测等技术，但这些DNN在带来高精度的同时也伴随着数以亿计的权重需要存储及计算。例如，VGG16是一个典型的DNN模型，top-5准确率高达92.7％，但其权重大小约为548MB，每识别一张图片需要1.5×10¹⁰次乘法。对于以传统的冯·诺依曼结构为基础的现代计算机系统，运行如此大规模的DNN模型，需要在存储单元和计算单元之间反复传输大量数据，造成巨大的延迟和能量损耗，从而限制了数据处理的效率。

存内计算(Process-in-Memory，PIM)技术是为了克服传统冯·诺依曼结构带来的计算限制而被提出的，其不需要将数据从存储器传输到处理器，而是直接将运算部分整合到存储阵列内部执行计算。这种技术消除了内存和处理器之间的数据传输，因此，其在AI各个领域的应用正在被广泛探索。

新型非易失存储器(Non-Volatile Memory，NVM)，包括静态随机存储器(StaticRandom-Access Memory，SRAM)、相变存储器(Phase Change Memory，PCM)、磁阻式存储器(Magnetoresistive Random Access Memory，MRAM)、电阻式/阻变存储器(ResistiveRandom Access Memory，ReRAM)等，都可以用于存内计算技术。其中ReRAM具有与DRAM相似的访问性能，同时支持矩阵向量乘法(Matrix-Vector Multiplication，MVM)的就地计算，在过去几年中，已有多项工作对基于ReRAM的DNN加速器进行了探索。

随着对基于ReRAM的DNN加速器的探索不断深入，ReRAM加速DNN的潜力也持续被发掘：从基于ReRAM的微体系结构的设计，到符合ReRAM特点的神经网络推理甚至训练过程流水线的设计，再到针对ReRAM的DNN权重的剪枝量化与重用，优化方法由浅入深，层出不穷。然而，这些方法都理想化的认为可以在一个时钟周期内进行整个crossbar的计算。实际上，ReRAM各个单元中的电流在累积过程中产生的偏差会严重影响神经网络的推理精度，因此，有工作提出了一种更实际的结构，每个周期只激活每个crossbar的一小片区域(也称为Operation Unit，OU)。之后又有作者进一步提出了基于OU的剪枝及重用方法，来减少基于此结构的ReRAM的面积需求及计算开销。

然而，过去所有工作都假设ReRAM的资源足够大，以至于DNN的权重可以一次性全部编程到ReRAM中，且编程时延可以忽略不计。但集成电路设计领域的最新的研究显示，面积受限的嵌入式设备或边缘设备上的ReRAM的芯片容量远远小于当前DNN的权重大小。

发明人发现，在进行DNN的推理之前，不可能在离线状态下将神经网络的所有权重全部部署到芯片上，而是需要在线多次部署，每次只能部署一部分权重；权重多次在线部署过程的开销，可能会降低DNN在ReRAM中的推理速度。

发明内容