[发明专利]一种基于分布式权值存储加速神经网络计算的架构及方法

说明书

本发明提供了一种基于分布式权值存储加速神经网络计算的架构及方法，架构包括主处理器系统、分布式权值存储计算模块和目标加速神经网络；主处理器系统用于运行系统程序，并加载分布式权值存储计算阵列的驱动程序；分布式权值存储计算模块将权值存储空间按照阵列进行划分，形成分布式存储计算单元阵列，并为每个分布式存储计算单元配置处理器核，形成MEM‑PE单元；MEM‑PE单元用于根据计算指令，本地加载权值进行计算，对中间计算结果进行分布式存储。本发明形成的MEM‑PE单元内具有分布式存储器和指令存储器，能够在本地进行计算，并将中间结果存储在本地或阵列内的其他分布式存储器，降低传统神经网络计算中的权值访存的高延迟，提高计算效率。

技术领域

本发明涉及神经网络计算技术领域，尤其是一种基于分布式权值存储加速神经网络计算的架构及方法。

背景技术

随着人工智能时代的到来，大数据随之呈现指数式的增长，以神经网络为代表的各类深度学习算法得到了广泛应用。神经网络算法目前主要以多层神经网络为主，又称“深度信念网络”，算法首先通过预训练(pre-training)让神经网络的权值找到一个接近最优解的值，然后再进行微调(fine-tuning)，对整个网络的权值进行优化。无论是哪种神经网络，在推理的过程中都要进行大量的卷积计算，计算量随着层数、神经元数增加，由此带来的是巨大的计算量和权值的频繁访存。

现有的神经网络计算方式中，一般采用CUP计算或GPU计算。如果利用CPU计算，通过Cache和片外DRAM进行集中式访存，从内核到片外DRAM最大延迟往往达到上百ns，而且由于CPU的计算单元限制，计算效率低；如果利用GPU计算，GPU实现了大规模的计算单元阵列，但是GPU仍然采用的是集中式的片内Cache和片内RAM，访存延时在几十ns。

现有的神经网络计算方式中，数据采用集中存储的方式，访存数据路径较长，在指令的派发、调度方法，会造成较大的延迟，影响计算效率。

发明内容

本发明提供了一种基于分布式权值存储加速神经网络计算的架构及方法，用于解决现有神经网络计算中，数据访存延迟，影响计算效率的问题。

为实现上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种基于分布式权值存储加速神经网络计算的架构，所述架构包括：主处理器系统、分布式权值存储计算模块和目标加速神经网络；

所述主处理器系统用于运行系统程序，并加载分布式权值存储计算阵列的驱动程序；

所述分布式权值存储计算模块基于所述驱动程序，将权值存储空间按照阵列进行划分，形成分布式存储计算单元阵列，并为每个分布式存储计算单元配置处理器核，形成MEM-PE单元；所述MEM-PE单元用于根据计算指令，本地加载权值进行计算，对中间计算结果进行分布式存储。

进一步地，所述分布式存储计算单元包括指令存储器，所述指令存储器用于存储计算指令。

进一步地，所述处理器核包括DMA、内存控制器和分布式存储器，所述DMA用于MEM-PE单元的互连，所述内存控制器基于异构远程存储编辑模型，用于指定数据的存储位置，所述分布式存储器用于存储初始权值和/或中间计算结果。

进一步地，所述分布式存储器包含全局地址和局部地址，所述全局地址由处理器编址，所述局部地址由当前分布式存储器对应的处理器核编址。

进一步地，所述分布式权值存储计算模块还包括RoCC接口，所述RoCC接口通过2DMesh实现MEM-PE单元向外互连。

进一步地，所述主处理器系统包括DDR、主处理器和MEM_IF接口，所述DDR用于挂载主处理器的内存，运行操作系统和神经网络应用程序；所述MEM_IF接口为向外互连接口。

本发明第二方面提供了一种设计方法，基于所述的基于分布式权值存储加速神经网络计算的架构，所述设计方法包括以下步骤：